Добавить путь с дополнительными банками для клиента Hive

Nikolay Baranenko спросил: 28 апреля 2018 в 08:57 в: hadoop

У меня был HDP 2.6.1.0-129

У меня есть внешний Jar example.jar для сериализованного файла данных лотка.

Я добавил новый параметр в раздел Custom hive-site

name = hive.aux.jars.path
value hdfs:///user/libs/

Сохраняли новую конфигурацию и перезапустили hasoop componentens и перезапустили весь кластер hadoop.

После того, как в клиенте Hive я попытался запустить select

select * from example_serealized_table

и hive did return error

FAILED: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException java.lang.ClassNotFoundException: Class com.my.bigtable.example.model.gen.TSerializedRecord not found)

Как решить эту проблему?

ps

Если вы попытались добавить текущий сеанс,

add jar hdfs:///user/libs/example-spark-SerializedRecord.jar;

Попробовал поставить .jar в локальную папку. Проблема такая же.

1 ответ

Есть решение
Nikolay Baranenko ответил: 11 июня 2018 в 07:35

Я не сказал, что библиотека пишет, что мой коллега написал библиотеку. Получилось, что она переопределяет переменные, которые влияют на уровень ведения журнала поля. После исключения переопределенных переменных в библиотеке проблема воспроизведения делала stopp .