Создание таблицы Hive для чтения файлов parquet из схемы parquet/avro

Мы ищем решение для того, чтобы создать внешнюю таблицу hive для чтения данных из файлов parquet в соответствии со схемой parquet/avro.

Другими словами, как сгенерировать таблицу hive из схемы parquet/avro ?

Спасибо :)

1 2
hive avro parquet

1 ответ:

Попробуйте ниже использовать схему avro: 

CREATE TABLE avro_test ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS AVRO TBLPROPERTIES ('avro.schema.url'='myHost/myAvroSchema.avsc'); 

CREATE EXTERNAL TABLE parquet_test LIKE avro_test STORED AS PARQUET LOCATION 'hdfs://myParquetFilesPath';

Такой же запрос задается в динамически создаваемой внешней таблице улья со схемой Avro на данных Parquet

10