avro
Я пытаюсь использовать avro-gradle-плагин на github , но мне не удалось заставить его работать. У кого-нибудь есть пример кода, как заставить его работать?...
Я использую scala и потребляю данные из Kafka, используя следующий подход потоковой передачи Spark: val lines = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics).map(_._2) Выше переменная возвращает InputDStream, через который я могу видеть данные в raw ...
На этом видео (в 29:00) Эрик Эванс из Rackspace говорит аудитории, что использование бережливости и Avro-плохая идея. Вместо этого он выступает за использование идиоматических клиентских библиотек. Http://video.disruptivecode.com/video/840645/what-makes-cassandra-trick Мы в основном кодируем на PHP. Как м...
Мы ищем решение для того, чтобы создать внешнюю таблицу hive для чтения данных из файлов parquet в соответствии со схемой parquet/avro. Другими словами, как сгенерировать таблицу hive из схемы parquet/avro ? Спасибо :) ...
Я пытаюсь использовать сообщения Кафки в формате avro, но я не могу декодировать сообщения из avro в JSON в Go. Я использую платформу Confluent (3.0.1). Например, я создаю сообщения avro, такие как: kafka-avro-console-producer --broker-list localhost:9092 --topic test --property value.schema='{"type":"reco...
У меня есть некоторые данные json, которые выглядят следующим образом: { "id": 1998983092, "name": "Test Name 1", "type": "search string", "creationDate": "2017-06-06T13:49:15.091+0000", "lastModificationDate": "2017-06-28T14:53:19.698+0000", "lastModifiedUsername": "testuser@test....
Мы пишем пользовательский соединитель приемника для записи содержимого темы с сообщениями avro в хранилище CEPH. Для этого нам предоставляются SinkRecords, которые имеют схему соединения Кафки, которая является отображенной версией нашей схемы avro. Поскольку мы хотим записать avro в CEPH, мы используем мето...
характеристики паркета Apache: самоописанием колончатый формат язык-независимая по сравнению с Авро, файлы последовательности, RC-файл и т. д. Я хочу обзор форматов. Я уже читал:как Impala работает с форматами файлов Hadoop , это дает некоторое представление о форматах, но я хотел бы знать, как доступ к д...