Искра структурированной потоковой интеграции с помощью Кинезиса
Я пытаюсь выяснить, является ли интеграция Kinesis со структурированной потоковой передачей Spark стабильной. АРМ большой блог данные вряд ли блог про Kinesis и Spark Structured Streaming. Хотел бы я знать, пробовал ли кто-нибудь из вас Spark Structured Streaming с Kinesis? Если да, то нашли ли вы его стабильным?
1 ответ:
Сейчас нет пакета, который мог бы использовать kinesis в качестве источника структурированной потоковой передачи. Databricks имеет его , но он не выпускается с помощью Spark. Существует сторонняя интеграция , но, как говорит разработчик, "это всего лишь прототип для проверки осуществимости интеграции кинезиса"
В качестве обходного пути и в зависимости от ваших требований, вы можете создать "старую добрую" интеграцию Spark streaming/kinesis и просто вывести данные в папку. Затем используйте эту папку как источник для вашего структурированного потокового процесса.