amazon-kinesis

Фон Я изучаю AWS kinesis, API gateway. Я понимаю, что всякий раз,когда запросы попадают в API gateway, я могу перенаправить данные в поток или я могу выбрать триггер lambda(который будет выполнять некоторую обработку ). Мысли и запросы Итак, я подумал, что если я могу напрямую вызвать лямбду из API ga...

Согласно документации Amazon Kinesis Streams , запись может быть доставлена несколько раз. Единственный способ убедиться, что каждая запись обрабатывается только один раз, - это временно хранить их в базе данных, которая поддерживает проверку целостности (например, DynamoDB, Elasticache или MySQL/PostgreSQL...

Я пытаюсь выяснить, является ли интеграция Kinesis со структурированной потоковой передачей Spark стабильной. АРМ большой блог данные вряд ли блог про Kinesis и Spark Structured Streaming. Хотел бы я знать, пробовал ли кто-нибудь из вас Spark Structured Streaming с Kinesis? Если да, то нашли ли вы его стабиль...

Когда я помещаю событие в поток с помощью AWS CLI, я могу передать JSON и получить его обратно, после декодирования из base64. Когда я пытаюсь поставить события с помощью Амазонки, с помощью Clojure, я имею трудное время форматирования данных событий, хотя правильно параметр. (kinesis/put-record "ad-stream" ...

У меня есть вариант использования, когда будет поток данных, и я не могу потреблять его в том же темпе и нужен буфер. Это может быть решена с использованием СНС-система SQS очереди. Я узнал, что Кинезис решает ту же цель, так в чем разница? Почему я должен предпочесть (или не должен предпочесть) Кинезис? ...