apache-kafka
Я изучал несколько вариантов настройки Кафки и знал, что смотритель зоопарка должен быть готов и работает, чтобы инициировать Кафку. Я хотел бы знать, как я могу найти ниже. 1) имя хоста и порт для моего экземпляра zookeeper - - - я проверил зоопарк.cfg и я смог найти только ClientPort, а не имя хоста, буде...
Неясно, можете ли вы сделать разветвление (дублирование) в Кафке, как вы можете в Flume. Я бы хотел, чтобы Кафка сохранил данные в HDFS или S3 и отправил дубликат этих данных в Storm для обработки в реальном времени. Выходные данные грозовых агрегаций / анализа будут храниться в Кассандре. Я вижу, как не...
Я использую spark directStream api для чтения данных из Kafka. Мой код выглядит следующим образом, Пожалуйста: val sparkConf = new SparkConf().setAppName("testdirectStreaming") val sc = new SparkContext(sparkConf) val ssc = new StreamingContext(sc, Seconds(2)) val kafkaParams = Map[String, String]( "au...
Я запускаю кластер KOPS Kubernetes на AWS, пытаясь заставить Kubernetes-kafka пример работы с эластичным балансировщиком нагрузки. Вот часть внешних услуг для двух брокеров: kind: Service apiVersion: v1 metadata: name: outside-0 namespace: kafka spec: selector: app: kafka kafka-broker-id: "0"...
Я пишу сценарий оболочки для мониторинга брокеров Кафки. Я прошелся по некоторым ссылкам и обнаружил, что если ZooKeeper содержит список брокеров, и если в этом списке присутствует IP-адрес, то работает брокер Кафки. Мне нужна команда, которую я могу использовать в своем скрипте оболочки, чтобы получить спис...
Я работаю с простым потребителем Кафки в одном из моих проектов, и моя желаемая логика заключается в том, что когда потребитель не смог обработать какое-то сообщение, он зафиксирует последнее правильно обработанное сообщение, а затем при следующем опросе он продолжит работу с неудачным сообщением. Я попыталс...
хотя я сталкивался с Кафка раньше я только недавно понял, что Кафка, возможно, может быть использован в качестве (основы) a CQRS,eventstore. один из главных моментов, который поддерживает Кафка: захват / хранение событий, все Ха, конечно. паб / суб архитектуры возможность воспроизведения журнала событий, к...
Я относительно новичок в Кафке. Я немного поэкспериментировал с ним, но несколько вещей мне непонятны в отношении потребительского смещения. Из того, что я понял, когда потребитель запускается, смещение, с которого он начнет чтение, определяется настройкой конфигурации auto.offset.reset (поправьте меня, если ...
Я отправляю строковые сообщения в Kafka V. 0.8 с помощью API производителя Java. Если размер сообщения составляет около 15 мб, я получаю MessageSizeTooLargeException. Я попытался установить message.max.bytesдо 40 МБ, но я все равно получаю исключение. Небольшие сообщения работали без проблем. (исключение по...
У меня нет никакого предыдущего опыта работы с *MQs, и я хочу построить знания о JMS и очередях сообщений в целом. Таким образом, я задаюсь вопросом, должен ли я начать с ActiveMQ или просто "игнорировать" его вообще и начать с обучения себя Apollo. Является ли Apollo такой же полнофункциональной, как ActiveM...