Apache Spark против Apache Storm [закрыто]

Apache Spark-это платформа распределенного анализа данных в памяти, предназначенная в первую очередь для ускорения заданий пакетного анализа, итерационных заданий машинного обучения, интерактивных запросов и обработки графиков.

одним из основных отличий Spark является использование RDDs или устойчивых распределенных наборов данных. RDDs отлично подходят для конвейерной обработки параллельных операторов для вычислений и по определению являются неизменяемыми, что позволяет Spark использовать уникальную форму отказоустойчивости на основе информации о происхождении. Если вас интересует, например, выполнение задания Hadoop MapReduce намного быстрее, Spark-отличный вариант (хотя требования к памяти необходимо учитывать).

Apache Storm ориентирован на потоковую обработку или то, что некоторые называют сложной обработкой событий. Storm реализует отказоустойчивый метод для выполнения вычислений или конвейерной передачи нескольких вычислений по событию по мере его поступления в систему. Можно использовать Storm для преобразования неструктурированных данных по мере их поступления в систему в a желаемый формат.

шторм и Искра сосредоточены на довольно разных случаях использования. Более" яблоки к яблокам " сравнение будет между Шторм Трезубец и Spark Streaming. Поскольку RDDs Spark по своей сути неизменяемы, Spark Streaming реализует метод "дозирования" входящих обновлений в определенные пользователем интервалы времени, которые преобразуются в их собственные RDDs. Параллельные операторы Spark могут затем выполнять вычисления на этих RDDs. Это отличается от Шторм, который имеет дело с каждым событием индивидуально.

одно ключевое различие между этими двумя технологиями заключается в том, что Spark выполняет данные-параллельные вычисления в то время как шторм выполняет задач-параллельные вычисления. Ни дизайн делает компромиссы, которые стоит знать. Я бы предложил проверить эти ссылки.

Edit: discovered этой