Hadoop в контейнере Docker быстрее / стоит того? [закрытый]
У меня есть среда, основанная на Hadoop. Я использую Flume, Hue и Cassandra в этой системе. В настоящее время вокруг Docker существует большая шумиха, поэтому хотелось бы рассмотреть, каковы плюсы и минусы докеризации в этом случае. Я думаю, что он должен быть гораздо более портативным, но его можно установить с помощью Cloudera Manager с помощью нескольких щелчков мыши. Может быть, это быстрее или почему стоит того? Что такое преимущества?
Может быть, должен быть только многоузловой Cassandra кластер dockerized?
1 ответ:
Может быть, это быстрее или почему стоит того?
Похоже, что у вас уже есть кластер Hadoop. Поэтому вы должны спросить себя, сколько времени требуется, чтобы воспроизвести эту среду? Как часто вам нужно воспроизводить эту среду?
Если вам не нужен способ многократного воспроизведения среды и содержать зависимости, которые могут конфликтовать с другими приложениями на хосте, то я пока не вижу для вас варианта использования.
Что такое преимущества?
Если вы запускаете Hadoop в среде, где вам могут понадобиться смешанные версии Java, то запуск его в качестве контейнера может изолировать зависимости (в данном случае Java) от хост-системы. В некоторых случаях это даст вам более легко воспроизводимый артефакт для перемещения и настройки. Но Java-приложения уже настолько просты, что все их зависимости включены в JAR.
Может быть, следует докеризовать только многоузловой кластер Кассандры?
I не думайте, что это действительно сводится к тому, является ли is многоузловой средой или нет. Все сводится к проблемам, которые она решает. Не похоже, что у вас есть какая-то болевая точка в развертывании или воспроизведении сред Hadoop (пока), поэтому я не вижу необходимости "докеризировать" что-то только потому, что это горячая новая вещь в блоке.
Если у вас есть необходимость легко воспроизвести среду Hadoop, вы можете посмотреть Docker для некоторых инструментов оркестровки и управления (Kubernetes, Фермер и т. д.) которые делают развертывание и управление кластерами приложений в оверлейной сети гораздо более аппетитным, чем просто обычный Docker. Докер - просто инструмент в моих глазах. Он действительно начинает сиять, когда вы можете использовать некоторые из аккуратных наложений многоузловой сети, обнаружения и оркестровки, которые другие пакеты строят поверх него.