hadoop
Это своего рода наивный вопрос, но я новичок в парадигме NoSQL и мало что знаю об этом. Поэтому, если кто-то может помочь мне четко понять разницу между HBase и Hadoop или дать некоторые указатели, которые могут помочь мне понять разницу. до сих пор, я сделал некоторые исследования и соотв. насколько я поним...
по словам Hadoop - The Definitive Guide логические записи, которые определяют FileInputFormats, обычно не вписываются в блоки HDFS. Например, логичным TextInputFormat записи-это линии, которые будут пересекать границы файловой системы HDFS чаще, чем нет. Это не имеет никакого отношения к функционированию ...
Я установил Spark с помощью руководства AWS EC2, и я могу запустить программу отлично, используя bin/pyspark скрипт, чтобы добраться до подсказки spark, а также может успешно выполнить Quick Start quide. однако, я не могу для жизни меня выяснить, как остановить все многословные INFO журнал после каждой коман...
Я знаю, что оба выполняются на столбце в таблице, но как каждая операция отличается....
одним из основных примеров, который используется для демонстрации силы MapReduce является terasort benchmark. У меня возникли проблемы с пониманием основ алгоритма сортировки, используемого в среде MapReduce. для меня сортировка просто включает в себя определение относительного положения элемента по отноше...
в карту уменьшить Программирование сократить этап перебирание, сортировка и сокращения по частям. Сортировка-дело дорогостоящее. что цель тасовать и сортировать участок в редукторе в карте уменьшает программировать?...
характеристики паркета Apache: самоописанием колончатый формат язык-независимая по сравнению с Авро, файлы последовательности, RC-файл и т. д. Я хочу обзор форматов. Я уже читал:как Impala работает с форматами файлов Hadoop , это дает некоторое представление о форматах, но я хотел бы знать, как доступ к д...
в mapreduce каждая задача reduce записывает свои выходные данные в файл с именем part-r-nnnnn здесь nnnnn - идентификатор раздела, связанный с задачей сокращения. Делает map / reduce объединить эти файлы? Если да, то как?...
мы хотели бы поместить результаты запроса Hive в файл CSV. Я думал, что команда должна выглядеть так: insert overwrite directory '/home/output.csv' select books from table; когда я запускаю его, он говорит, что он успешно завершен, но я никогда не могу найти файл. Как найти этот файл или я должен извлекать...
как я могу найти, какую версию улья я использую из командной строки. Ниже приведены подробности - Я использую Putty для подключения к таблице hive и доступа к записям в таблицах. Итак, что я сделал - я открыл Putty и в имени хоста я набрал -leo-ingesting.vip.name.com и затем я нажимаю Open. А затем я ввел св...