hadoop

Я пытаюсь импортировать Cloudera в орг.апаш.hadoop: hadoop-клиент: 2.0.0-cdh4.0. 0из РЕПО cdh4 maven в проекте maven в Eclipse 3.81, плагин m2e, с JDK 1.7.0_05 oracle на win7 с помощью <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId&...

Я знаю о существовании https://wiki.apache.org/hadoop/AmazonS3 и следующие слова: S3 Native FileSystem (URI scheme: s3n) собственная файловая система для чтения и записи обычных файлов на S3. Преимущество этой файловой системы заключается в том, что вы можете получить доступ к файлам на S3, которые были н...

Я знаю du -sh в общих файловых системах Linux. Но как это сделать с HDFS?...

предполагая, что у вас уже есть" таблица "в Hive, есть ли быстрый способ, как и другие базы данных, чтобы получить инструкцию" CREATE " для этой таблицы?...

Я хотел бы знать, как найти сопоставление между таблицами Hive и фактическими файлами HDFS (или, скорее, каталогами), которые они представляют. Мне нужно получить доступ к файлам таблицы напрямую. где Hive хранит свои файлы в HDFS?...

в Hadoop v1 я назначил каждый слот 7 mapper и reducer размером 1 ГБ, мои mappers & reducers работают нормально. Моя машина имеет память 8G, процессор 8. Теперь с YARN, при запуске того же приложения на той же машине, я получил ошибку контейнера. По умолчанию у меня есть такие настройки: <property&...

когда я подключил свой кластер Hadoop к хранилищу Amazon и загрузил файлы в HDFS, я нашел s3:// не работает. При поиске некоторой помощи в Интернете я обнаружил, что могу использовать S3n. Когда я использовал S3n это сработало. Я не понимаю разницы между использованием S3 и S3n С моим кластером Hadoop, может ...

при установке hadoop на моей локальной машине, я получил следующую ошибку ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1]...

Я получаю эту ошибку при запуске Hadoop на OSX 10.7: Не удается загрузить информацию о области из SCDynamicStore ставлю: орг.апаш.платформа Hadoop.файловую систему HDFS.сервер.узел типа NameNode.SafeModeException: не удается создать каталог / user/travis/input / conf. Имя узла находится в безопасном реж...

Я работаю над проектом с использованием Hadoop, и он, похоже, изначально включает Java и обеспечивает потоковую поддержку Python. Есть ли значительное влияние на производительность при выборе одного над другим? Я достаточно рано в процессе, где я могу пойти в любом случае, если есть значительная разница в пр...