hadoop dfs-ls жалуется

Может кто-нибудь, дайте мне знать, что, кажется, неправильно здесь ? команда hadoop dfs, кажется, в порядке, но все следующие параметры не распознаются.

[hadoop-0.20]$bin/hadoop dfs -ls ~/wordcount/input/ ls: Cannot access /home/cloudera/wordcount/input/ : No such file or directory

2 5
hadoop

2 ответа:

Hadoop fs-ls / some / path / here-перечислит расположение HDFS, а не ваше локальное расположение linux попробуйте сначала эту команду

hadoop fs -ls /
Затем шаг за шагом исследуйте другие папки.

Если вы хотите скопировать некоторые файлы из локального каталога в каталог пользователей в папке HDFS, то просто используйте это:

hadoop fs -mkdir /users
hadoop fs -put /some/local/file /users

Дополнительные команды hdfs смотрите здесь: http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html

13

FS относится к общей файловой системе, которая может указывать на любые файловые системы, такие как local, HDFS, s3 и т. д., Но dfs очень специфична для HDFS. Поэтому, когда мы используем FS, он может выполнять операции с локальной или распределенной файловой системой hadoop до места назначения. Но указание операции DFS относится к HDFS.

0