200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > hdfs命令 hadoop基本常用命令

hdfs命令 hadoop基本常用命令

时间:2019-03-22 09:53:39

相关推荐

hdfs命令 hadoop基本常用命令

HDFS常用基本命令:

进入 Hadoop 的配置文件目录:cd /usr/local/hadoop

执行名称节点的格式化:./bin/hdfs namenode -format

启动 HDFS:./sbin/start-dfs.sh

停止 HDFS:./sbin/stop-dfs.sh

hdfs 上传文件至集群(student.txt文件在当前所在路径,如果不在则需要加绝对路径):

./bin/hdfs dfs -put student.txt /usr/stu/input

创建:

hdfs 创建目录(文件夹):./bin/hdfs dfs -mkdir /user

hdfs 递归创建目录(文件夹):./bin/hdfs dfs -mkdir -p /user/stu/…

删除:

hdfs 删除空目录:./bin/hdfs dfs -rm -r /output

hdfs 删除文件(data.txt):./bin/hdfs dfs -rm usr/stu/input/data.txt

hdfs 递归删除output目录(文件夹)(根目录下的ouput目录内所有文件全都被删除):

./bin/hdfs dfs -rm -r /output

下载:

将hdfs集群指定目录下的文件下载到本地计算机 /usr路径(如果没有权限在前面加sudo):

./bin/hdfs dfs -get /output/part-r-00000 /usr

查看集群根目录文件data.txt文件内容:

./bin/hdfs dfs -cat /data.txt

在集群根目录下创建一个空文件a.txt:

./bin/hdfs dfs -touchz /a.txt

将根目录下的文件a.txt重命名为b:

./bin/hdfs dfs -mv /a.txt /b.txt

1. 在HDFS上建立/user/stu/自己学号,并将party.csv上传至该目录下。

./bin/hdfs dfs -mkdir -p /user/stu/学号

./bin/hdfs dfs -put party.csv /user/stu/学号

2.根据学号完成以下题目

查看hdfs的/user/stu/自己学号/party.csv的前五行数据。

./bin/hdfs dfs -cat /user/stu/19561240316/party.csv | head -5

级联列出hdfs的/user/stu/下的目录和文件。

./bin/hdfs dfs -ls -R /user/stu/

将hdfs的/user/stu/自己学号/party.csv复制到集群根目录。

./bin/hdfs dfs -cp /user/stu/19561240316/party.csv /

测试/use/stu/下是否存在exam目录

./bin/hdfs dfs -test -e /user/stu/exam

echo $?

下载hdfs的/user/stu/自己学号/party.csv到本地文件夹/home/stu/exam/下。

./bin/hdfs dfs -get /user/stu/19561240316/party.csv /home/stu/exam/

3.在hdfs的根目录新建文件test.txt,使用追写文件命令,在终端输入自己的学号,追加到该文件中。

./bin/hdfs dfs -touchz /test.txt

./bin/hdfs dfs -appendToFile - /test.txt

19561240316

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。