星期

2020年11月14日

HDFS常用Shell操作总结

2020-11-14 08:04:59 来源:互联网 阅读:-
HDFS常见Shell实际操作汇总

基础英语的语法

bin/hadoopfs实际指令 或是 bin/hdfs dfs 实际指令 dfs是fs的完成类。

常用命令实际操作

1、 起动Hadoop群集

sbin/start-dfs.sh
sbin/start-yarn.sh

2、-help:輸出这一指令主要参数

hadoop fs-help rm

3、-ls:显示目录信息内容

hadoop fs- ls/

4、-mkdir:在HDFS上建立文件目录

hadoop fs -mkdir -p /hd/

5、-moveFromLocal:从当地裁切黏贴到HDFS

touch hd.txt 
hadoop fs -moveFromLocal  ./hd.txt  /hd/

6、-appendToFile:增加一个文档到早已存有的文档结尾

touch hd.txt
vi hd.txt
test conetent (增加的检测內容)
hadoop fs -appendToFile hd.txt  /hd/hd.txt

7、-cat:显示文件內容

hadoop fs -cat /hd/hd.txt

8、-chgrp、-chmod、-chown:Linux系统文件中的使用方法一样,改动文档隶属管理权限

hadoop fs -chmod 666 /hd/hd.txt
hadoop fs -chown hd:hd  /hd/hd.txt

9、-copyFromLocal:从当地系统文件中复制文档到HDFS途径去

hadoop fs-copyFromLocal /hd/hd.txt ./

10、-cp:从HDFS的一个途径拷到HDFS的另一个途径

hadoop fs -cp /hd/hd.txt /test.txt

11、-mv:在HDFS文件目录移动文档

hadoop fs -mv /test.txt /hd/

12、-get:相当于copyToLocal,就是以HDFS下载文件到当地

hadoop fs -get /hd/hd.txt ./

13、-getmerge:合拼免费下载好几个文档,例如HDFS的文件目录/user/hd/test下有好几个文档:log.1,log.2,log.3,...

hadoop fs-getmerge /user/hd/test/* ./ceshi.txt

14、-put:相当于copyFromLocal

hadoop fs -put ./ceshi.txt /user/hd/test/

15、-tail:显示信息一个文档的结尾

hadoop fs -tail /hd/hd.txt

16、-rm:删除文件夹或文件夹名称

hadoop fs -rm /hd/hd.txt

17、-rmdir:删掉空目录

hadoopfs-mkdir/test

hadoopfs-rmdir/test

18、-du统计分析文件夹名称的尺寸信息内容

hadoop fs -du -s -h /user/hd/test  (统计分析全部文件夹名称下全部文档的尺寸)
hadoop fs -du  -h /user/hd/test (列举文件夹名称下每一个文档的尺寸)

19、-setrep:设定HDFS中文档的团本总数

hadoop fs -setrep 10 /hd/hd.txt

这儿设定的团本数仅仅纪录在NameNode的数据库中,是不是确实会出现这么多团本,还得看DataNode的总数。

如:仅有3台机器设备,数最多也就3个团本,仅有连接点数的提升到10台时,团本数才可以做到10。

提交大数据库文件,默认设置是分离为不一样的block储存的,每一个block128M。

推荐阅读:大连信息港