hdfs基本操作(hdfs常用操作)

1、启动HDFS:

hdfs基本操作(hdfs常用操作)

2、WebConsole访问:

端口:50070

hdfs基本操作(hdfs常用操作)

hdfs基本操作(hdfs常用操作)

hdfs基本操作(hdfs常用操作)

3、操作命令:

-mkdir:创建目录,-p:先创建父目录。

-ls:查看某个HDFS的目录;

-ls -R:查看某个HDFS的目录,包括子目录;

-lsr:查看某个HDFS的目录,包括子目录;

-put:上传文件;

-copyFromLocal:上传文件;

-moveFromLocal:上传文件,相当于剪切;

-copyToLocal:下载文件;

-get:下载文件;

-rm:删除目录;

-rmr:删除目录,如果存在子目录先删除子目录;

-getmerge:将某个HDFS下的文件,先合并,再下载;

示例:student01.txt存储1和2,student02.txt存储3和4,使用-getmerge合并下载到a.txt文件。

hdfs基本操作(hdfs常用操作)

-cp:拷贝;

-mv:移动;

-count:统计hdfs对应路径下的目录个数,文件个数,文件总计大小;

显示为:目录个数,文件个数,文件总计大小,输入路径;

-du:显示hdfs对应路径下每个文件夹和文件的大侠;

hdfs基本操作(hdfs常用操作)

-text、-cat:将文本文件或某些格式的非文本文件通过文本格式输出;

balancer:如果管理员发现某些DataNode保存数据过多,某些相对较少,可以使用命令手动启动内部的均衡过程;

hdfs基本操作(hdfs常用操作)

4、管理命令:hdfs dfsadmin ***

-report:显示文件系统的基本数据;

hdfs基本操作(hdfs常用操作)

-safemode:HDFS的安全模式命令;

hdfs基本操作(hdfs常用操作)

5、JavaAPI操作

1、依赖的Jar包:

/root/training/hadoop-2.7.3/share/hadoop/common

/root/training/hadoop-2.7.3/share/hadoop/common/lib

/root/training/hadoop-2.7.3/share/hadoop/hdfs

/root/training/hadoop-2.7.3/share/hadoop/hdfs/lib

2、示例代码:

hdfs基本操作(hdfs常用操作)

test3设置:

hdfs基本操作(hdfs常用操作)

test4设置,先停止hdfs,配置完成后重启:

hdfs基本操作(hdfs常用操作)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发表评论

登录后才能评论