您当前的位置:首页 > 互联网百科 > 大数据

hadoop-hdfs shell命令

时间:2019-12-02 15:42:55  来源:  作者:

hadoop-hdfs   shell命令

一.常用命令实操

(1)-help:输出这个命令参数

bin/hdfs dfs -help rm

(2)-ls: 显示目录信息

hdfs dfs -ls /

(3)-mkdir:在hdfs上创建目录

hdfs dfs -mkdir -p /aaa/bbb/cc/dd

(4)-moveFromLocal从本地剪切粘贴到hdfs

hdfs dfs -moveFromLocal /root/install.log /aaa/bbb/cc/dd

(5)-moveToLocal:从hdfs剪切粘贴到本地

hdfs dfs -moveToLocal /aaa/bbb/cc/dd/install.log /root

moveToLocal: Option '-moveToLocal' is not implemented yet.

(6)--AppendToFile :追加一个文件到已经存在的文件末尾

hdfs dfs -appendToFile /root/install.log /test.txt

(7)-cat :显示文件内容

hdfs dfs -cat /test.txt

(8)-tail:显示一个文件的末尾

hdfs dfs -tail /test.txt

(9)-text:以字符形式打印一个文件的内容

hdfs dfs -text /test.txt

(10)-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限

hdfs dfs -chmod 666 /test.txt

hdfs dfs -chown someuser:somegrp /test.txt

(11)-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去

hdfs dfs -copyFromLocal /export/softwares/jdk-8u141-linux-x64.tar.gz /

(12)-copyToLocal:从hdfs拷贝到本地

hdfs dfs -copyToLocal /jdk-8u141-linux-x64.tar.gz /export/

(13)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径

hdfs dfs -cp /jdk-8u141-linux-x64.tar.gz /aaa/

(14)-mv:在hdfs目录中移动文件

hdfs dfs -mv /aaa/jdk-8u141-linux-x64.tar.gz /aaa/bbb

(15)-get:等同于copyToLocal,就是从hdfs下载文件到本地

hdfs dfs -get /jdk-8u141-linux-x64.tar.gz /export

(16)-getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hdfs dfs -put /root/install.log /aaa/1.log

hdfs dfs -put /root/install.log /aaa/2.log

hdfs dfs -getmerge /aaa/*.log /export/hello.txt

(17)-put:等同于copyFromLocal

hdfs dfs -put /export/jdk-8u141-linux-x64.tar.gz /user

(18)-rm:删除文件或文件夹

hdfs dfs -rm -r /user/jdk-8u141-linux-x64.tar.gz

(19)-rmdir:删除空目录

hdfs dfs -mkdir /empty

hdfs dfs -rmdir /empty

(20)-df :统计文件系统的可用空间信息

hdfs dfs -df -h /

(21)-du统计文件夹的大小信息

hdfs dfs -du -s -h /aaa

(22)-count:统计一个指定目录下的文件节点数量

hdfs dfs -count /aaa/

(23)-setrep:设置hdfs中文件的副本数量

hdfs dfs -setrep 1 /jdk-8u141-linux-x64.tar.gz

(24) - expunge :清空hdfs垃圾桶

hdfs dfs -expunge

二.hdfs的高级使用命令

1、HDFS文件限额配置

hdfs文件的限额配置允许我们以文件大小或者文件个数来限制我们在某个目录下上传的文件数量或者文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量

(1) 数量限额

node01执行以下命令进行文件数量限额

hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹

hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件

hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制

(2)空间大小限额

node01执行以下命令进行空间大小限额

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#上传超过4Kb的文件大小上去提示文件超过限额

hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#重新上传成功

hadoop-hdfs   shell命令

查看hdfs文件限额数量

hdfs dfs -count -q -h /user/root/lisi

hadoop-hdfs   shell命令

2、hdfs的安全模式

安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。如果HDFS出于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制(从而达到最小副本数量要求),hdfs集群刚启动的时候,默认30S钟的时间是出于安全期的,只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作

hdfs dfsadmin -safemode

hadoop-hdfs   shell命令
hadoop-hdfs   shell命令


Tags:hadoop-hdfs   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一.常用命令实操(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls: 显示目录信息hdfs dfs -ls /(3)-mkdir:在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd(4)-moveFromLoc...【详细内容】
2019-12-02  Tags: hadoop-hdfs  点击:(144)  评论:(0)  加入收藏
▌简易百科推荐
前言什么是数据脱敏数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护常用脱敏规则替换、重排、加密、截断、掩码良好的数据脱敏实施1、尽...【详细内容】
2021-12-28  linyb极客之路    Tags:数据脱敏   点击:(4)  评论:(0)  加入收藏
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(10)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(26)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(40)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条