如何查看hdfs目录,hdfs扫目录慢

如何查看hdfs目录,hdfs扫目录慢

【一、创建与查看HDFS目录】1、创建HDFS目录：2、查看之前创建的HDFS目录注意：因为登录的用户为hduser,所以会显示/user/hduser下的目录。3、查看HDFS完整目1.hdfs dfs -ls path 查看文件列表2.hdfs dfs -lsr path 递归查看文件列表3.hdfs dfs -du path 查看path下的磁盘情况，单位字节使用示例1.hdfs dfs -ls /

df 命令# 查看根目录磁盘空间hdfs dfs -df / 复制文件和获取文件命令put 命令#将client node中的NOTICE.txt文件put 到hdfs的/user/zhang文件夹中hdfs dfs hadoop fs -test -d /user/hive/warehouse/test.db/increat_tableif[ $? -eq0] ;then echo'文件目录已经存在，执行增量导入'./increment.shelseecho'文件目录不

∪▽∪ 统计hdfs对应路径下的目录个数，文件个数，文件总计大小显示为目录个数，文件个数，文件总计大小，输入路径10.du hadoop fs -du < hdsf path> 显示hdfs对应路径下每个文件夹和文3、shell命令这个方法是最基本的，能进行所有文件操作。hadoop fs-ls/user/hadoop/output#查看指定目录下的文件和文件夹。user/hadoop/output是HDFS上的目

⊙▂⊙ 此处centos01是主节点名

ˇωˇ //或者conf.set("fs.default.name","hdfs://centos01:9000");

File一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)

用ls命令，如果返回一行说明是文件，如果多行则表示目录hadoop fs -ls $path | grep $path | wc -l/user/hadoop/output是HDFS上的目录，不是本地目录hadoop fs -cat /user/hadoop/output#查看文件内容博主的用户名是dblab,相应的HDFS上的目录变为/user/dblab/