HDFS命令详解
hdfs命令:
 ls
 格式:hdfs dfs -ls path
 作用:類似于linux的ls命令,顯示文件列表
 hdfs dfs -ls /
lsr
 格式:hdfs dfs -lsr path
 作用:在整個目錄下遞歸執行ls,與lunix中的ls -R 類似
 hdfs dfs -lsr /
mkdir
 格式:hdfs dfs [-p] -mkdir path
 作用:創建目錄,-p表示可以遞歸創建目錄
put
 格式:hdfs dfs -put 
 作用:將單個的源文件 或者多個源文件從本地文件系統拷貝到目標文件系統中
 hdfs dfs -put /rooot/a.txt /dir1
moveFromLocal
 格式:hdfs dfs -moveFromLocal 
 作用:和put命令類似,但是源文件localsrc拷貝之后自身被刪除
 hdfs dfs -moveFromLocal /root/install.log /
get
 格式:hdfs dfs -get [-ignorecrc] [-src] 
 作用:將文件拷貝到本地文件系統。CRC 校驗失敗的文件通過-ignorecrc選項拷貝。
 hdfs dfs -get /install.log /export/servers
mv
 格式:hdfs dfs -mv URI dest
 作用:將hdfs上的文件從原路徑移動到目標路徑(移動之后文件刪除),該命令不能跨文件系統
 hdfs dfs - mv /dir1/a.txt /dir2
rm
 格式:hdfs dfs -rm [-r] [-skopTrash ] URI
 作用:刪除參數指定的文件,參數可以是多個,該命令只刪除文件和非空目錄。
 如果指定-skipTrash 選項,name在回收站可用的情況下,該選項將跳過回收站而直接刪除文件,否則在回收站可用時,在HDFS Shell 中執行此命令,會將文件暫時放到回收站中。
 hdfs dfs -rm -r /dor1
cp
 格式:hdfs dfs -cp URI
 作用:將文件拷貝到目標路徑中。
 -f 選項將覆蓋目標,如果它已經存在
 -p 選項將保留文件屬性(例如:時間戳,權限等)
 hdfs dfs -cp /dir1/a.txt /dir2/b.txt
cat
 格式:hdfs dfs -cat URI
 作用:將參賽所指示的文件內容輸出到(查看日志一般)
 hdfs dfs -cat /install.log
chmod
 格式: hdfs dfs -chmod [-R] URI
 作用:改變文件權限。如果使用 -R 選項,則對整個目錄有效遞歸執行。使用這一命令的用戶必須是文件的所屬用戶,或者超級用戶
 hdfs dfs -chmod -R 777 /install.log
chown
 格式: hdfs dfs -chown [-R] URI
 作用:改變文件的所屬用戶和用戶組,如果使用-R 則遞歸
 hdfs dfs -chown -R hadoop:hadoop /install.log
appendToFile
 格式:hdfs dfs -appendToFile localsrc dst
 作用:追加一個或者多個文件到hdfs 指定文件中
 hdfs dfs -appenToFile a.xm b.xml /big.xml
hdfs的高級命令
hdfs dfs -count -q -h /user 查看配額信息
 數量限額
 hdfs dfs -mkdir -p /user /dir 創建hdfs文件夾
 hdfs dfsadmin -setQuota 2 dir 給該文件夾下面設置最多上傳2個文件,發現只能上傳一個文件(原因是默認該文件已經算一個)
 hdfs dfsadmin -clrQuota /user/dir 清除文件數量限制
空間大小限額
 在設置空間配額時,設置的空間大小只是是block_size*3
 hdfs dfsadmin -setSpaceQuota 4k /user/dir 限制空間大小為4K
 生成任意大小文件的命令:
 dd if=/dev/zero of =1.txt bs =1M count =2 生成2M的文件,名稱為1.txt
安全模式操作命令
hdfs dfsadmin -safemode get 查看安全模式狀態
hdfs dfsadmin -safemode enter 進入安全模式
hdfs dfsadmin -safemode leave 離開安全模式
總結
                            
                        - 上一篇: android- Auto Monit
 - 下一篇: Java SpringMvc+hiber