当前位置:操作系统 > Unix/Linux >>

hadoop之简单命令说明

hadoop之简单命令说明
 
搭建好了hadoop的平台,然后我们可以使用简单的hadoop命令体验下hadoop,不至于搭建平台后不知道干嘛。
[html] 
$ pwd  
/home/opt/hadoop   
 
格式化分布式文件系统
[html] 
$ bin/hadoop namenode -format  
 
启动hadoop的守护进程
[html] 
$ bin/start-all.sh  
 
停止hadoop的守护进程
[java] 
$ bin/stop-all.sh  
 
可用jps查看守护进程是否启动
[html] 
jps  
 
为了后边的演示,我在这里新建几个文件及目录~
[html] 
$ mkdir input  
$ cd input/  
$ echo "hello world" > test1.txt  
$ echo "hello hadoop" >test2.txt  
 
将input目录复制到hdfs个根目录,并重命名为in,out为处理完成后输出目录(执行之前out必须为空,否则出错)
[html] 
$ bin/hadoop dfs -put input in  
$ bin/hadoop jar hadoop-exmples-1.0.1.jar wordcount in out  
 
列出文档中的文件
[html] 
$ bin/hadoop dfs -ls in  
[html] 
-rw-r--r--   1 hadoop supergroup         12 2013-04-08 19:17 /user/hadoop/in/test1.txt  
-rw-r--r--   1 hadoop supergroup         13 2013-04-08 19:17 /user/hadoop/in/test2.txt  
查看hdfs文件内容
[html] 
$ bin/hadoop dfs -cat in/test1.txt  
hello world  
 
删除文件
[html] 
bin/hadoop dfs -rm in/test1.txt  
 
删除目录
[html] 
bin/hadoop dfs -rmr in/input (假如hdfs的in目录下已经有了此目录)  
当hdfs目录中的文件test2.txt下载到本地,并重命名为test.txt
[html] 
$ bin/hadoop dfs -get in/test2.txt test.txt  
 
管理与更新命令:
报告hdfs的基本统计信息
[html] 
$ bin/hadoop dfsadmin -report  
 
进入安全模式(安全模式下文件系统不允许修改)
[html] 
$ bin/hadoop dfsadmin -safemode enter  
 
Safe mode is ON
退出安全模式(等待若干秒生效)
[html] 
$ bin/hadoop dfsadmin -safemode leave  
 
Safe mode is OFF
启动负载均衡
[html] 
$ bin/start-balancer.sh  
 
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,