- 浏览: 151097 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (113)
- Java工具类 (3)
- Hibernate (1)
- Struts>1&2 (0)
- Spring (0)
- Web前端 (1)
- 数据库 (2)
- 中间件 (3)
- 搜索引擎 (11)
- EJB (1)
- Log日志 (1)
- OS操作系统 (7)
- Java文档 (4)
- Security (1)
- Exception&Error (7)
- 日志&心情 (7)
- 开心一下 (3)
- 云计算 (41)
- Cache缓存 (4)
- MongoDB (1)
- OS操作系统 Linux (7)
- jquery (1)
- 机器学习 (2)
- Plugins (2)
- AJAX (1)
- Java工具 (1)
- WebService (1)
最新评论
-
a420144030:
你好,我想计算n篇文章的相似度,用mahout能处理吗,如何做 ...
mahout使用 -
di1984HIT:
OK,真的很牛啊
hadoop常见错误 -
xwl1991:
还真是这个问题 !
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
概述
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
--config confdir | 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 |
GENERIC_OPTIONS | 多个命令都支持的通用选项。 |
COMMAND 命令选项S |
各种各样的命令和它们的选项会在下面提到。这些命令被分为 两组。 |
常规选项
下面的选项被 。
-conf <configuration file> | 指定应用程序的配置文件。 |
-D <property=value> | 为指定property指定值value。 |
-fs <local|namenode:port> | 指定namenode。 |
-jt <local|jobtracker:port> | 指定job tracker。只适用于。 |
-files <逗号分隔的文件列表> | 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于。 |
-libjars <逗号分隔的jar列表> | 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于。 |
-archives <逗号分隔的archive列表> | 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于。 |
用户命令
hadoop集群用户的常用命令。
archive
创建一个hadoop档案文件。参考 .
用法:hadoop archive -archiveName NAME <src>* <dest>
-archiveName NAME | 要创建的档案的名字。 |
src | 文件系统的路径名,和通常含正则表达的一样。 |
dest | 保存档案文件的目标目录。 |
distcp
递归地拷贝文件或目录。参考以获取等多信息。
用法:hadoop distcp <srcurl> <desturl>
srcurl | 源Url |
desturl | 目标Url |
fs
用法:hadoop fs [] [COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
各种命令选项可以参考。
fsck
运行HDFS文件系统检查工具。参考了解更多。
用法:hadoop fsck [] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
<path> | 检查的起始目录。 |
-move | 移动受损文件到/lost+found |
-delete | 删除受损文件。 |
-openforwrite | 打印出写打开的文件。 |
-files | 打印出正被检查的文件。 |
-blocks | 打印出块信息报告。 |
-locations | 打印出每个块的位置信息。 |
-racks | 打印出data-node的网络拓扑结构。 |
jar
运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中,使用这个命令执行。
用法:hadoop jar <jar> [mainClass] args...
streaming作业是通过这个命令执行的。参考中的例子。
Word count例子也是通过jar命令运行的。参考。
job
用于和Map Reduce作业交互和命令。
用法:hadoop job [] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]
-submit <job-file> | 提交作业 |
-status <job-id> | 打印map和reduce完成百分比和所有计数器。 |
-counter <job-id> <group-name> <counter-name> | 打印计数器的值。 |
-kill <job-id> | 杀死指定作业。 |
-events <job-id> <from-event-#> <#-of-events> | 打印给定范围内jobtracker接收到的事件细节。 |
-history [all] <jobOutputDir> | -history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。 |
-list [all] | -list all显示所有作业。-list只显示将要完成的作业。 |
-kill-task <task-id> | 杀死任务。被杀死的任务不会不利于失败尝试。 |
-fail-task <task-id> | 使任务失败。被失败的任务会对失败尝试不利。 |
pipes
运行pipes作业。
用法:hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
-conf <path> | 作业的配置 |
-jobconf <key=value>, <key=value>, ... | 增加/覆盖作业的配置项 |
-input <path> | 输入目录 |
-output <path> | 输出目录 |
-jar <jar file> | Jar文件名 |
-inputformat <class> | InputFormat类 |
-map <class> | Java Map类 |
-partitioner <class> | Java Partitioner |
-reduce <class> | Java Reduce类 |
-writer <class> | Java RecordWriter |
-program <executable> | 可执行程序的URI |
-reduces <num> | reduce个数 |
version
打印版本信息。
用法:hadoop version
CLASSNAME
hadoop脚本可用于调调用任何类。
用法:hadoop CLASSNAME
运行名字为CLASSNAME的类。
管理命令
hadoop集群管理员常用的命令。
balancer
运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考了解更多。
用法:hadoop balancer [-threshold <threshold>]
-threshold <threshold> | 磁盘容量的百分比。这会覆盖缺省的阀值。 |
daemonlog
获取或设置每个守护进程的日志级别。
用法:hadoop daemonlog -getlevel <host:port> <name>
用法:hadoop daemonlog -setlevel <host:port> <name> <level>
-getlevel <host:port> <name> | 打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name> |
-setlevel <host:port> <name> <level> | 设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name> |
datanode
运行一个HDFS的datanode。
用法:hadoop datanode [-rollback]
-rollback | 将datanode回滚到前一个版本。这需要在停止datanode,分发老的hadoop版本之后使用。 |
dfsadmin
运行一个HDFS的dfsadmin客户端。
用法:hadoop dfsadmin [] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]
-report | 报告文件系统的基本信息和统计信息。 |
-safemode enter | leave | get | wait | 安全模式维护命令。安全模式是Namenode的一个状态,这种状态下,Namenode 1. 不接受对名字空间的更改(只读) 2. 不复制或删除块 Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。 |
-refreshNodes | 重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。 |
-finalizeUpgrade | 终结HDFS的升级操作。Datanode删除前一个版本的工作目录,之后Namenode也这样做。这个操作完结整个升级过程。 |
-upgradeProgress status | details | force | 请求当前系统的升级状态,状态的细节,或者强制升级操作进行。 |
-metasave filename | 保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项,<filename>中都会一行内容与之对应 1. Namenode收到的Datanode的心跳信号 2. 等待被复制的块 3. 正在被复制的块 4. 等待被删除的块 |
-setQuota <quota> <dirname>...<dirname> | 为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数,强制限定了目录树下的名字个数。 命令会在这个目录上工作良好,以下情况会报错: 1. N不是一个正整数,或者 2. 用户不是管理员,或者 3. 这个目录不存在或是文件,或者 4. 目录会马上超出新设定的配额。 |
-clrQuota <dirname>...<dirname> | 为每一个目录<dirname>清除配额设定。 命令会在这个目录上工作良好,以下情况会报错: 1. 这个目录不存在或是文件,或者 2. 用户不是管理员。 如果目录原来没有配额不会报错。 |
-help [cmd] | 显示给定命令的帮助信息,如果没有给定命令,则显示所有命令的帮助信息。 |
jobtracker
运行MapReduce job Tracker节点。
用法:hadoop jobtracker
namenode
运行namenode。有关升级,回滚,升级终结的更多信息请参考。
用法:hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
-format | 格式化namenode。它启动namenode,格式化namenode,之后关闭namenode。 |
-upgrade | 分发新版本的hadoop后,namenode应以upgrade选项启动。 |
-rollback | 将namenode回滚到前一版本。这个选项要在停止集群,分发老的hadoop版本后使用。 |
-finalize | finalize会删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再不可用,升级终结操作之后,它会停掉namenode。 |
-importCheckpoint | 从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定。 |
secondarynamenode
运行HDFS的secondary namenode。参考了解更多。
用法:hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
-checkpoint [force] | 如果EditLog的大小 >= fs.checkpoint.size,启动Secondary namenode的检查点过程。 如果使用了-force,将不考虑EditLog的大小。 |
-geteditsize | 打印EditLog大小。 |
tasktracker
运行MapReduce的task Tracker节点。
用法:hadoop tasktracker
转自:http://blog.sina.com.cn/s/blog_5fbdba500100cy6d.html~type=v5_one&label=rela_nextarticle
发表评论
-
用Sqoop把数据从HDFS导入到MYSQL
2012-10-27 23:30 2316转自:http://www.kaifajie.cn/mySQL ... -
大数据的储存:百度HDFS集群的数据压缩
2012-08-30 17:48 11522012年4月13日,由IT168(ITP ... -
用sqoop进行mysql和hdfs系统间的数据互导
2012-07-31 16:32 1880转自:http://abloz.com/2012/07/19/ ... -
从hive将数据导出到mysql
2012-07-31 16:31 1784转自:http://abloz.com/2012/07/20/ ... -
Hive SQL
2012-07-19 13:49 1399转自:http://www.tbdata.org/ ... -
Hive优化总结
2012-07-09 15:18 4266优化时,把hive sql当做ma ... -
hadoop/mapred 优化方法
2012-06-12 11:47 1370从三个方面着手优化 : 1. hadoop配置 2. ... -
hadoop集群dfs.data.dir目录权限问题导致节点无法启动
2012-06-11 18:32 6188安装使用Hive的时候发现文件无法从本地拷贝到hadoo ... -
hadoop中的balancer
2012-06-11 15:49 1104对于HDFS集群,经常长时间的运行,尤其是大量的delete操 ... -
Hadoop集群上使用Lzo压缩
2012-05-28 11:03 900转自:http://www.tech126.com/hadoo ... -
使用Hive读取Hbase中的数据
2012-05-23 13:12 2241转自:http://www.4ucode.com/Study/ ... -
在XP系统下配置eclipse集成hadoop开发
2012-05-05 11:09 1012一、目的:由于hadoop只能在Linux环境下运行,所以对于 ... -
使用Hive读取Hbase中的数据
2012-04-18 14:24 1054转自:http://www.4ucode.com/Study/ ... -
Web日志分析方法概述 让复杂的数据挖掘变得简单可行
2012-04-13 16:31 835志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志 ... -
应用sqoop将MySQL数据库中的数据导入Hbase
2012-04-12 11:31 2034转自:http://www.bwxxkj.com/a/jish ... -
hadoop中的trash机制,恢复删除的文件
2012-03-31 13:46 2154Hadoop回收站trash,默认是关闭的。 1.修改con ... -
Hadoop 和DBMS 的互补性
2012-03-29 12:22 643随着Microsoft 也加入Hadoop 阵营,Hadoop ... -
Hadoop 中的两表join
2012-03-29 12:20 823转自:http://www.gemini52013 ... -
各版本编译hadoop eclipse plugin
2012-03-29 12:19 1350转自:http://www.gemini52013 ... -
hadoop常见错误
2012-03-24 13:04 1619错误1:bin/hadoop dfs 不能正常启动,持续提 ...
相关推荐
Hadoop命令手册,总结了hadoop常用的hadoop指令,是初学者入门很好的工具书。
熟悉haoop命令,让云计算更上一步 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
分布式文件系统软件,Hadoop的命名使用手册,官方简体中文版
Facebook的实时Hadoop系统 hadoop的首次使用 Hadoop命令手册 Hadoop权威指南(第2版) hadoop伪分布配置自写 在Windows上安装Hadoop教程
使用Mysql构建简单数据集市29#Mysql的两种引擎介绍29#创建一个数据表使用Hive cli 进行数据分析29#使用shell 编写Hsql 并使用HiveCli导出数据,使用Mysql命令加载到数据库中。29#使用crontab 新增每日运行任务定时器...
3、Hadoop命令手册 4、Hadoop权威指南 5、hadoop伪分布配置自写 6、在Windows上安装Hadoop教程 7、Transwarp 8、HDFS基础培训 9、MapReduce基础培训 10、Spark 等等。 另有整套hadoop视频教程和ppt。需要的朋友留下...
4.7 .................................................................................................19 管理界面与命令 4.7.1 ..............................................................................
3.4.3 Hadoop 纠删码概述…·…········· ·· ·· ····· ·· ····· · ··· · ······· ·· ….... . .. .…..... .. ....................... 147 3.4.4 纠删码技术在Hadoop 中的...
Hadoop 中文教程 。包括快速入门,集群搭建,分布式文件系统,命令手册等文件。
hadoop 权威指南、命令手册、开发者入门专刊、开发者第一期、开发者第二期、开发者第三期、hadoop和hbase安装使用、hadhoop的安装与使用、hadoop的mapReduce执行过程介绍
4.4 适应Hadoop API 的改变 4.5 Hadoop 的Streaming 4.5.1 通过Unix命令使用Streaming 4.5.2 通过脚本使用Streaming 4.5.3 用Streaming处理键/值对 4.5.4 通过Aggregate包使用Streaming 4.6 使用combiner 提升...
包含了Hadoop入门,积极实战的书籍,都是中文版的。还有hadoop的命令手册文档。
本文档为Apache官方Hadoop 1.1.0中文文档 ...8.命令手册 9.FS Shell使用指南 10.DistCp使用指南 11.Map-Reduce教程 12.Hadoop本地库 13.Streaming 14.Hadoop Archives 15.Hadoop On Demand 另附带 Hadoop API
centos (linux) shell常用命令实例手册大全,包括:常用shell命令、语法、环境配置、实例、mysql、jdk、hadoop、hdfs、keepalive、文件操作、软件安装、系统、权限、服务、网络、磁盘管理 等各个方面的shell实例
30第3章 Hadoop组件 313.1 HDFS文件操作 313.1.1 基本文件命令 323.1.2 编程读写HDFS 353.2 剖析MapReduce程序 373.2.1 Hadoop数据类型 393.2.2 Mapper 403.2.3 Reducer 413.2.4 Partitioner:...
HDFS,HBase,Hive,Zookeep,Yarn,HadoopLoader,Storm,Kafka,Spark等命令实例,系统全面。