国内最全IT社区平台 联系我们 | 收藏本站
华晨云阿里云优惠2
您当前位置:首页 > 服务器 > Hadoop启动、作业提交及错误修改

Hadoop启动、作业提交及错误修改

来源:程序员人生   发布时间:2017-03-27 09:34:20 阅读次数:4476次

1、启动Hadoop

进入hadoop目录下,

$ cd sbin
$ ./start-all.sh

2、作业提交

以jar包为例,我们可以到/share/hadoop/mapreduce/ 目录下看到有hadoop-mapreduce-examples⑵.7.2.jar 的示例。
提交作业

hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples⑵.7.2.jar pi 5 5

提交完成后,我们可以去平台上查看该作业状态。

3、毛病修改

1、找不到命令

hadoop:command not found

解决办法:确认hadoop命令的位置,从该命令目录进行作业提交(1般为hadoop/bin目录下),或把hadoop命令添加到系统变量。

2、提交作业失败,requested memory > max configured

Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=xxx

很明显,我们分配的内存太小。
解决办法:找到hadoop/etc目录下的yarn-site.xml,打开文件,把resource.memory-mb附近值修改成4096或更大。


生活不易,码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠
程序员人生
------分隔线----------------------------
分享到:
------分隔线----------------------------
关闭
程序员人生