在Win7上的eclipse中使用Apache Hadoop2.2.0对接CDH5.3的Hadoop2.5调试时,上传到svn上,这次运行的地方是正宗的Apache社区版本Hadoop2.2的集群上(公司有两种hadoop集群(CDH的和Apache的))在使用过程中遇到一下几个问题,特记于此:
问题清单:修真门槛 | 障碍描述 | ||||
1 | 手写MapReduce中如何指定hadoop开启递归文件夹功能? | ||||
2 | 关于在Hadoop中使用配置文件,或者如何共享配置文件? | ||||
3 | 我在自己写的Mapper或者Reducer中使用Log4j记录的log究竟在哪里可以看到? | 4 | 出现Connection Refused异常时,该如何解决? | 5 | 如何启用hadoop的JobHistoryServer? |
问题一: 默认的hadoop的inputpath的路径,是只能读取到一级的,也就是说你这个目录下只能放文件,不能在放目录了,如果你放了目录,那么hadoop就会抛出异常,说当前path不是一个文件,所以你可以开启递归读取的功能,在main方法中的驱动类中,加入代码如下:
- FileInputFormat.setInputDirRecursive(job, true);//设置可以递归读取目录
FileInputFormat.setInputDirRecursive(job, true);//设置可以递归读取目录问题二: 这个问题在hadoop也比较常见,关于共享文件的配置,请参考,散仙以前的 http://qindongliang.iteye.com/blog/2038108 在这里,散仙扩展另外一个问题,关于如何在hadoop使用共享变量,比如初始化时,我有一个Map记录了一些公用的信息,在MapReduce的执行过程中,每个map或reduce方法,都有可能访问这个HashMap来获取一些信息,那么这个Map应该在什么时候初始化? 答案: 是在Hadoop的setup方法时,初始化才有效,如果你在main方法的第一行代码,就初始化了这个HashMap,那么在mapreduce过程中去访问这个变量是不会生效的,因为main方法启动jvm和Hadoop的jvm不是同一个jvm,所以就相当于刻舟求剑了,这一点需要注意下,只有在setup里面初始化的资源,才是和map或者reduce方法,共享同一个jvm 问题三: 关于如何在hadoop中,查看我们使用log4j记录的日志信息,请参考,散仙以前的http://qindongliang.iteye.com/blog/2038096 问题四: 出现Connection Refused异常时,如何解决? 这个问题,hadoop官网已经给了很详细的解释了,感兴趣的朋友,请参考这个链接: 出现这个问题的原因,一般不是程序代码的问题,而是hadoop的集群所在的linux的hosts出现了问题,关注点: (1)检测linux的/etc/host文件的IP映射是否有问题 (2)SSH的无秘钥的登陆,是否出现问题 (3)hadoop的/etc/hadoop的配置文件,是否所有的节点都一致 问题五: 可能有的朋友,还不知道JobHistoryServer这个东东是干啥的,没关系,大家在使用hadoop时在8088的界面上,是否经常有history链接的页面打不开? 你猜的没错,这个server就是提供了一个hadoop基于Web页面查看log的一个http链接,它在hadoop的8088的界面上的超链接如下图: 具体的配置和启动,参考如下代码:
- sbin/mr-jobhistory-daemon.sh start historyserver
- #yarn-site.xml
- <property>
- <name>mapreduce.jobhistory.address</name>
- <value>h1:10020</value>
- </property>
- <property>
- <name>mapreduce.jobhistory.webapp.address</name>
- <value>h1:19888</value>
- </property>
- <property>
- <name>yarn.log-aggregation-enable</name>
- <value>true</value>
- </property>
- <property>
- <name>yarn.log-aggregation.retain-seconds</name>
- <value>86400</value>
- </property>
- <property>
- <name>yarn.log-aggregation.retain-check-interval-seconds</name>
- <value>864000</value>
- </property>
- $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
- stop-yarn.sh
- start-yarn.sh
- $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
sbin/mr-jobhistory-daemon.sh start historyserver#yarn-site.xml比如,散仙在setup方法里,记录了一些log,那么我就可以通过这个链接地址,在web界面上看到: 最后再补充一个知识点,如何跨集群拷贝HDFS文件: 方式一: distcp 可直接在一个HDFS集群上拷贝数据到另外一个HDFS集群上 方式二:hdfs dfs -fs hdfs://172.175.25.78 -copyFromLocal 本地要上传的目录 /user/目标目录 可以直接在别的机器本地磁盘上拷贝文件,直接到HDSF集群上,注意他们的SSH应该是通的!mapreduce.jobhistory.address h1:10020 mapreduce.jobhistory.webapp.address h1:19888 yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 86400 $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserverstop-yarn.shstart-yarn.sh$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver yarn.log-aggregation.retain-check-interval-seconds 864000