hadoop 笔记

hadoop博客地址：

http://langyu.iteye.com/category/177430

 

Shuffle，奇迹发生的地方，mapreduce的核心：

http://langyu.iteye.com/blog/992916

 

2、hadoop执行hdfs命令报错： ipc.Client: Retrying connect to server:

原因是：hadoop默认配置是把一些tmp文件放在/tmp目录下，重启系统后，tmp目录下的东西被清除，所以报错
    解决方法：在conf/core-site.xml （0.19.2版本的为conf/hadoop-site.xml）中增加以下内容
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/var/log/hadoop/tmp</value>
  <description>A base for other temporary directories</description>
  </property>
  重启hadoop后，格式化namenode即可

3、

通过 http://master node的主机名或IP：50030 可以链接到JobTracker

通过 http://master node的主机名或IP：50070 可以链接到NameNoe