Hadoop官网:http://hadoop.apache.org/
目前最新的版本是Hadoop 3.0.0-alpha1
前提:java 1.6 版本以上首先从官网下载压缩包(hadoop-3.0.0-alpha1.tar.gz )。
配置环境变量:JAVA_HOME(如果是做的java开发这个肯定已经配置好了)打开一个终端:vim ~/.bashrc
在最后加上:
export HADOOP_INSTALL=/home/ito/software/hadoop-3.0.0export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
sbin目录是Hadoop2.0之前的版本需要配置的。
$ source ~/.bashrc
查看是否配置成功
$ hadoop versionHadoop 3.0.0-alpha1Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3Compiled by andrew on 2016-08-30T07:02ZCompiled with protoc 2.5.0From source with checksum f3a9644139eac17acbb91bfce7f68e2This command was run using /home/ito/software/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0-alpha1.jar
看见下面的输出即配置成功。
单机模式下,这就可以了,接下来就是创建mapreduce工程。在eclipse创建Java Project,导jar包。jar包名字中包含test字符串的都是自己测试用的,source下的都是源码,这两种jar包如果不需要可以不用拷。
mapreduce项目需要导入的jar包:hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包(子文件夹下的jar包不用)
hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jarhadoop-2.7.2/share/hadoop/common/lib 所有的jar包