博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ubuntu14.04 Hadoop单机开发环境搭建MapReduce项目
阅读量:5169 次
发布时间:2019-06-13

本文共 1109 字,大约阅读时间需要 3 分钟。

Hadoop官网:http://hadoop.apache.org/

目前最新的版本是Hadoop 3.0.0-alpha1

前提:
java 1.6 版本以上

首先从官网下载压缩包(hadoop-3.0.0-alpha1.tar.gz )。

配置环境变量:
JAVA_HOME(如果是做的java开发这个肯定已经配置好了)
打开一个终端:

vim ~/.bashrc

在最后加上:

export HADOOP_INSTALL=/home/ito/software/hadoop-3.0.0export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

sbin目录是Hadoop2.0之前的版本需要配置的。

$ source ~/.bashrc

查看是否配置成功

$ hadoop versionHadoop 3.0.0-alpha1Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3Compiled by andrew on 2016-08-30T07:02ZCompiled with protoc 2.5.0From source with checksum f3a9644139eac17acbb91bfce7f68e2This command was run using /home/ito/software/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0-alpha1.jar

看见下面的输出即配置成功。

 

单机模式下,这就可以了,接下来就是创建mapreduce工程。在eclipse创建Java Project,导jar包。jar包名字中包含test字符串的都是自己测试用的,source下的都是源码,这两种jar包如果不需要可以不用拷。

mapreduce项目需要导入的jar包:

hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包(子文件夹下的jar包不用)

hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jar
hadoop-2.7.2/share/hadoop/common/lib 所有的jar包

转载于:https://www.cnblogs.com/badboyf/p/6225932.html

你可能感兴趣的文章