Idea Hadoop本地测试
2020-10-09 詹学伟 专业交流 87 0
1.新建springboot项目，略
2.添加相关依赖
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>2.7.2</version>
</dependency>
3.编写案例代码，如wordcount，代码略
4.将hadoop集群的配置文件core-site.xml、hdfs-site.xml复制到项目resource目录下
5.测试
说明：测试方法：
wordcount通常需要指定两个参数，一个为输入参数，即读取的文件，第二个为输出的目录，即计算后的结果存放的位置
如上图：第一个参数/input:读取根目录下input文件，输出结果到/output下
6.这样是不够的，还需要在本down下hadoop（和你搭建的集群版本一致）源码，并配置HADOOP_HOME环境变量
说明：有的人在配置了环境变量后，运行的时候还是会报错，这个时候可以在代码中加入
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.2");
后面参数为你本地hadoop的环境变量路径，如：
7.需要将down下来的源码包中share/hadoop目录下所有的jar导入到idea
8.还需要一个关键的winutils.exe 和 hadoop.dll，将这两个文件放入到down下来的hadoop的bin目录
winutils.exe 和 hadoop.dll文件网上可以找到，版本要一致。顺便讲一下，我是下载winutils包解压后的文件全部复制到hadoop的bin下了
最后测试：
