詹学伟

詹学伟

一个爱好编程的90后站长。

关注我詹学伟个人微信号:tobecomputer

您现在的位置是:网站首页>博客详情

Idea Hadoop本地测试

2020-10-09 詹学伟 专业交流 87 0

1.新建springboot项目,略

 

2.添加相关依赖

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.7.2</version>
        </dependency>

3.编写案例代码,如wordcount,代码略

4.将hadoop集群的配置文件core-site.xml、hdfs-site.xml复制到项目resource目录下

5.测试

说明:测试方法:

 wordcount通常需要指定两个参数,一个为输入参数,即读取的文件,第二个为输出的目录,即计算后的结果存放的位置

如上图:第一个参数/input:读取根目录下input文件,输出结果到/output下


6.这样是不够的,还需要在本down下hadoop(和你搭建的集群版本一致)源码,并配置HADOOP_HOME环境变量

说明:有的人在配置了环境变量后,运行的时候还是会报错,这个时候可以在代码中加入

System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.2");

  后面参数为你本地hadoop的环境变量路径,如:

   

 

7.需要将down下来的源码包中share/hadoop目录下所有的jar导入到idea

 

 

8.还需要一个关键的winutils.exe 和 hadoop.dll,将这两个文件放入到down下来的hadoop的bin目录

winutils.exe 和 hadoop.dll文件网上可以找到,版本要一致。顺便讲一下,我是下载winutils包解压后的文件全部复制到hadoop的bin下了

 

 



最后测试:

 

 

 


文章评论