IT培訓(xùn)網(wǎng)
IT在線學(xué)習(xí)
在HDFS API編程之前,我們首先需要把HDFS客戶端環(huán)境準(zhǔn)備好。
1.根據(jù)自己電腦的操作系統(tǒng)拷貝對(duì)應(yīng)的編譯后的hadoop jar包到非中文路徑(例如:D:\Develop\hadoop-2.7.2),如圖1所示
圖1 編譯后的hadoop jar包
2.配置HADOOP_HOME環(huán)境變量,如圖2所示
圖2 配置HADOOP_HOME環(huán)境變量
3. 配置Path環(huán)境變量,如圖3所示
圖3 配置Path環(huán)境變量
如果配置成功,可以使用hadoop -version進(jìn)行校驗(yàn),如果報(bào)錯(cuò):提示JAVA_HOME incorrect,問題原因是由于jdk目錄配置中有空格,比如安裝在c盤下jdk,路徑一般是默認(rèn)為
C:\program file\Java\jdk1.8.0_144,由于路徑中有空格,所以會(huì)報(bào)錯(cuò)。
解決方法:在解壓后的Hadoop安裝包中的etc目錄中找到hadoop-env.cmd(注意windows需要修改hadoop-env.cmd,linux中修改的是hadoop-env.sh),找到配置的JAVA_HOME
改為:C:\PROGRA~1\Java\jdk1.8.0_144
4.創(chuàng)建一個(gè)Maven工程HdfsClientDemo
5.導(dǎo)入相應(yīng)的依賴坐標(biāo)+日志添加
注意:如果eclipse/idea打印不出日志,在控制臺(tái)上只顯示
需要在項(xiàng)目的src/main/resources目錄下,新建一個(gè)文件,命名為“log4j.properties”,在文件中填入:
6.創(chuàng)建包名:com.root.hdfs
7.創(chuàng)建HDFSApp類
>>本文地址:http://www.yiyunku.cn/zhuanye/2021/67528.html
聲明:本站稿件版權(quán)均屬中公教育優(yōu)就業(yè)所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
1 您的年齡
2 您的學(xué)歷
3 您更想做哪個(gè)方向的工作?