200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > hadoop安装以及Java API操作hdfs

hadoop安装以及Java API操作hdfs

时间:2022-11-22 00:58:12

相关推荐

hadoop安装以及Java API操作hdfs

因为工作需求,需要我这边实现一个大文件上传到HDFS的功能,因为本机无法连接公司内网的集群,无奈只好自己动手搭建一个单节点的Hadoop来满足工作的需求。下面简单介绍下安装过程中遇到的坑

我的机器是阿里云的最低配

安装文件:hadoop-2.6.0.tar.gz

安装过程也不赘述,请参考:/install-hadoop-in-centos/

按部就班的安装完成之后,执行以下命令:

cd /usr/local/hadoop/sbin

sh start-all.sh

jps

一个都不能少

我第一次安装的时候发现DataNode节点没有起来,查看日志报错如下

主要是namenode的clusterID 和datanode 的clusterID 不一致导致

解决方法:

cd /tmp/hadoop-hadoop/dfs/data/current

vi VERSION

将datanode 的clusterID更改为 namenode的clusterID 保存退出 重启即可

解决完这个问题之后,我在本机尝试通过Java API连接 发现报错 failed on connection exception

查了一下解决的方法,大致如下

首先 telnet serever port

我发现我无法telnet通hadoop服务的端口

然后就到hadoop 的/usr/local/hadoop/etc/hadoop/core-site.xml 下

将图中的地址改为服务的外网地址 如此问题就得到解决了

在连接到hdfs之后, 没有写权限

执行命令 hadoop fs -chmod 777 /user/hadoop

后面的/user/hadoop这个路径为HDFS中的文件路

之后问题解决

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。