Hadoop常见问题 | 用浏览器访问namenode的50070端口不正常,如何解决?

2019 年 2 月 19 日 CSDN云计算

戳蓝字“CSDN云计算”关注我们哦!


我们很荣幸能够见证Hadoop十几年间经历了从无到有,再到称王。感动于技术的日新月异时,希望通过本篇有问有答,带大家解决Hadoop的常见问题。


1

Q:Hadoop中,执行hdfs dfs -ls出现put: .': No such file or directory,如何解决?


A: 出现这个问题的原因是当前登录用户在HDFS中没有HOME文件夹,执行下面命令即可解决:

 hadoop fs -mkdir -p /user/[current login user]

现在执行 hadoop fs -ls就可以看到文件了。


2

Q:执行hadoop namenode -fromat时出现下面错误:

WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to 

check if JNs are ready for formatting. 2 exceptions thrown,如何解决?


A:解决方案:

在各个节点执行zkServer.sh start 启动各个zookeeper

在各个节点执行hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。

再次执行hadoop namenode -fromat即可。


3

Q:用浏览器访问namenode的50070端口不正常,如何解决?


A:需要诊断问题出在哪里:

a、在服务器的终端命令行使用jps查看相关进程,观察节点是否存活。

b、如果已经知道了启动失败的服务进程,进入到相关进程的日志目录下,查看日志,分析异常的原因:

    1)配置文件出错,saxparser  exception; ——找到错误提示中所指出的配置文件检查修改即可

    2)unknown host——主机名不认识,配置/etc/hosts文件即可,或者是配置文件中所用主机名跟实际不一致(注:在配置文件中,统一使用主机名,而不要用IP地址)

    3)directory 访问异常—— 检查namenode的工作目录,看权限是否正常。


4

Q:start-dfs.sh启动后,发现有datanode启动不正常。


A:解决方案如下:

    a)查看datanode的日志,看是否有异常,如果没有异常,手动将datanode启动起来

        sbin/hadoop-daemon.sh start datanode

    b)很有可能是slaves文件中就没有列出需要启动的datanode

    c)排除上述两种情况后,基本上,能在日志中看到异常信息:

       1、配置文件

       2、SSH免密登陆没有配置好

       3、datanode的身份标识跟namenode的集群身份标识clusterID不一致(删掉datanode的工作目录)


5

Q:在自己电脑上搭建了伪分布的环境之后,关机的时候没有关闭Hadoop环境,再次开机重新启动服务的时候发现只有jobTracker可以启动,剩下的都启动不了了,在浏览器中打开localhost:50030/可以打开,但是localhost:50060/和localhost:50070无法打开。


A:这其实主要是因为多次个格式化namenode引起的,在/tmp/下生成了多个文件,并且在hsperfdata_hadoop文件夹下生成了多个ID,其中有一个是没用的(和上层目录下hadoop_namenode.pid不同的那个),把它删掉,然后再次格式化,重启服务,一切OK。

小伙伴们冲鸭,后台留言区等着你!

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~





推荐阅读:


1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。


喜欢就点击“好看”吧
登录查看更多
0

相关内容

Hadoop 是 Apache 软件基金会所研发的开放源码并行运算编程工具和分布式档案系统,与 MapReduce 和 Google 档案系统的概念类似。
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
192+阅读 · 2020年6月29日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
161+阅读 · 2020年5月14日
【实用书】Python爬虫Web抓取数据,第二版,306页pdf
专知会员服务
117+阅读 · 2020年5月10日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
【资源】100+本免费数据科学书
专知会员服务
107+阅读 · 2020年3月17日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
Keras作者François Chollet推荐的开源图像搜索引擎项目Sis
专知会员服务
29+阅读 · 2019年10月17日
在K8S上运行Kafka合适吗?会遇到哪些陷阱?
DBAplus社群
9+阅读 · 2019年9月4日
PC微信逆向:两种姿势教你解密数据库文件
黑客技术与网络安全
16+阅读 · 2019年8月30日
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
用Now轻松部署无服务器Node应用程序
前端之巅
16+阅读 · 2019年6月19日
Kali Linux 渗透测试:密码攻击
计算机与网络安全
16+阅读 · 2019年5月13日
基于Web页面验证码机制漏洞的检测
FreeBuf
7+阅读 · 2019年3月15日
百度开源项目OpenRASP快速上手指南
黑客技术与网络安全
5+阅读 · 2019年2月12日
如何用GitLab本地私有化部署代码库?
Python程序员
9+阅读 · 2018年12月29日
Spark的误解-不仅Spark是内存计算,Hadoop也是内存计算
A survey on deep hashing for image retrieval
Arxiv
14+阅读 · 2020年6月10日
AliCoCo: Alibaba E-commerce Cognitive Concept Net
Arxiv
13+阅读 · 2020年3月30日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
26+阅读 · 2020年3月13日
Arxiv
15+阅读 · 2020年2月6日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
Arxiv
12+阅读 · 2018年9月5日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
5+阅读 · 2018年3月6日
VIP会员
相关VIP内容
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
192+阅读 · 2020年6月29日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
161+阅读 · 2020年5月14日
【实用书】Python爬虫Web抓取数据,第二版,306页pdf
专知会员服务
117+阅读 · 2020年5月10日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
【资源】100+本免费数据科学书
专知会员服务
107+阅读 · 2020年3月17日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
Keras作者François Chollet推荐的开源图像搜索引擎项目Sis
专知会员服务
29+阅读 · 2019年10月17日
相关资讯
在K8S上运行Kafka合适吗?会遇到哪些陷阱?
DBAplus社群
9+阅读 · 2019年9月4日
PC微信逆向:两种姿势教你解密数据库文件
黑客技术与网络安全
16+阅读 · 2019年8月30日
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
用Now轻松部署无服务器Node应用程序
前端之巅
16+阅读 · 2019年6月19日
Kali Linux 渗透测试:密码攻击
计算机与网络安全
16+阅读 · 2019年5月13日
基于Web页面验证码机制漏洞的检测
FreeBuf
7+阅读 · 2019年3月15日
百度开源项目OpenRASP快速上手指南
黑客技术与网络安全
5+阅读 · 2019年2月12日
如何用GitLab本地私有化部署代码库?
Python程序员
9+阅读 · 2018年12月29日
Spark的误解-不仅Spark是内存计算,Hadoop也是内存计算
相关论文
A survey on deep hashing for image retrieval
Arxiv
14+阅读 · 2020年6月10日
AliCoCo: Alibaba E-commerce Cognitive Concept Net
Arxiv
13+阅读 · 2020年3月30日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
26+阅读 · 2020年3月13日
Arxiv
15+阅读 · 2020年2月6日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
Arxiv
12+阅读 · 2018年9月5日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
5+阅读 · 2018年3月6日
Top
微信扫码咨询专知VIP会员