hadoop 运行异常,ReplicaNotFoundException

浏览线上运行日志,发现大量报错信息,截取一条,希望大虾能帮助解决。

May 5, 10:07:30.620 AM ERROR org.apache.hadoop.hdfs.server.datanode.DataNode
hadoop-78:50010:DataXceiver error processing READ_BLOCK operation src: /192.0.0.78:34568 dst: /192.0.0.78:50010
org.apache.hadoop.hdfs.server.datanode.ReplicaNotFoundException: Replica not found for BP-381875526-172.18.50.76-1450327742712:blk_1075578327_1837535
at org.apache.hadoop.hdfs.server.datanode.BlockSender.getReplica(BlockSender.java:450)
at org.apache.hadoop.hdfs.server.datanode.BlockSender.(BlockSender.java:234)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:530)
at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:148)
at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:103)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:244)
at java.lang.Thread.run(Thread.java:745)

这个报错还是比较明确的,应该是你的datanode的副本节点(BP-381875526-172.18.50.76-1450327742712:blk_1075578327_1837535)没有找到。
你需要确认下这个节点是否启动了,是否能ping通?

确保整个hadoop都启动正常后,再验证下你的功能。

节点已经正常启动了,实在找不出什么原因了,stackoverflow上也有人遇到同样的问题,也是没有人回答。

我也遇到这个问题,就是有代码块找不到,hdfs里面单个副本有此问题是不影响集群正常使用的