錯誤提示

ConnectionError: HTTPConnectionPool(host='slave2', port=50075):Max retries exceeded with url: /webhdfs/v1/home/temp/temp1/test.py?op=OPEN&user.name=root&namenoderpcaddress=master:9000&offset=0 (Caused by NewConnectionError(': Failed to establish a new connection: [Errno -2] Name or service not known',))

原因分析

報錯的重點在于，Max retries exceeded with url 和 Name or service not known達到最大嘗試次數(shù)后，提示未知的地址或服務，說明客戶端并沒有與數(shù)據(jù)節(jié)點建立連接。

根據(jù)hdfs讀流程的數(shù)據(jù)流向可以看到，當主節(jié)點確認hdfs中存在被請求的數(shù)據(jù)時，客戶端時直接與子節(jié)點建立連接的，而在某個特定情況下，子節(jié)點和客戶端可能不在同一網(wǎng)段，或者客戶端/etc/host中沒有記錄子節(jié)點地址與機器名的映射，而導致連接失敗。

解決措施

將客戶端和所有節(jié)點放到同一網(wǎng)段，如果已經(jīng)在同一網(wǎng)段，可以嘗試在客戶端/etc/host中添加子節(jié)點地址與機器名的映射。