python中使用from pyarrow import hdfs
fs=hdfs.connect()
报错pyarrow.lib.ArrowIOError:Unable to load libhdfs
解决方案
尝试使用 locate -l 1 libhdfs.so 查找文件。就我而言，该文件位于 /opt/mapr/hadoop/hadoop-0.20.2/c ++ / Linux-amd64-64 / lib 下。
然后，将环境变量 ARROW_LIBHDFS_DIR 设置为此路径，重新启动Jupyter服务器。就我而言，我的命令如下所示：
ARROW_LIBHDFS_DIR = / opt / mapr / hadoop / hadoop-0.20.2 / c ++ / Linux-amd64-64 / lib jupyter lab --port 2250 --no-browser
百度的, 没有过不知道是不是这样