美文网首页
python pandas dataframe 写入hdfs

python pandas dataframe 写入hdfs

作者: 迷茫_小青年 | 来源:发表于2021-10-25 15:00 被阅读0次

只能python3

python2 pip 安装包的时候报错

pip install hdfs[avro,dataframe,kerberos]

#!/usr/bin/python3

from hdfs import *

from hdfs.ext.kerberos import KerberosClient

from hdfs.ext.dataframe import read_dataframe, write_dataframe

import pandas as pd

client = KerberosClient('http://namenode-1.cvm.tc.inmobi.cn:50070')

df = pd.DataFrame({'A':[1,2,3]})

write_dataframe(client, '/tmp/data.avro', df, overwrite=True)

print(client.list('/tmp'))

相关文章

网友评论

      本文标题:python pandas dataframe 写入hdfs

      本文链接:https://www.haomeiwen.com/subject/npshaltx.html