美文网首页
parquet(2)读写

parquet(2)读写

作者: 大飞飞_s8 | 来源:发表于2019-08-23 00:01 被阅读0次

    1、大多数情况下,我们会使用高级工具来处理parquet文件,比如hive spark impala,不过有时候我们也需要进行低级顺序访问

    2、parquet具有一个可插入式的内存数据模型,其作用是要让parquet文件格式更好地与类型广泛的各种工具集成,在java中,这种集成体现在readSupport 和 WriteSupport上

    3、parquet写入

    3.1、创建(MessageType)schema

    3.2、创建parquet message实例 Group group

    3.3、创建Groupwritersupport

    3.4、创建parquetWriter

    3.5、调用parquetwriter的write方法,最后closewriter

    4、parquet读文件,更简单,不需要设置文件属性

    4.1、创建groupreadsupport

    4.2、创建parquetreader

    4.3、调用read方法

    5、大多数程序更倾向于使用avro、protocol buffers 或者thrift这样的框架来定义数据模型,parquet则迎合了这些需求

    6、如avroparquetwriter protoparquetwriter thriftparquetwriter以及其分别对应的writer


    上回话周朝东迁洛阳,此回话春秋时代

    周王朝所属的每一个封国,都有自己完整的本国史,但是只有鲁国的留传下来,鲁国史称为“春秋”,所以史学家把公元前722年到公元前481年称为春秋时代。

    卫国首先于719年政变,政变失败,接下来鲁国政变,宋国政变

    宋国国君子与夷跟他的国防总司令孔父嘉是好朋友,孔父嘉的妻子十分美丽,大臣华督见了,立刻神魂颠倒,但是她的身份高贵,华督不能直接抢夺。那时,子与夷堂弟子冯流亡郑国,华督派人跟他联络,恰好孔父嘉积极训练军队准备出猎,华督散步谣言,“孔父嘉每次都被郑国打败”,煽动士兵,士兵祈求华督伸手援救,华督就率领他们攻杀孔父嘉,顺便把子与夷也杀了,子冯到了国君位置,华督得到了孔父嘉的妻子。

    因为妻子过于漂亮引来杀身之祸的,孔父嘉是历史上第一人,但是因为美女而引起政权转移,王朝瓦解国家覆灭的却在以后经常出现。

    相关文章

      网友评论

          本文标题:parquet(2)读写

          本文链接:https://www.haomeiwen.com/subject/zoeasctx.html