美文网首页
B站学习pyspark学习记录

B站学习pyspark学习记录

作者: 叫兽吃橙子 | 来源:发表于2019-04-26 15:42 被阅读0次

P11,P12,P13

主要讲的是hadoop安装,如果以后有需要可以按照流程来装

P14

1.hadoop基本命令

hadoop fs -put /usr/local/test.txt(本地目录)/tmp(hdfs路径)    //放置文件进去
hadoop fs -get /tmp(hdfs路径 /usr/local/test.txt(本地目录)    //把资料拿出来
hadoop fs -tail /tmp/txt(hdfs路径)    //查看资料,一般不使用cat,资料大会显示很久,使用tail


其他简写
mv      //移动
rm      //delete
rm -f -r        //delete dir
hadoop基本使用方式

P15~17(简立spark集群)

相关文章

  • B站学习pyspark学习记录

    P11,P12,P13 主要讲的是hadoop安装,如果以后有需要可以按照流程来装 P14 1.hadoop基本命...

  • KMP算法

    学习来自b站,附B站视频地址,此文章为学习记录,如有侵犯,立即删除,具体思路请看视频https://www.bil...

  • PySpark机器学习 Machine Learning wit

    Machine Learning with PySpark - 2019.Pdf 使用PySpark构建机器学习模...

  • python中的主要数据类型及相关操作

    黑马python学习记录b站麦叔编程学习记录 菜鸟一枚,不喜勿喷 python中主要数据类型 python中的主要...

  • git常用命令

    从b站学习git,记录下git命令,bilibili网址:https://www.bilibili.com/vid...

  • 转载

    02 如何用B站来学习 推荐理由:利用B站进行学习的5个实用技巧。 推荐程度: 如何在 B 站上学习有价值的视频。...

  • pyspark 学习

    spark:分布式计算引擎,用多台计算机完成计算任务 计算机角色:master与slave(物理层级),drive...

  • B站学习资源

    LinusTechTips:硬件测评 Linus,现居住于加拿大温哥华。其工作室LinusTchTips在Y...

  • 用B站学习

    感谢王英杰提供梁灿彬教授的《微分几何与广义相对论教程》、复旦大学《张量分析》。 感谢陈学峰提供《编译原理》链接。 ...

  • 在B站学习

    厚大法学的罗翔老师,很久之前在男朋友那里听过他的名字,今天在武志红的公众号看到一篇有关他的推文,讲他怎么成名怎么优...

网友评论

      本文标题:B站学习pyspark学习记录

      本文链接:https://www.haomeiwen.com/subject/pujkgqtx.html