美文网首页
spark初试牛刀(python)

spark初试牛刀(python)

作者: 志明S | 来源:发表于2018-01-07 12:36 被阅读40次

一.需要环境

1.python
2.pyspark
3.spark

二.代码

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local[*]").setAppName("First_App")  #配置环境
sc = SparkContext(conf=conf) #加载环境
textFile = sc.textFile('example.txt') #读取文件
count = textFile.countByValue()  #统计单词频数
print(count)

相关文章

  • spark初试牛刀(python)

    一.需要环境 1.python2.pyspark3.spark 二.代码

  • swoole || 初试牛刀

    对swoole感兴趣,纯粹源于最近的招聘信息,大多都有这类的要求。 服务端安装了swoole的扩展 安装过程,没有...

  • 2021-09-14

    理财小白的初试牛刀 其实连初试牛刀都不知道算不算,但是呢刚加入理财大军,就小赚了一笔,虽然不多,但也够我买一件金灿...

  • Flutter-初试牛刀

    有的人看到一棵树,就以为看到了整个森林! 好像说的就是我呀。学习Flutter一段时间了,我感觉我要入门了,特来总...

  • 初试牛刀,蹒跚学步……

    2019年2月3日 结束了一天的忙忙碌碌, 等待夜幕的降临,安置了一顿慰藉心灵和胃的晚餐后我静静坐在电脑桌前。依旧...

  • 安卓 牛刀初试

    前言 因工作需要,学了点安卓知识。现在已经能写点简单页面,解析数据并展示,但是老是忘记,卡壳。特整理一下并记录要点...

  • 英雄之旅

    英雄之旅故事结构: 平凡生活--->挑战来临--->拒绝挑战--->迎接导师--->牛刀初试--->新的信息---...

  • python入门:进来吧,给自己10分钟,这篇文章带你直接学会p

    初试牛刀 假设你希望学习Python这门语言,却苦于找不到一个简短而全面的入门教程。那么本教程将花费十分钟的时间带...

  • HTML5初试牛刀

    标签描述定义注释。 定义文档类型。定义锚。定义缩写。定义只取首字母的缩写。 定义客户端脚本。 定义 section...

  • 初试牛刀,刮痧治鼻炎

    我记得铜砭第一次到我手里的时候,我很开心,在惊讶李氏砭法的疗效之余,更是敬重李老师大爱,大医精诚的精神。当时我在药...

网友评论

      本文标题:spark初试牛刀(python)

      本文链接:https://www.haomeiwen.com/subject/gzupnxtx.html