对于Spark的认识，在以下视频中说明。全部免费课程可在腾讯课堂查看：个人大数据平台的搭建与学习实践-PySpark-学习视频教程-腾讯课堂 (qq.com)
2-认识PySpark
首先通过Spark官方文档的说明进行认识Spark，官网地址为：http://spark.apache.org/
就依据主页上的说明，进行对Spark认识。
Spark官网
是什么
Apache Spark是一个用于大规模数据处理的统一分析引擎。
运行速度
Apache Spark使用最先进的DAG调度器、查询优化器和物理执行引擎，实现了批处理和流数据的高性能。
在“逻辑回归”测试中，Spark的执行速度是Hadoop的100倍，所以Spark计算引擎具有高性能。
Spark执行效率
上手难度
对于Spark可以用Java、Scala、Python、R和SQL快速编写应用程序，所以受众很广泛，并且于Python、R和SQL的对初学者也很友好，适合入门学习。
Spark提供了80多个高级操作符，可以轻松构建并行应用。可以在Scala、Python、R和SQL shell中交互地使用它。
组成模块
Spark由4大功能库构成，分别是：Spark SQL、Spark Streaming、MLib、GraphX。
Spark支持一系列库，如SQL和DataFrames进行数据分析处理，用于机器学习的MLlib, GraphX和数据流Spark Streaming。可以在同一个应用程序中无缝地组合这些库。
核心模块
核心模块文档
执行平台
可以在EC2、Hadoop YARN、Mesos或Kubernetes上以独立集群模式运行Spark。可访问HDFS、Apache Cassandra、Apache HBase、Apache Hive等数百个数据源。所以Spark并不是要求一定要直接对接Hadoop。
Spark运行的平台
实验的Spark环境
我们在第1讲在Windows上构建了Spark 2环境，在第2讲构建HDP大数据平台中是Spark 1环境。
所以我们有两套的Spark环境，本来是应该就对Spark 2进行说明，但由于HDP中的Spark环境
可以连接大数据环境中的不同的服务如Hive、HDFS进行连接操作，所以对Spark 1也顺带说明，并且对比与Spark 2的差异。
网友评论