Spark常见面试题

Spark常见面试题

作者: CodeYangX | 来源:发表于2018-10-23 23:58 被阅读484次

1、scala 语言有什么特点，相比java有什么优点?

2、什么是Scala的伴生类和伴生对象?

3、spark有什么特点，处理大数据有什么优势?

4、Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景?

5、Apache Spark有哪些常见的稳定版本，Spark1.6.0的数字分别代表什么意思?

6、Mapreduce和Spark有什么区别与联系?

7、简单说一下hadoop和spark的shuffle相同和差异?

8、Spark为什么比mapreduce快?

9、简要描述Spark分布式集群搭建的步骤?

10、spark的有几种部署模式，每种模式特点?

11、spark集群运算的模式有哪些?

12、Spark有哪些算子，列举几个你熟悉的?

13、spark中的RDD是什么，有哪些特性?

14、谈谈spark中的宽窄依赖?

15、cache和pesist有什么区别?

16、spark rdd 如何区分宽依赖和窄依赖?

17、RDD中reduceBykey与groupByKey哪个性能好，为什么?

18、spark streming在实时处理时会发生什么故障，如何停止，解决?

19、spark streaming 读取kafka数据的两种方式?

20、spark 如何防止内存溢出?

21、如何解决spark中的数据倾斜问题?

22、spark中的数据倾斜的现象、原因、后果?

23、Spark有哪些优化方法?

24、spark中如何划分stage?

25、spark有哪些组件?

?

26、Spark中Work的主要工作是什么?

27、Spark driver的功能是什么?

28、如何配置spark master的HA?

29、Spark master HA 主从切换过程不会影响集群已有的作业运行，为什么?

30、Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper?

31、Spark master HA 主从切换过程不会影响集群已有的作业运行，为什么?

32、Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper?

33、spark-submit的时候如何引入外部jar包?

34、spark面试需要储备哪些知识?

35、Spark on Mesos中，什么是的粗粒度分配，什么是细粒度分配，各自的优点和缺点是什么?

相关文章

网友评论

本文标题：Spark常见面试题

本文链接：https://www.haomeiwen.com/subject/dgwzzftx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|Spark常见面试题|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！