头条大数据实习面经

时间：2019-2-22 3:30 pm

面试官：我是你的面试官，感谢你参加面试。先做个自我介绍吧
我：xxx
面试官：说一下项目吧
我：xxx
面试官：你项目中用了Spark，是以什么模式运行的?单击还是分布式。
我：分布式的，standalone模式。
面试官：那你了解spark on yarn 模式么？
我：xxx
面试官：spark on yarn 其实也是有两种模式的，一种是cluster模式，一种是client模式。有了解吗？
我：xxx
面试官：简单介绍一下spark吧，包括哪些组成部分，哪些组件？组件功能。
我：xxx
面试官：跑一个Spark任务，他是怎么分配资源？
我：xxx，引到yarn上分配资源
面试官：那你讲下yarn上怎么分配资源？
我：xxx
面试官：spark 的transformation和action的区别
我：xxx
面试官：那些transformation操作？那些action？
我：
面试官：map用过么？讲一下
我：xxx
面试官：mapPartition呢？
我：xxx
面试官：spark join
我：xxx
面试官：reduceby和groupby讲一下，参数，功能
我：
面试官：宽依赖和窄依赖
我：xxx
面试官:怎么划分的？
我：xxx
面试官：广播变量用过么?
我：xxx
面试官：累加器用过么？
我：xxx
这时候面试网断了，经过几分钟后，重新上线
面试官：网断了我刚没听清几句话，这个问题先过
我：xxx
面试官：创建线程几种方法？
我：
面试官：Callable接口用过么？
我：
面试官：start和run方法有什么区别？
我：xxx
面试官：HashMap和 HashTable的区别？
我：线程安全。
面试官：单线程中，怎么选择使用HashMap和HashTable？
我：xxx
面试官：讲讲HashMap怎么put吧？
我：xxx
面试官：hashmap resize？
我：xxx
面试官：那怎么样使用线程安全的HashMap呢？
我： Collections.synchronizeMap（）和CHM
面试官：那你讲讲CHM吧。
我：xxx
面试官：CHM读的时候需要加锁么？
我：xxx
面试官：CHM读的时候不需要加锁，通过volatile。

面试官：考两个算法吧.

1. 36进制加法
2. 反转链表

面试官：还有什么问题么？
我：xxx