spark无法同时启动thriftserver和spark-sq

报错如下：

Initial job has not accepted any resources : Investigating the cluster state

查看spark的8080页面发现，两个任务资源不够用
（借用的图，忘记截屏了，但是意思一样）

spark

主要是因为spark默认为应用有一个初始分配资源的配置，如果机器配置不合理，就会导致资源申请失败

需要修改spark-defaults.conf下的两个参数：

spark.deploy.defaultCores 1
spark.cores.max 2

注： spark.cores.max会将spark.deploy.defaultCores配置覆盖掉

Paste_Image.png

修改之后重启spark集群，和thrift-server服务器

sbin/start-all.sh
sbin/start-thriftserver.sh  --executor-cores 1  --executor-memory 512m
sbin/spark-sql   --executor-cores 1  --executor-memory 1g

无奈的是，这里只有--executor-memory 生效了，--executor-cores 没生效，所以综合起来解决该问题的办法就是重新分配资源，资源包括内存和core核心数的分配。

更多配置，之后在详细了解。

效果图：

Paste_Image.png spark-sql.png thriftServer.png

参考如下：http://www.open-open.com/lib/view/open1451574185448.html