美文网首页
2017-08-19 数人云容器 meetup 总结

2017-08-19 数人云容器 meetup 总结

作者: 运维小兵_加油 | 来源:发表于2017-08-19 23:08 被阅读0次

期待已久的容器 meetup 终于结束了,结果和期待中的还是有一些落差,落差主要是整个过程互动环节与技术交流时间比较少, 所以感觉收获有限。不过聊胜于无,还是要记录一下 meetup 所得 ...

meetup agenda:

1. 深入了解 Azure 平台容器技术服务 ( 赵文婧@微软)

Master Zhao 主要介绍了 Azure 对容器的支持 (容器即服务),其中包括当前流行的K8s 、 Docker Swam 、DC/OS, 还演示了如何使用 k8s 部署、扩容 demo 服务。

通过这个演讲可以了解到 “容器即服务” 是多么的流行,还有 Master Zhao 主要演示了 k8s 而很少提及 DC/OS的操作, 可以联想到在 Azure 容器的用户群中使用 k8s 的占了绝大部分, DC/OS 的市场份额还是很小,即便微软是 Mesosphere 的主要投资方。

2. 数人云分布式任务调度平台 Octopus 实践 (林昭名@数人云)

Master Lin 介绍了 Octopus 这个新调度平台的设计背景、调研过程、需求、调度算法、开发过程中解决的各种问题 (进程超时、消息调度), 等ppt下周公布后仔细看几遍,收获会更多,对开发设计新型架构很有帮助。

3. 当当基于 Mesos 的 DevOps 实践 (高洪涛@当当)

Master 高介绍了 Native Cloud (云原生) 的概念,还有她所涵盖的常用框架、设计云原生应用的12个考虑因素、SLO、 SLA、监控指标、日志收集、tracing system 等等,涉及的方面特别多,仔细看看 PPT 一定会有所收获。

会上我提了一个问题: mesos 如何实现数据服务的自动扩容, e.g.: docker volume plugin rex-ray 实现 hdfs, cassandra 等弹性扩容, 自动伸缩,Master 也说 mesos 解决不了这个问题, 目前也没有太好的方案, 所以还是需要摸索啊

4. 基于 Kubernetes 的 Paas 方案设计和思考 (张龙@京东金融)

Master zhang 是一个非常年轻的干劲十足的运维同学, 介绍了他们如何利用 k8s 摆脱大量重复的运维工作, 涉及内容不是特别复杂,主要是说明了他们运维团队利用自驱力不断学习新技术来解放自己。

第4位运维同学的演讲内容稍微有些浅,这应该和运维这个岗位有关,因为运维平时的工作比较杂,时间也零碎,不能专心的做一个事情,很难有高质量的项目产出。不过 k8s , mesos/marathon 这些运维平台问世之后,对运维岗冲击蛮大的,需求量不会那么多了。 为了适应科技变革的浪潮,运维同学要加快突围速度了。

其实我也是一个在突围的运维....

附录:

补充一下线下向 Master gao 咨询的问题与反馈:

  • mesos/marathon 迁移到 DC/OS 遇到过的坑, 从我们测试结果看,感觉 DC/OS 部署到线上还是有风险,不知道已经上线了 DC/OS 的公司有没有遇到问题,是怎样解决的

    Gao: 其实我们也没有使用DC/OS,我的测试结果与你们类似目前DC/OS组件的匹配度比较低,还不特别适合独立部署上线。

  • mesos/marathon 和 k8s 选型过程中的考虑
    Gao:

    • mesos/marathon与我们的作业云共享一个mesos平台,这样部署资源利用率比较高
    • mesos核心组件比较成熟,坑比较少,我们经过半年作用的使用深有体会
    • 团队运维mesos经验比较丰富
  • 基于 mesos 开发云平台,使用 mesos-dns 作为服务发现是否可靠

    Gao: mesos-dns的最大问题在于大部分应用不不同程度的dns缓存,这样 服务一旦变化,很难对这种改变做出反应。所以我们选用的是proxy模式

  • 求分享一下大数据计算架构在 mesos 上的部署经验 ( spark, hadoop, hdfs 等)

    Gao: 目前没有部署大数据平台的相关经验

  • mesos 在存储方面不知道有没有什么新突破,有没有团队去搞个(相对)一致的解决方案

    Gao: 据我所知目前还没有新突破,而从整体来看广义的存储还是个没办法落地的概念。针对不同的存储需求选用不同的技术栈还是一个比较常见的选择。

  • 数据服务如何实现自动部署,扩缩容?
    理想的数据服务方案:可以像扩容无状态服务一样进行扩容,上层不用关心数据的底层存储,并且我们希望数据节点和计算节点完全分离。DC/OS和mesos都没法满足我们的需求,而且使用rex-ray volumn 插件不支持像无状态服务一样进行扩容,只能一个节点一个节点地加入集群,而且不同volume之间还不能重名,非常麻烦,不易于管理

(目前我们使用mesos rex-ray 部署的 hdfs, cassandra, 使用的是ceph块存储,相当于一个volume对应一个块设备. ceph相对于直接使用raid来说,iops确实有所下降, 不过对于数据分析,已经满足需求了)

http://geek.csdn.net/news/detail/190068 杨成伟@爱奇艺 推荐了这 篇文章,里面提到了 Mesosphere公司的俞捷和来自Google的Saad Ali 正在合作开发存储标准化接口 CSI, CSI的主要目的是使得存储提供商只需要编写一个插件,就能在大部分的容器编排系统上工作

相关文章

网友评论

      本文标题:2017-08-19 数人云容器 meetup 总结

      本文链接:https://www.haomeiwen.com/subject/nghxdxtx.html