小记2016AWS技术峰会

作者: 大蟒传奇 | 来源:发表于2016-09-07 16:06 被阅读640次

    有幸参与了AWS技术峰会2016。简单纪录一下一天的见闻。

    到场

    时间: 2016.09.07
    早上起晚了一点,赶到会场的时候已经是9:10左右。工作人员扫了邀请码后放我入了会场。

    日程在昨天已经看过了,我选择了8:30-10:30的主题演讲,11:00-12:00分会场五的云计算架构,13:00-18:30分会场三的开发者专场

    9月7日日程

    主题演讲

    主演讲

    我到的时候主会场已经坐满人了,只能去分会场观看视频直播(囧)。
    主演讲的人是一个叫Mike的家伙。这哥们看起来充满自信,但是貌似对技术不太懂,一直低头看提词器,演讲的内容基本上在官网上都能找到。

    AWS提供的服务

    上面这张图应该能涵盖他讲的主要内容。在他演讲的时候总是能听到各种量词,billion,million之类的。
    总结起来就是AWS成功服务了很多公司,经过了海量实践的验证。

    嘉宾

    视频业务

    这位嘉宾提到了他们选择AWS服务的原因,也提到了他们的主营业务在美国。

    1. 全球化
    2. 业务弹性扩张
    3. 运维的成本

    我觉得第一个原因是主要的。因为下面两点阿里云或者国内其它的云服务也能够做到。

    芒果TV

    主要提到了autoscaling这个功能。
    举的例子让人印象非常深刻。说是去年的湖南卫视某个演唱会,视频内容和弹幕导致流量攀升了很多很多倍,利用autoscaling功能,自动扩容后端服务器,加入负载均衡,成功扛过了流量高峰。

    蒙牛

    上来放个资料片,感觉是给蒙牛做广告的。
    后面说了一些使用AWS的进行数据的存储和分析,说的比较多,但是给人印象不深,可能是传统企业的原因吧。

    云计算架构

    由DaoCloud 首席执行官 陈齐彦 先生主讲。
    主要聊软件的

    开发->交付->测试->运维->运营
    

    这一标准化的流程在云端的实现,也提到了DaoCloud提供的一些功能。
    我进去的时候人已经非常多了,在后面站着听,不怎么清楚,感觉没听出什么新东西,也为了早点去拿午餐(大雾),就提前离场了。

    午饭

    12:00点的时候会提供午餐,但是实际上11:45左右二楼就开始发放了,吃的很简单,一个香蕉,一个三明治,一小盒饼干,一瓶水。
    这个时候没有讲座,可以看到很大的人流。走廊边有很多厂商,大部分是提供云端的解决方案的,在角落里还看到了csdn,没什么人驻留。
    提供扫码送奖品的厂商柜台前的人是最多的。我也去凑热闹拿了几个小奖品。还去前台领了一个棉花糖。

    开发者专场

    高并发架构Plus——小谈AWS的混合型架构设立与应用

    演讲者演示了在AWS上对autoscaling和docker的结合使用,实际上就是写了个脚本在autoscaling的时候用docker部署应用,所有的东西在脚本里面写死了。
    感觉演讲者准备不怎么充分,没什么干货。略过不记。

    AWS混合云技术大观

    感觉演讲者准备不怎么充分。东扯西扯了一堆,没什么干货。略过不记。
    听完这个果断闪到了分会场七-机器学习与高性能计算

    机器学习与高性能计算

    使用AWS进行大规模科学计算的实践

    演讲人所在的公司是从事生命科学相关的领域。
    我到的时候已经演讲已经开始一会了。他们的计算平台构建于AWS上。

    听下来主要的一下几点。

    1. 他们经历了两次计算平台架构的变更。
    2. 提到了多次上传小文件所遇到的瓶颈。
    3. 提到了使用竞价实例的一些实践。
    4. 提到了遇到了一些问题,比如CPU核数无法完全利用等等。

    演讲者提到了不少细节和实践。
    值得注意的是,计算平台架在云服务上,是他们能够这样做的原因。
    在云端搭建平台,对于未来变更架构的可行性和便利性,是很有好处的。

    移动App和手游云端的精细化运营:热更新、分包和加固

    主讲人讲了他们App中主要一些运营策略,和主题没什么关系,更像是做了一个广告。略过不记。

    应用深度学习提高诊断准确率

    演讲者水平应该很高,但是为了照顾下面的听众,大部分时间都在科普机器学习。略过不记。
    听完这个讲座又闪到了分会场一-大数据

    大数据

    实现基于AWS EMR的大数据平台 --热云数据在AWS上构建数据平台的最佳实践

    主讲人是热云技术VP
    这次的宣讲干货满满,给人感觉就差把代码共享出来了,并且比预定时间延长了10分钟,所以这里会详细记录下。

    主讲人首先介绍了他们之前使用IDC的数据分析架构,大概就是

    1. 数据来源:数据库,客户端上传的数据
    2. 数据经过清洗后写入kafka
    3. kafka一部分数据通过flume落地到hdfs,进行mapreduce计算
    4. 另外一部分数据写入redis,和storm一起进行实时计算。

    这样的架构他们面临的主要问题有:

    1. 集群扩容难
    2. 机房的一些限制
    3. DDOS攻击
    4. 异地机房运维,主要是设备老化等问题,难免要和机房打交道
    5. 其它一些业务上的问题。

    为了解决这些问题,他们选择了AWS及其相关服务,比如EMR。将原本线上的业务逐渐迁移到云平台上。
    平台迁移后除了解决上面的问题之外,主讲人还提到了一些意外的好处,比如AWS实例上传带宽不收费,等等。

    演讲末尾,主讲人分享了很多的实践经验,比如利用一些配置较差的实例做持续集成,等等。

    结语

    参加这样的会议,有幸在现场听取专家的理念和实践经验,长了不少见识。感谢王帅国老师给我提供的这次机会。当然,只是听讲座,个人水平是得不到提高的,还得多实践才能有真正的收获。
    大家都在提的dockerautoscalingEMR在未来一段时间内还会继续火一下去。

    相关文章

      网友评论

        本文标题:小记2016AWS技术峰会

        本文链接:https://www.haomeiwen.com/subject/pjyjettx.html