美文网首页大数据
Flink 在有赞的实践和应用大纲

Flink 在有赞的实践和应用大纲

作者: bigdata张凯翔 | 来源:发表于2021-05-27 09:12 被阅读0次

    https://blog.csdn.net/huzechen/article/details/117236165
    一、Flink 的容器化改造和实践

    1. 有赞的集群演进历史
    2. Flink 在内部支持的业务场景
    3. 有赞在 Flink on Yarn 的痛点
    4. Flink on k8s 相对于 Yarn 的优势
    5. 实时集群的部署情况
    6. Flink on k8s 的容器化流程
    7. 在 Flink on k8s 的一些实践
    8. Flink on K8s 当前面临的痛点
    9. Flink on K8s的一些方案推荐

    二、Flink SQL 实践和应用

    1. 有赞 Flink SQL 的发展历程
    2. 在 Flink SQL 方面的一些实践
    3. 业务实践
    4. 在 HAHBase Connector 的实践
    5. 无密 Mysql Connector 和指标扩展实践
    6. Flink 任务血缘元数据自动化采集的实践

    三、未来规划
    最后是未来的规划,包括四点:
    第一,推广 Flink 实时任务 SQL 化。推广 Flink SQL 开发实时任务,提升 Flink SQL 任务比例。
    第二,Flink 任务计算资源自动优化配置。从内存、任务处理能力、输入速率等,对任务资源进行分析,对资源配置不合理任务自动化配置,从而降低机器成本。
    第三,Flink SQL 任务 k8s 化以及 K8s 云原生。Flink 底层计算资源统一为 k8s,降低运维成本,Flink k8s 云原生,更合理使用 K8s 资源。
    第四,Flink 与数据湖以及 CDC 功能技术的调研。新技术的调研储备,为未来其他实时需求奠定技术基础。

    相关文章

      网友评论

        本文标题:Flink 在有赞的实践和应用大纲

        本文链接:https://www.haomeiwen.com/subject/dbxlsltx.html