数据架构

流数据分析与处理
https://cloud.tencent.com/developer/news/313236

OLTP与OLAP 相当于 数据库与数据仓库
https://blog.csdn.net/xuheng8600/article/details/80334971

https://www.zhihu.com/question/20623931/answer/139842331

联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作；
OLAP 系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。

数据仓库与数据湖
为什么要强调数据湖呢？真正的原因在于，data science和machine learning进入主流了，需要用原始数据做分析，而数仓的维度模型则通常用于聚合、多维分析另一方面，机器学习用到的数据，也不止于结构化数据。用户的评论、图像这些非结构化数据，也都可以应用到机器学习中

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

image.png

作者：子珂
链接：https://www.zhihu.com/question/279097731/answer/654719898
来源：知乎

数据湖正在成为新的数据仓库 - 阿里云云栖社区的文章 - 知乎
https://zhuanlan.zhihu.com/p/72795422

数据湖时代的数据库如何选型？ - 天云大<em>数据</em>的文章 - 知乎
https://zhuanlan.zhihu.com/p/53437564

A家官方的介绍，有文有图比广告还精美
https://amazonaws-china.com/cn/big-data/datalakes-and-analytics/what-is-a-data-lake/

ETL与数据工厂

弃用ETL，为什么说ELT才更适合AI应用场景？ - AI前线的文章 - 知乎
https://zhuanlan.zhihu.com/p/40849918
ELT是load之后再转换（Transform）

Azure 数据工厂
https://docs.microsoft.com/zh-cn/azure/data-factory/introduction

数据砖Databricks
https://docs.microsoft.com/zh-cn/azure/azure-databricks/what-is-azure-databricks

A家的IoT案例
https://www.amazonaws.cn/getting-started/projects/deploy-iot-application/

M家的数据架构：
https://docs.microsoft.com/en-au/learn/modules/data-engineering-processes/4-architecturing-project