美文网首页
数据中台的数据清理

数据中台的数据清理

作者: 有点胖的瘦子 | 来源:发表于2022-09-25 09:33 被阅读0次

    本来我想是根据现在流程的模式建立数据中台,但是我发现同样的目的下也许有一个其他方案

    首先在数据采集和数据清洗上,由于数据源是多种多样,现在是需要导入的大数据平台中,然后进行清洗。但是,现在的数据源很多是excel,需要先导入到Mysql中,在导入的大数据平台平台上,一方面通过开发工具支持excel解析很慢,另一方面目前也没有大数据平台,等到建立起ODS层还不知道猴年马月呢。

    今天看了Tableau Prep工具,一方面支持mysql、excel、csv等各种数据源,另一方面优秀的数据清洗能力,比用开发要快很多。最终生成的数据,一方面提供Tableau Desktop 直接进行数据分析,速度更快。另一方面,也需要提供SAS进行建模,就不知道能否再导出Excel格式了

    这种模式下,对于数据量比较小,效率还是可以,另一方面,使用人员也要等的软件和统计学部分。

    长远看,可以通过这种模式探索,先将【数据】进行流转建立起来,后续再通过web数据中台的方式进一步进行数据集成与探索

    相关文章

      网友评论

          本文标题:数据中台的数据清理

          本文链接:https://www.haomeiwen.com/subject/xyaoortx.html