行方发送表数据到kafka，数据接收方从kafka把数据拉下来放到中间库中，然后再转换为orc格式数据。
优点：快（流式数据）
缺点：丢数据（内存和失效时间）、发送端和接收端需要开发（时间）。数据需要重新转换为orc。
行方通过sftp发送orc数据文件到文件服务器，数据接收方到中间服务器把orc数据放到hdfs上。
优点：方案简单、可控性强、不需要转换orc格式。
缺点：速度慢。
行方把数据发送到中间数据库，数据接收方通过sqoop到中间数据库把数据拉取到hdfs，然后转换成orc格式。
优点：数据比较快、开发时间较短，操作简单。
缺点：会影响中间数据库的其他应用的访问。
| sqoop | sftp | kafka | |
|---|---|---|---|
| 是否影响线上应用 | 是 | 否 | 是 |
| 时候需要重新转换为orc | 是 | 否 | 是 |
| 难度 | 中 | 低 | 高 |
| 速度 | 中 | 慢 | 快 |
| 脏数据敏感性 | 高 | 低 | 中 |
| 存储空间 | 大 | 低 | 大 |
一、kafka 行方发送表数据到kafka，数据接收方从kafka把数据拉下来放到中间库中，然后再转换为orc格式...
今天各国的疫情数据要点： 英国新增死亡人数达938，为疫情爆发以来最大日增。死亡单日增幅位于欧洲各国之首，美国之后...
11g统计表空间的每日增长量 12c统计表空间的每日增长量 估算oracle 数据库，数据库对象历史增长情况 最近...
数据提交 同步提交 方式一： 方式二： 方式三： 方式四： 异步提交 方式一： 方式二： 异步和&同步比较 for...
Java数据结构 常见的数据结构 HashMap 迭代方式： keyset entryset 比较：keyset比...
概述 现在比较推荐的数据存储方式是sql+nosql，而这个搭配方式中mysql+mongodb是比较流行的，所以...
据Searchain.io数据显示： 昨日BTC新增地址数是332,160，较前日增长 24.35%，...
在进行版本更新的时候，需要对当前版本和接口数据版本号就行判断比较，发现有多种的比较方式。 最简单的比较方式，采用字...
1：相同的表名app表多出的字段 2：app比dw多的表 3：多出来的字段吧字段和表名写上，多出来的表写上表名就好...
相等和完全相等 不等比较和完全不等 大于(小于类似）
本文标题：日增数据方式比较
本文链接：https://www.haomeiwen.com/subject/hwefyqtx.html
网友评论