唐朝的大数据平台 - 大案牍术

作者: 老蒙 | 来源:发表于2019-07-22 09:57 被阅读0次

周末不务正业一回,写点轻松点的内容,最近在陪老婆追一部挺火的剧《长安十二时辰》,剧情还是挺有意思的,但是有个叫"大案牍术"的东西看得我有点出戏,职业病犯了联想了一堆乱七八糟的东西…

剧中有一个统管了大唐三省六部所有档案资料的机构叫靖安司,这俨然就是一个大数据中心,里面有一个把我惊呆了的黑科技--大案牍术,这不就是唐朝的大数据平台吗,虽然知道是杜撰而来,但是这套大数据平台还是挺有模有样的,麻雀虽小五脏俱全,平台的总架构师是创始人徐宾,这是一个我怀疑有超忆症的人,下面我来瞎扯下这个大数据平台的核心技术。

1.存储


数据存储介质是竹简,竹简有序地放在一些造型古怪的架子上,应该是为了查找方便。

另外想要提高查询效率,索引肯定是少不了的,而这个存储平台的索引就是徐宾本人,他有惊人的记忆力,能记住所有卷宗存放的位置,另外他胸前还有一条项链,剧中他有秀过一波操作,摸一下这个项链就能把一个人以前做过的事情都巴拉巴拉地说出来,所以这个项链应该是辅助记忆的一个东西,也就是二级索引。

剧中还有一段是李必要通过大案牍术去查徐宾这个人的过去,叫了10个人花了挺久的时间才查出来,可见没了这个索引,查询效率是非常低下的。

2.计算


如何能提高查询计算的效率,最直接的方法加机器呀,分布式计算你懂的,虽然在唐朝没有计算机,但是总架构师徐宾当然是知道分布式计算的原理的,所以“机器不够,人头来凑”,徐宾找了一帮的 SQL Boy (那个时候叫吏员)来帮忙查找卷宗,提高查询效率。

3.ETL


数据的采集,清洗,入库过程也是架构师徐宾一手抓的,etl工程师从各地记录各种事件和用户的基本信息,传输给靖安司进行存储,另外因为长安当时藤纸已经不够用了而且非常贵,导致没纸录入,案牍记录大不如从前精准,大案牍术的可靠性大受质疑。所以徐冰还在研究造纸的技术,目的是为了能够让数据传输更加轻便,一次能传输更加大量的数据,且控制成本。

4.通信


这个大数据平台还有一套实时通信的工具--望楼,这个望楼不仅用作观察敌人行为以及异常报警,还有复杂的远程通信功能。

信息还是通过加密才传输的,如下图,看不懂但是看起来很牛逼。不过这个加密也不是绝对安全,遇到黑客也是会被拦截并且破解的,还有很大的优化空间,而且这个望楼还出现了一次特大级事故,被黑客龙波植入了名为陆三的病毒,消息被泄漏甚至被篡改,总架构师徐宾也是差点付出了生命的代价。

5.应用场景


扯完了平台的架构设计,那么我们来说下应用场景吧。剧中提到办案的人是大案牍术选出来的,是能通过用户画像精准地找到符合某种特征的人群,再通过评分来选择最优解。

但是,架构师徐宾在这里又动了手脚,他在程序里篡改了一行 SQL 代码,

"select '张小敬' from daandushu"

他把查询结果写死在了代码里,可见公司里还没有代码互审机制啊,或者是没有一个和架构师能力相当的人来牵制他,让他不能在代码里为所欲为。

接下来根据用户的基本属性和行为特征进行分析,获取用户的喜好和可能的行为,没错,这就是数据挖掘,没想到徐宾不仅仅是工程师,还是个搞算法的,来看看剧中的原话。

6.结语


因为很多地方我都是用二倍速看的,所以剧情看得不是很详细,很多地方没有写得很严谨,大家不用在意,这部剧本身就是属于架空类型的,很多设计都禁不起推敲,乐呵乐呵就完事了。

(文中的图片均来自百度图片,侵删)

觉得有价值请关注 :公众号「大叔据」


image

相关文章

  • 唐朝的大数据平台 - 大案牍术

    周末不务正业一回,写点轻松点的内容,最近在陪老婆追一部挺火的剧《长安十二时辰》,剧情还是挺有意思的,但是有个叫"大...

  • 朗朗乾坤 别来无恙

    “朗朗乾坤,别来无恙!”是马伯庸马亲王的历史小说《长安十二时辰》里主角张小敬刚因唐朝AI—大案牍术而被挑选出负责大...

  • 零基础文科生初学python体验:认识一个奇妙新世界

    最近看《长安十二时辰》,里面一个重要的工具:大案牍术,是破解案件谜团的重要线索。用剧中的话来说,案牍数据中记录着真...

  • 大案牍术是大数据吗?

    在今年暑假热播的电视剧《长安十二时辰》中,靖安司利用大案牍术选出了张小敬替他们办案,同时也使用大案牍术来推测各种事...

  • 从长安十二时辰,看大案牍术

    大案牍术-唐朝人的硬科技之一! 信息量越来越大,是福?是祸? 要说《长安十二时辰》里身怀绝技的人,那非徐宾莫属。 ...

  • 大盛唐朝

    中华上下五千年文化,五千年历史,其中最繁荣昌盛,以至于让世界为之动容的一个时代——就是唐朝。如今我们常用“大唐”二...

  • 活字印刷术

    印刷术是中国古代四大发明之一。它开始于唐朝的雕版印刷术,经宋仁宗时代的毕异发展、完善,产生了活字印刷术。活字印刷术...

  • MOOC平台的那些“大”数据

    曾经很长一段时间在聊起慕课的时候,总会有人提起所谓的“大数据”,并谈及这些MOOC平台所产生的大数据对于未来的教育...

  • python爬虫入门

    大数库时代:数据如何产生? 1. 大的公司大的企业:通过用户产生的数据 2.大的数据平台:通过收集或者和其他企业或...

  • 爬虫one-Day总结

    1,大叔据时代数据产生: (1)大的公司大的企业:通过用户产生的数据 (2)大的数据平台:通过手机或者和其他企业或...

网友评论

    本文标题:唐朝的大数据平台 - 大案牍术

    本文链接:https://www.haomeiwen.com/subject/fyhilctx.html