美文网首页大数据架构
大数据技术原理与应用:大数据概述

大数据技术原理与应用:大数据概述

作者: 行书以鉴 | 来源:发表于2018-01-09 12:42 被阅读14次

    大数据概述

    为什么说大数据是第三次信息化浪潮?

    数据技术支撑

    存储设备便宜 处理能力提升
    网络带宽提升

    数据产生方式变革

    数据产生方式
    大数据发展三个阶段

    由于技术支撑以及数据产生方式变革,促成了大数据~

    大数据定义

    • 数据量大


      大数据摩尔定律
    • 数据类型繁多:由结构化和非结构化数据组成


      类型多
    • 处理速度快:秒级决策


    • 价值密度低


      厦大校园
    • 故大数据4v特性

    大数据关键技术

    两大核心技术:分布式存储与处理

    大数据计算模式

    大数据计算模式区分
    • 流计算比如用户点击流、日志流等,秒级实时响应
    • 不同产品服务于不同业务问题

    大数据与云计算、物联网的关系

    云计算

    云计算概念
    • 云计算通过网络以服务的方式为用户提供了非常廉价的资源。
    • 云计算解决了海量数据"分布式存储和分布式处理"以及"虚拟化、多租户"两大问题


      云计算三大名词
    • IaaS:基础设施即服务:ec2...
    • PaaS:平台即服务: app engine...
    • SaaS:软件即服务:google apps...

    物联网

    物联网概念
    • 从层次架构看,分为:感知层、网络层、处理层、应用层
    物联网技术列举 大数据、云计算和物联网三者关系
    云计算为大数据提供了技术基础,大数据为云计算提供了用武之地
    大数据继承自云计算
    物联网是大数据的重要来源
    大数据技术为物联网数据分析提供技术支撑
    云计算为物联网提供海量数据存储能力
    物联网为云计算提供了广阔的应用空间

    以上是厦门大学林子雨教授所传授的《大数据技术原理与应用》的PPT以及个人笔记,这里做下自己的记录。

    相关文章

      网友评论

        本文标题:大数据技术原理与应用:大数据概述

        本文链接:https://www.haomeiwen.com/subject/qzbinxtx.html