美文网首页
hadoop的使用场景

hadoop的使用场景

作者: 你再不来我要下雪了 | 来源:发表于2017-08-24 17:45 被阅读0次

* 大数据量存储:分布式存储

* 日志处理: Hadoop擅长这个

* 海量计算: 并行计算

* ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库

* 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统

* 机器学习: 比如Apache Mahout项目

* 搜索引擎:hadoop + lucene实现

* 数据挖掘:目前比较流行的广告推荐

* 大量地从文件中顺序读。HDFS对顺序读进行了优化,代价是对于随机的访问负载较高。

* 数据支持一次写入,多次读取。对于已经形成的数据的更新不支持。

* 数据不进行本地缓存(文件很大,且顺序读没有局部性)

* 任何一台服务器都有可能失效,需要通过大量的数据复制使得性能不会受到大的影响。

* 用户细分特征建模

* 个性化广告推荐

* 智能仪器推荐

from: http://www.aboutyun.com/thread-5726-1-1.html

相关文章

  • hadoop的使用场景

    * 大数据量存储:分布式存储 * 日志处理: Hadoop擅长这个 * 海量计算: 并行计算 * ETL:数据抽取...

  • 20-Sqoop

    Sqoop: SQL to Hadoop 场景:数据在RDBMS中,我们如何使用Hive或者Hadoop来进行数据...

  • Hadoop使用场景介绍

    大数据依然是火的不要不要的,作为大数据基础的Hadoop自然也会备受重视,那么Hadoop的使用场景有哪些?小编给...

  • 大数据技术之学习hadoop需要具备基础知识

    首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解...

  • Hadoop

    使用场景:在分布式环境,通过Hadoop这个软件,来屏蔽底层硬件或通信的一些差异。 1 什么是 hadoop 1....

  • 写给老板们看的Hadoop入门指南

    Hadoop的前世今生大数据的使用场景大数据的组件概述大数据平台架构介绍

  • HBase数据表的导入和导出

    场景说明hadoop集群A,假设其IP地址为10.100.0.1,hadoop用户下运行HBase集群hadoop...

  • HDFS-- Hadoop中的ProxyUser

    PROXYUSER介绍和应用场景 Hadoop2.0版本开始支持ProxyUser的机制。含义是使用User A的...

  • JAVA API连接HDFS HA的几种方式

    hadoop版本:2.7.3 使用场景: 线上服务写hdfs,写过程中namenode的master节点发生HA切...

  • 面试题:Spark相关一

    1 Spark与MR的区别? (5点) 参考:Spark与Hadoop MR的异同 使用场景:实时处理,spark...

网友评论

      本文标题:hadoop的使用场景

      本文链接:https://www.haomeiwen.com/subject/otiedxtx.html