key状态和算子状态 key状态 key状态总是与key有关，只能被用于keyedStream类型的函数与算子。你...[作者空间]
大致的意思是aggregate接收两个函数，和一个初始化值。seqOp函数用于聚集每一个分区，combOp用于聚集...[作者空间]
在spark官网讲解spark streaming的时候，举了一个word count的例子,通过监听一个端口的T...[作者空间]
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。使用Py...[作者空间]
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。如果自己...[作者空间]
Hadoop将底层文件系统抽象成FileSystem类，上层用户可以通过相同方法操作底层不同的文件系统。常用的方法...[作者空间]
Hadoop有一些数据I/O方面操作的工具，其中一些比Hadoop使用的都更普遍。例如数据完整性和压缩。但是当使用...[作者空间]
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源...[作者空间]
数据流 读取文件数据的剖析 客户端通过调用FileSystem对象的open()方法打开一个希望从中读取数据的文件...[作者空间]
当数据量增大到超出了单个物理计算机存储容量时，有必要把它分开存储在多个不同的计算机中。那些管理存储在多个网络互连的...[作者空间]
MapReduce是一个数据处理的编程模型。这个模型很简单，但也不是简单到不能够支持一些有用的语言。Hadoop能...[作者空间]
