所有网站的服务器上都会保留访问的log日志。这些log日志记录的其他机器访问服务器的ip,时间,http协议,状态...[作者空间]
1. mapreduce 简介 mapreduce源自google的一篇文章,将海量数据处理的过程拆分为map和r...[作者空间]
使用hadoop dfs的api 来访问访问数据 。 看来一些资料和书,其实代码很简单,就是必须把需要的包,都带上...[作者空间]
一.功能实现: 1:将本地文件上传到HDFS上 2:从HDFS上读取文件到本地 3:删除HDFS上的文件 4:遍历...[作者空间]
先思考问题 我们处在一个大数据的时代已经是不争的事实,这主要表现在数据源多且大,如互联网数据,人们也认识到数据里往...[作者空间]
技能树大数据.png[作者空间]
1.分布式计算思想: 1.1基本思想:mapreduce是两个操作步骤,即映射和规约也是这个分布式计算的思想。即实...[作者空间]
Spark技术内幕:Executor分配详解 - 推酷http://www.tuicool.com/article...[作者空间]
Apache Spark RDD API Exampleshttp://homepage.cs.latrobe.e...[作者空间]
Spark API 详解/大白话解释 之 RDD、partition、count、collect - 郭同jet ...[作者空间]
倾情大奉送--Spark入门实战系列 - shishanyuan - 博客园http://www.cnblogs....[作者空间]