<p>
</p><h1><strong>1、创建一个1-10数组的RDD，将所有元素2形成新的RDD</strong></h1><h1><strong>2、创建一个10-20数组的RDD，使用mapPartitions将所有元素2形成新的RDD</strong></h1><h1><strong>3、创建一个元素为 1-5 的RDD，运用 flatMap创建一个新的 RDD，新的 RDD 为原 RDD 每个元素的 平方和三次方 来组成 1,1,4,8,9,27..</strong></h1><h1><strong>4、创建一个 4 个分区的 RDD数据为Array(10,20,30,40,50,60)，使用glom将每个分区的数据放到一个数组</strong></h1><h1><strong>5、创建一个 RDD数据为Array(1, 3, 4, 20, 4, 5, 8)，按照元素的奇偶性进行分组</strong></h1><h1><strong>6、创建一个 RDD（由字符串组成）Array("xiaoli", "laoli", "laowang", "xiaocang", "xiaojing", "xiaokong")，过滤出一个新 RDD（包含“xiao”子串）</strong></h1><h1><strong>7、创建一个 RDD数据为1 to 10，请使用sample不放回抽样</strong></h1><h1><strong>8、创建一个 RDD数据为1 to 10，请使用sample放回抽样</strong></h1><h1><strong>9、创建一个 RDD数据为Array(10,10,2,5,3,5,3,6,9,1),对 RDD 中元素执行去重操作</strong></h1><h1><strong>10、创建一个分区数为5的 RDD，数据为0 to 100，之后使用coalesce再重新减少分区的数量至 2</strong></h1><h1><strong>11、创建一个分区数为5的 RDD，数据为0 to 100，之后使用repartition再重新减少分区的数量至 3</strong></h1><h1><strong>12、创建一个 RDD数据为1,3,4,10,4,6,9,20,30,16,请给RDD进行分别进行升序和降序排列</strong></h1><h1><strong>13、创建两个RDD，分别为rdd1和rdd2数据分别为1 to 6和4 to 10，求并集</strong></h1><h1><strong>14、创建两个RDD，分别为rdd1和rdd2数据分别为1 to 6和4 to 10，计算差集，两个都算</strong></h1><h1><strong>15、创建两个RDD，分别为rdd1和rdd2数据分别为1 to 6和4 to 10，计算交集</strong></h1><h1><strong>16、创建两个RDD，分别为rdd1和rdd2数据分别为1 to 6和4 to 10，计算 2 个 RDD 的笛卡尔积</strong></h1><h1><strong>17、创建两个RDD，分别为rdd1和rdd2数据分别为1 to 5和11 to 15，对两个RDD拉链操作</strong></h1><h1><strong>18、创建一个RDD数据为List(("female",1),("male",5),("female",5),("male",2))，请计算出female和male的总数分别为多少</strong></h1><h1><strong>19、创建一个有两个分区的 RDD数据为List(("a",3),("a",2),("c",4),("b",3),("c",6),("c",8))，取出每个分区相同key对应值的最大值，然后相加</strong></h1><h1><strong>20、 创建一个有两个分区的 pairRDD数据为Array(("a", 88), ("b", 95), ("a", 91), ("b", 93), ("a", 95), ("b", 98))，根据 key 计算每种 key 的value的平均值</strong></h1><h1><strong>21、统计出每一个省份广告被点击次数的 TOP3</strong><strong>，</strong><strong>数据在access.log文件中</strong></h1><p>数据结构：时间戳，省份，城市，用户，广告 字段使用空格分割。</p><p>样本如下：</p><p>1516609143867 6 7 64 16</p><p>1516609143869 9 4 75 18</p><p>1516609143869 1 7 87 12</p><h1><strong>22、读取本地文件words.txt,统计出每个单词的个数，保存数据到 hdfs 上</strong></h1><h1><strong>23、读取 people.json 数据的文件, 每行是一个 json 对象，进行解析输出</strong></h1><h1><strong>24、保存一个 SequenceFile 文件，使用spark创建一个RDD数据为Array(("a", 1),("b", 2),("c", 3))，保存为SequenceFile格式的文件到hdfs上</strong></h1><h1><strong>25、读取24题的SequenceFile 文件并输出</strong></h1><h1><strong>26、读写 objectFile 文件</strong><strong>，</strong><strong>把 RDD 保存为objectFile，RDD数据为Array(("a", 1),("b", 2),("c", 3))，并进行读取出来</strong></h1><h1><strong>27、使用内置累加器计算Accumulator.txt文件中空行的数量</strong></h1><h1><strong>28、使用Spark广播变量</strong></h1><p>用户表：</p><p>id name age gender(0|1)</p><p>001,刘向前,18,0</p><p>002,冯 剑,28,1</p><p>003,李志杰,38,0</p><p>004,郭 鹏,48,2</p><p>要求，输出用户信息，gender必须为男或者女，不能为0,1</p><p>使用广播变量把Map("0" -> "女", "1" -> "男")设置为广播变量，最终输出格式为</p><p>001,刘向前,18,女</p><p>003,李志杰,38,女</p><p>002,冯 剑,28,男</p><p>004,郭 鹏,48,男</p><h1><strong>29、mysql创建一个数据库bigdata0407，在此数据库中创建一张表</strong></h1><p>CREATE TABLE user (</p><p> id int(11) NOT NULL AUTO_INCREMENT,</p><p> username varchar(32) NOT NULL COMMENT '用户名称',</p><p> birthday date DEFAULT NULL COMMENT '生日',</p><p> sex char(1) DEFAULT NULL COMMENT '性别',</p><p> address varchar(256) DEFAULT NULL COMMENT '地址',</p><p> PRIMARY KEY (id)</p><p>) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;</p><p>数据如下：</p><p>依次是：姓名 生日 性别 省份</p><p>安荷 1998/2/7 女 江苏省</p><p>白秋 2000/3/7 女 天津市</p><p>雪莲 1998/6/7 女 湖北省</p><p>宾白 1999/7/3 男 河北省</p><p>宾实 2000/8/7 男 河北省</p><p>斌斌 1998/3/7 男 江苏省</p><p>请使用spark将以上数据写入mysql中，并读取出来。</p><h1><strong>30、在hbase中创建一个表student，有一个 message列族</strong></h1><p>create 'student', 'message'</p><p>scan 'student', {COLUMNS => 'message'}</p><p>给出以下数据，请使用spark将数据写入到hbase中的student表中,并进行查询出来</p><p>数据如下：</p><p>依次是：姓名 班级 性别 省份，对应表中的字段依次是：name,class,sex,province</p><p>飞松 3 女 山东省</p><p>刚洁 1 男 深圳市</p><p>格格 4 女 四川省</p><p>谷菱 5 女 河北省</p><p>国立 2 男 四川省</p><p>海涛 3 男 广东省</p><p>含芙 3 女 四川省</p><p>华敏 4 女 上海市</p><p>乐和 2 男 上海市</p><p>乐家 3 男 黑龙江</p><p>乐康 4 男 湖北省</p><p>乐人 5 男 四川省</p><p>乐水 3 男 北京市</p><p>乐天 4 男 河北省</p><p>乐童 5 男 江苏省</p><p>乐贤 1 男 陕西省</p><p>乐音 2 男 广东省</p><p>李仁 3 男 湖北省</p><p>立涛 3 女 陕西省</p><p>凌青 4 女 湖北省</p><p>陆涛 4 男 山东省</p><p>媚媚 5 女 河南省</p><p>梦亿 4 男 江苏省</p><p>铭忠 5 男 四川省</p><p>慕梅 3 女 北京市</p><p>鹏吉 1 男 上海市</p><p>娉婷 4 女 河南省</p><p>淇峰 2 男 广东省</p><p>庆元 3 男 上海市</p><p>庆滋 4 男 北京市</p><p>丘东 5 男 江苏省</p><p>荣郑 1 男 黑龙江</p><p>蕊蕊 5 女 四川省</p><p>尚凯 2 男 北京市</p><p>诗涵 1 女 河南省</p><p>淑凤 2 女 天津市</p><p>淑娇 3 女 上海市</p><p>淑燕 4 女 河北省</p><p>淑怡 4 女 广东省</p><p>思璇 2 女 湖北省</p><p>苏华 3 女 山东省</p><p>苏梅 4 女 四川省</p><p>听荷 5 女 深圳市</p><p>文怡 1 女 天津市</p><p>文怡 2 女 河北省</p><p>香凝 3 女 山东省</p><p>翔云 4 女 河南省</p><p>小芸 5 女 深圳市</p><p>
</p>
网友评论