美文网首页面试大数据面试
XX公司大数据笔试题(A)

XX公司大数据笔试题(A)

作者: Albert陈凯 | 来源:发表于2017-05-24 11:31 被阅读167次

XX公司大数据笔试题(A)

  1. 大数据基础(HDFS/Hbase/Hive/Spark〉
    1.1. 对出Hadoop集群典型的配置文件名称,并说明各配置文件的用途。
    1.2 怎么往HDFS上传文件和目录,并指定被上传文件再HDFS上存储块大小为4MB?怎么限制被上传的文件只允许本账号(假定账号为user1)可读写? 假定要新增账号user2?对上传文件可读,怎么设置?
    1.3 什么是Hbase Namespace?写出命令,创建hbase namespace “jk”,并创建表“user2”对上传文件可读,怎么设置?
    1.4 简单说明HBase出现热点的原因,给出避免热点的方法(尽量多举例)。
    1.5 请说明 Hive 中 Sort By,Order By,Cluster By,Distrbute By 各代表什么意思
    1.6 写出 HQL 语句,将zz.20170101.tog 文件放入 hive 中 access 表 ‘20170101’ 分区,access的分区字段是eventday。
    1.7 Hadoop MapReduce和Spark的都是并行计算,有什么相同和区别?
    1.8 简单说一下Spark的shuffle过程。
    1.9 什么是数据倾斜?如何解决?
  2. 脚本能力
    写一段程序(Shell或Python),将指定本地目录/data/log/nginx (包括子目录)文件传到指定HDFS目录/apps/logs/nginx,且只传输变化的文件(包括新增文件、文件大小发生变化的文件)
  3. Spark 编程
    在 HDFS 目录"/data/log/nginx/2017010"下,存放着多个日志文件 access.0.log, access.1.log,…, access.23.log
    日志文件内每一行的格式:来源IP地址,HTTP Request,如下表所示: f-J
    11.1.2.3,POST /appl/index.html
    123.3.56/GET/app2/user?id=3
    23.3.3,POST /appl/submitorder
    其中request的格式为HTTP Method + URL, URL的第一个分段为应用名,如app1, app2, app3,…,要求:
    1)写出spark程序统计各应用的的PV和UV(基于IP去重)
    2)要求先将日志文件加载到RDD进行处理,然后转换为DataFrame,最后用SparkSQL 统计出上述结果
  1. Spark可以用java,python或Scala,程序书写需要完整,符合编程规范

相关文章

  • XX公司大数据笔试题(A)

    XX公司大数据笔试题(A) 大数据基础(HDFS/Hbase/Hive/Spark〉1.1. 对出Hadoop集群...

  • 实务|无效分析(试题模拟)

    试题模拟(以上为看着答案手写,考前找找感觉) 尊敬的A公司: 感谢贵公司委托本公司代为办理XX专利宣告无效请求相关...

  • 如何找到自己的第一个数据分析项目

    “这个XX数据产品就是我做的”“我帮助营销部节省成本6500万”“我建立个XX公司数据监控体系”“我XX行业的营销...

  • 金融行业实战项目:如何理解业务?

    【面试题】 下表是某金融App的数据,请结合Excel数据集中的数据完成下列问题(某金融公司面试题,文末有数据下载...

  • XX数据中台数据大屏

    前言 主要使用产品如下:   DanaStudio 大数据开发平台,可实现从数据的抽取、治理、分层存储,到数据模型...

  • 成长之殇

    第一节 先看XX宠物 从天眼查数据查看,XX宠物下辖以下二级公司:杭州公司、关忠品牌宠物诊疗机构、北京京华...

  • 2022-05-14

    地理命题规划 2011-2012学年第二学期七年级 期末试题命制规划 XX县XX初级中学 一、试题命制的指导思想:...

  • 2018-11-30

    我认任职XX公司XX部门,该部门后台系统主要由API模块,APP后台模块,算法模块以及数据模块组成。 后台的所有任...

  • 一道让我蒙圈的 js 面试题

    最近的面试题几乎都在考 XX 的原理,XX 的源码,XX 的算法,手写代码。原来不懂,只要会用不就行了吗?为什么要...

  • 2021大数据架构、高性能、数据治理面试题

    2021大数据架构、高性能、数据治理面试题 需要自取:https://url80.ctfile.com/f/323...

网友评论

    本文标题:XX公司大数据笔试题(A)

    本文链接:https://www.haomeiwen.com/subject/iyinxxtx.html