大数据分析步骤

----根据需求分析----
维度: .....
指标: .....
涉及到的表: .....
涉及到的字段:
维度字段: .....
指标字段: .....

----总结----
指标: 访问量
维度:
固有维度:
产品属性维度:
----涉及表----
----涉及字段----

----建模分析----
ODS层 (Operational Data Store):

DW层 : （Data Warehouse） 数据仓库
DWD层 (Data warehouse Detail)（明细层）:清洗内容 转换内容
DWM层 （Data WareHouse Middle)（中间层）:提前聚合 维度退化
DWS层 （Data WareHouse Servce） (业务层) :对各个维度细化,聚合统计(可多增加属性字段) (可以增加time_str字段)(空设置-1)

DA层 (app层): 需要对DWS再进行细化

DIM层（维度层）:

• 静态分区操作:

  格式1:
     load data [local] inpath '数据路径' into|overwrite table 
  

表名 partition(分区字段=值1, 分区字段=值2 ...);
格式2:
insert into|overwrite table
表名 partition(分区字段=值1, 分区字段=值2 ...) + select...语句

- 动态分区操作:

```sql
格式:
    insert into|overwrite table 表名 partition(分区字段1, 分区字段2 ...) + select...语句
    
如果使用动态分区, 必须开启以下内容:
    set hive.exec.dynamic.partition=true; -- 开启动态分区支持
    set hive.exec.dynamic.partition.mode=nonstrict;  -- 关闭严格模式
 
注意: 在使用动态分区的时候, 将分区字段数据放置查询的结果最后面(注意顺序一致)

• 动静混合操作:

  格式:
      insert into|overwrite table 表名 partition(分区字段1=值1, 分区字段2 ...) + select...语句
  
  如果使用动态分区, 必须开启以下内容:
      set hive.exec.dynamic.partition=true; -- 开启动态分区支持
      set hive.exec.dynamic.partition.mode=nonstrict;  -- 关闭严格模式
   
  注意: 在使用动态分区的时候, 将动态分区字段数据放置查询的结果最后面(注意顺序一致)