数据分析师 - Week13

SAS技术

1. 导入中文的txt数据集

*endocing选项可以让系统用指定的格式来编码文件;
filename my_file "/Users/PyProjects/kaggle/titanic.txt" encoding="utf-8";

*procedure过程中可以对数据集做处理, 保留想要的字段并且改名;
proc import datafile=my_file out=my_data(rename=(varo=id) keep=var0 -- var2) 
  replace dbms=dlm;
  delimiter="|";
  getnames=yes;
  guessingrows=23333;
run;

2. 把大表分开处理，减少服务器的资源消耗。

在信用卡中心可以获得大量的交易数据，然而每个月的交易数据表都异常的大。
虽然本人在一家小银行的信用卡中心工作，但是一个月的交易信息表都是千万级以上的数据。
因此，如果需要过去一年多的交易数据，应该按月分开处理，然后再做汇总合并。

%macro test();
  %do i=2016 to 2018;
    %do j=1 to 12;
      %let yyyymm=i*100+j;
      %if &yyyymm.<=201801 and &yyyymm.>=201609 %then %do; *限定需要获取数据的时间;
        data events_&yyyymm.;
          set lib.events_&yyyymm.(keep=var0--var10);
          length ratio 8.;
          if var10 ^= 0 then ratio=var9/var10;
          else ratio=.;
        run;
        
        proc sql noprint;
          create events_temp_&yyyymm. as 
          select *
          from events_&yyyymm.
          where var0 in (select id from lib.test); *若lib.test很大，最合理应该使用merge;
        quit;
      %end;
    %end;
  %end;

  data events_all;
    set events_temp_:; *汇总全部处理过的交易表;
  run;
%mend test;