47 使用data flow的join功能链接两个表

• 假设，两个表，一个员工表，里面又departmentId，另一个表有 depId和depName，合并两个表，只显示depName,实现类似于sql的join功能

49 filter

• 相当于sql的where

50 Aggregate

• 相当于sql的groupby

51Join

• sql的join, left join , right join

52 condition split

• 如果一张表，想根据条件分成多分表，使用condition split

53 derived

• 需要新建一行，且该行的数据是其他行数据处理后，类似于新的一行是country行的所有大写

54Exists

• 求两个表的交集，输出一个新的交集表

55 union

• 将多张具有相同字段的表合成一张表

56 look up

• 类似于Left join，但是只能是2个表之间

58 new branch

• 一个data flow 里，如果一个source需要多次使用，那么就使用new branch

59 select

• 对一个数据源进行简单的行和列的处理

60 pivot

• 行转列

61 unpivot

• 列转行

62 surrogate key

• 添加一个新的列，可以指定从1开始

63 window

• 等于sql 的over (PARTITION BY xx order by XX desc)

64 alter row

• 根据条件，更改列

65 flatten

• 用来扁平化json

66 参数化data flow

68 schema drift

• 更改表的结构，选择是否动态移动表头

69-71 wrangling

• 没学

74 Azure devops

75 azure key value

1. 创建key value

   
   image.png

2. 创建secret，其中value值是blob的 connection string

   
   image.png

3. 创建过程中会出现权限问题，在key value的Access control里面给当前的用户添加key - value administrator的权限，这里我们使用Key Value的是data factory，所以需要将该DF的名字加入

   
   image.png

82 Cache