1. 大概流程
- 创建aws s3 的bukect，并且在IAM里创建access id + key
- 创建blob - input- landing
- 创建adf
- 创建azure key -value 存储 s3的id和key
- 在key value里的access里添加当前ADF的权限
- 使用adf创建pipeline，copy s3的数据到blob里
- 创建source的，由于s3的数据都是以日期格式，所以我们需要动态获取文件名。并且使用wildcard匹配所有的.json文件
- 创建sink，同样使用动态的文件路径
- 创建azure function来验证blob里的json是否合格，创建一个blob的trigger，然后验证并且触发，成功和失败放去不同的文件夹
- 在azure function里添加json的格式验证
- 最后将成功的文件
2. 需补充内容
- Azure function的使用
网友评论