背景
FATE (Federated AI Technology Enabler) 是微众银行AI部门发起的开源项目，为联邦学习生态系统提供了可靠的安全计算框架。FATE项目使用多方安全计算 (MPC) 以及同态加密 (HE) 技术构建底层安全计算协议，以此支持不同种类的机器学习的安全计算，包括逻辑回归、基于树的算法、深度学习和迁移学习等。
FATE官方网站：https://fate.fedai.org/
版本1.4.0
联邦机器学习（Federated Machine Learning）
- Home Secureboost（基于xgboost的一个加密boost）
- 对线性模型的AIC/BIC的逐步回归
- Hetero Optimal Feature Binning（异构优化的特征分箱），支持iv/gini/chi-square/ks且允许 非对称分箱方法
- 支持AI生态：引入了pytoch包来支持人神经网络
- 同构框架解构，简化同构相关算法的开发
- 为不同算法提供更早的停止策略
- 多类型分类的本地参照物
- 一致的预测评估
- 有效性策略优化，训练有效性的3倍速
Fate-flow（流的支持）
- 重构模型管理，本地文件存储，更易伸缩且信息更丰富的存储解构
- 在可靠的分布式系统上，支持模型的导入导出，存储
- 任务队列使用mysql管理而不是redis，减少系统的复杂性
- 提供上传客户端上传本地文件
- 自动检测存在的表且提供删除选项
- 系统，算法，调度日志的隔离，调度日志可以被独立审查
Eggroll
- 稳定性提升：新的资源管理组件有全新的会话机制，会话出错后，管理组件呢也能通过简单的方法调用进行清理。去掉了存储服务，没有c++/本地库文件需要编译。联邦学习算法在28%的丢包率下依然工作。
- 性能提升：在Eggroll2上，联邦学习算法有极大的性能提升，部分算法有10倍性能提升，联邦场景下，join interface比pyspark快16倍
- 用户体验提升：快速开发，支持maven，pip，config和start。轻量级依赖，可以从requirements.txt（python的依赖文件），pom.xml（java的依赖文件）看出。简易的调试，必要的上下文提供，实时的运行状态可以在日志和数据库中查看。一些jvm应用demo提供。
版本1.3.0
FederatedREC（联邦推荐算法）
- 添加联合推荐子模块
- 添加异构因子分解
- 添加同构因子分解
- 添加异构矩阵分解
- 添加异构奇异值分解
- 添加异构SVD++（满足最近邻分解）
- 添加异构广义矩阵分解
联邦机器学习
- 支持非均匀一般线性模型（异构LR、异构LinR、异构poissonR）中用稀疏数据训练
- 修正了32M分位数限制，以支持更高的特征维度
- 修正了SecureBoost直方图统计的32M限制，以支持更高的特征维度训练。
- 在OneHot编码器中添加异常参数和输入数据检测
- 修复在训练过程中，不传递验证数据来适应支持数据评估验证的过程
Fate-Flow
- 添加清除job的CLI（命令行交互界面）以清除输出和中间结果，包括数据、度量和会话
- 支持通过CLI获取表命名空间和输出数据的名称
- 在某些特殊情况下修复删除job不成功的执行
- 改进日志系统，添加更多异常和运行时状态提示
版本1.2.0
联邦学习
- 添加异构深层神经网络
- 添加秘密共享协议SPDZ
- 在SPDZ中加入异构特征相关算法并支持异构Pearson相关性计算
- 增加异构的SQN优化器，可用于异构回归和异构回归，可显著降低通信成本
- 支持扩展的重复id取交集
- 异构特征分箱中的多主节点支持
- 异构特征筛选中的多主节点支持
- 支持异构特征分箱中离散特征的IV计算
- 支持异构特征分箱中原始特征值到WOE的转换
- 在异类特征筛选中添加手动过滤器
- 支持性能与sklearn' logistic回归的对比
- 联邦训练迭代过程中对象/表的自动清理
- 提高大对象的传输性能
- 添加用于提交和运行任务的自动脚本
Fate-Flow
- 添加数据管理模块，用于在运行的作业中记录上传的数据表和模型的输出，以及查询和清理的命令行工具。
- 支持注册中心简化FATE Flow和FATE Serving之间的通信配置
- 重构模型发布逻辑，命运流将模型直接推向fate服务。将fate服务和Eggroll分离，离线和在线架构只通过fate-flow连接。
- 提供CLI查询数据上传记录
- 按行上传和下载数据支持进度统计
- 添加一些异常诊断提示
- 支持向任务添加注释信息
- 本机部署
- 修复EggRoll启动脚本中的错误，添加mysql，redis启动选项。
- 禁用mysql服务的主机名解析配置。
- 使用自动获取模式更新软件打包脚本中每个模块的版本号。
版本1.1.1
主要特点和改进
- 添加基于ubuntu的集群部署
- 添加支持数据合并的联合组件。
- 支持在一个Onehot Encoder中显示部分列
- 支持任务结束后的中间数据清理
- 求交加速
- 优化部署过程
漏洞修补
- 修复secureboost“提前停止”的错误
- 修复下载api中的错误
- 修复spark后端的错误
版本1.1
联邦机器学习
- 为支持安全聚合的同构联邦学习提供一个通用算法框架
- 加深度神经网络
- 添加异质线性回归
- 添加非均匀泊松回归
- 支持异构逻辑回归中的多主节点
- 支持异构线性回归中的多主节点
- 支持多主节点求交
- 利用缓存加速求交
- 重构异构广义线性模型框架
- 异构SecureBoost中支持仿射同态加密
- 支持异构SecureBoost中，对于缺失值进行输入数据
- 支持训练期间的评估并验证数据
- 添加spark作为计算引擎
fate-flow
- 查询任务状态的上载和下载，支持CLI
- 支持取消等待任务
- 支持设置任务超时
- 支持在任务日志文件夹中存储任务调度日志
- 添加身份验证来控制测试版，包括其中组件、命令、角色
版本1.0.2
- Python和JDK环境仅用于运行独立版本的快速体验
- 支持集群版本docker部署
- 添加中文部署指南
- 部署群集版本时，支持用于快速体验的独立版本运行。
- Python服务日志将保留14天。
版本1.0
这个版本包括两个新产品，分别是fate面板和fate-flow，面板作为联邦建模的可视化工具，fate流是联邦学习的端到端pipeline平台。此版本包含对FederatedML的重要改进，它可以更好地跟踪联邦学习算法的运行进度。
fate面板
- 联邦学习任务面板
- 联邦学习任务可视化
- 联合学习任务管理
- 实时日志面板
fate-flow
- DAG定义Pipeline
- 联邦多方非对称DSL解析器
- 联邦学习生命周期管理
- 联邦任务协同调度
- 数据、度量、模型等的跟踪
- 联邦多方模型管理
联邦ML
- 用fate流更新联邦建模的所有算法模块运行状态
- 中间统计结果在所有算法模块的面板中可视化。
- 支持Nesterov Momentum SGD优化器
- 基于仿射变换的加同态加密方案
- 联邦特征分享支持稀疏的输入
- 更新评估指标，如ks、roc、gain、lift curve等
- 更新算法的参数定义类
fate服务
- 在线联邦接口添加在线联邦模型的DSL解析器
版本 0.3
联邦学习
- 支持多标签分类任务的OneVsALL
- 异方差Logistic回归中的垃圾回收
- 为sigmoid和对数逻辑函数添加数值稳定。
- 支持异构Logistic回归和异构SecureBoost的不同计算模式
- 联邦特征组合与联邦特征选择的解耦
- 在Hetero SecureBoost中增加特征重要性计算
- 在Hetero SecureBoost中添加多主节点
- 支持标签：值稀疏输入数据
- 支持输出交集id与交集中的特征实例
- 支持OneHot模块。
- 支持联邦特性分箱的bucket分箱。
- 支持定点数上的加法、sub、mul、div、gt、lt、eq等数学运算符
- 为参数设置添加权限验证
fate服务
- 为多方推理结果添加多级缓存
- 添加startInferceJob和getInferenceResult接口以支持推理过程异步化
- 规范化推理返回码
- 推理汇总日志和推理细节日志的实时日志记录
- 改进主机前、后处理适配器和数据访问适配器的加载
eggroll
- 新的计算和存储api
- 稳定性优化
- 性能优化
- 存储使用率改进
- 添加Mini FederatedML测试任务示例
- 使用任务管理器提交当前示例的分布式任务
- 错误修复和其他更改
- 修复检测一个最大列溢出错误。
- 修复数据IO密集格式不读取主机数据头错误。
- 修正统计函数调用错误
- 修复联合功能选择的错误，每个参与方至少保留一个功能
- 出于安全考虑，不允许在LR模块中使用小的批量。
- 修复联合功能选择模块中的命名错误。
- 在某些极端情况下修复自动发布模型信息的错误
- 修复了定点数中的一些溢出错误
- 修复许多其他错误。
版本0.2
fate-flow
- 添加模型管道线
- 添加异构联合特征分箱工作流
- 添加异构联合特征选择工作流
- 添加异构dnn工作流
- 为训练，预测，较差验证添加求交算子
联邦ML
- 支持svm稀疏格式输入数据
- 支持标签稀疏格式输入数据
- 添加异联邦特性分箱
- 添加异构联邦特征选择
- 添加功能定标器：MinMaxScaler和StandardScaler
- 为缺失值填充添加特征输入
- 为数据实例添加数据统计
- 支持原始交集可配置的编码和主计算角色
- 添加采样器：随机采样器和分层采样器
- 支持SecureBoost中的回归
- 支持回归评估
- 支持分散化FTL
- 通过DNN添加特征提取
- 将模型格式更改为ProtoBuf
- 增加异常参数检测
- 添加异常输入数据检测
fate服务（联邦学习模型的在线推理）
- 动态加载联邦学习模型。
- 使用联邦学习模型的实时预测。
- 模型管理
- 版本控制
- 再现性
- 查询，搜索
- 任务管理器
- 添加加载文件/下载文件
- 从本地文件添加导入ID
- 添加开始工作流
- 添加工作流任务队列
- 添加查询任务状态
- 添加Get Runtime conf
- 添加删除任务
Eggroll
- 为多处理器添加节点管理器以提高分布式计算性能
- 添加C++重写存储服务
- 添加eggroll清理API
部署
- 添加自动部署
- 改进部署文档
例子
- 添加异构联邦特征分箱示例
- 添加异构联邦特征选择示例
- 添加异构DNN示例
- 添加小例子
- 添加任务管理器示例
- 添加服务示例
- 错误修复和其他更改
- Hetero-LR Minibath 修正
- 梯度平均修正
- 代理1秒延迟错误修正
- 修正了训练流程
版本 0.1
初始化版本
工作flow
- 支持求交工作流
- 支持训练工作流程
- 支持预测工作流
- 支持评估工作流
- 支持模型加载和保存工作流
联邦ML
- 支持样本比对的分布式安全求交和原始求交
- 支持分布式同质LR和异构LR
- 支持分布式SecureBoost
- 支持分布式安全联邦迁移学习
- 支持二值和多类评估
- 支持模型交叉验证
- 支持小批量
- 支持L1，L2正则化
- 支持多方同构联邦聚合器
- 支持多方异构联邦聚合器
- 支持部分同态加密MPC协议
结构
- 计算api的初始版本
- 存储api的初始发布
- 联合API的初始发布
- 跨站点网络通信（即“联合”）的初始发布
- 独立运行时的初始版本，包括计算引擎和k-v存储
- 分布式运行时的初始发布，包括分布式计算引擎、分布式k-v存储、元数据管理和站点内/跨站点网络通信
- 支持跨站点异构基础设施
- 建模与推理的初始支持
部署
- 支持独立（docker&manual）部署
- 支持群集部署
网友评论