前言：FATE（Federated AI Technology Enabler）作为全球首个联邦学习工业级开源框架，旨在提供安全的计算框架来支持联邦 AI 生态。FATE 实现了基于同态加密和多方计算（MPC）的安全计算协议，它支持联邦学习架构和多种机器学习算法的联邦学习实现，包括逻辑回归、基于树的算法、深度学习和迁移学习等等。

 

2021年3月31日，我们推出FATE v1.6版本更新。在1.6版本中，我们巨幅优化了性能效率及稳定性，在使用体验方面，根据社区朋友的建议也有相应的优化，希望这个版本能给各位带来更流畅的使用体验。

 

此外，新版本对其他FederatedML、System Architecture、FATE-Test、FATE-Board、KubeFate等多个模块都进行了更新及改进，各模块改进点如下：

 

FederatedML

 

1、纵向SecureBoost 计算机制优化，支持GOSS、直方图相减、密文压缩等机制，性能提升2-4倍；

2、纵向SecureBoost支持L1、min_child_weight，缓解过拟合问题；

3、纵向SBT增加deterministic选项，解决因为浮点误差带来的直方图计算不稳定性问题；

4、新增特征工程组件SecureBoost Transformer，使用SecureBoost的叶子结点进行样本编码；

5、隐私交集模块支持随机数复用和分组计算均衡机制，性能提升30%；

6、隐私保护交集支持国密SM3杂凑算法；

7、纵向GLM优化计算通信流程，支持低精度加密运算，性能提升可达2倍；

8、纵向神经网络支持低精度加密运算，支持SelectiveBackPropagation、交互层的dropOut，性能提升2倍；

9、纵向特征分箱优化计算逻辑，减少数据拷贝和内存消耗，支持密文压缩，性能提升2倍；

10、纵向Pearson模块支持本地VIF的计算；

11、联邦特征选择新增Pearson相关性和VIF共线性过滤器；

12、横向神经网络支持直接输入图像数据进行训练和预测；

13、横向神经网络torch后端重构和语法优化；

14、新增横向联邦分箱，支持virtual和迭代式2种横向联邦分箱机制；

15、新增样本加权模块，支持列加权和标签加权机制，纵向GLM、纵向SecureBoost支持加权训练；

16、新增组件data_transformer，支持输入数据schema大小写不敏感；

17、LocalBaseline组件支持离线预测；

18、CrossValidation支持输出数据切分明细；

19、Evaluation模块支持多分类评估指标的one-vs-rest展开成二分类指标功能。

 

System Architecture 

 

1、新增本地文件系统目录路径虚拟存储引擎，以支持图像输入数据；

2、新增消息队列Pulsar跨站点传输引擎，可搭配Spark计算引擎使用，并可加入Exchange角色支持星型站点组网模式。

 

FATE-Test

 

1、FATE-Test新增算法效率比较，支持自动化数据的生成；

2、FATE-Test支持flow接口的自动化回归和正确性测试，覆盖rest\cli\sdk三类接口；

3、FATE-Test支持flow流程自动化回归训练、预测、在线推模型的全流程；

4、FATE-Test算法效果对比功能增强，支持验证集指标一致性对比。

 

FATE-Board

 

1、SBT Transformer：新增sbt transformer组件，支持利用hetero_sbt模型对样本特征进行重新编码；

2、Sample Weight：新增sample weight组件，可为样本进行加权，当前支持根据标签指定权重或根据特征列自动提取权重；

3、Homo Feature Binning：新增homo feature binning组件，用于横向联邦场景下的分箱，当前支持查看各特征的分箱数及分箱区间；

4、Data Transformer：新增data transformer组件，该组件继承data IO组件的功能，同时支持大小写不敏感等新特性；

5、Reader：支持读入图像文件；

6、Hetero Feature Binning：支持根据woe筛选查看分箱；

7、Pearson：支持计算特征VIF值；

8、Feature Selection：支持使用pearson进行特征选择；

9、SecureBoost：支持同时查看模型的gain和split两类特征重要性，二分类情形下Performance Score支持查看汇总图表；

10、CV组件：支持查看和下载每一折的训练集样本及其训练结果；

11、Evaluation：支持查看one_vs_rest各子模型的二分类指标及汇总可视化图表；

12、可在Board上导出当前任务的dsl和conf文件；

13、可根据合作成员的party_id条件搜索job；

14、优化组件数据/模型下载功能；

15、优化迭代次数过多/cv折数过多情况下Performance Score的图表展示。

 

KubeFate

 

1、支持FATE v1.6.0部署，方便配置切换不同的计算引擎、存储引擎、传输引擎；

2、支持最新的Pulsar传输引擎配置，以及Pulsar exchange模式配置；

3、改进Spark作为计算引擎的配置；

4、新增Kubernetes日志聚合，提高错误追踪能力；

5、新增集群部署任务的停止功能。

 

---

全球首个联邦学习工业级开源框架

超900家企业机构开发者共建互联

扫码关注FATE开源社区

抢先获取更多联邦学习产品资讯