报名 | 联邦学习入门第4课:基于Kubernetes构建FATE联邦学习环境

2020 年 3 月 18 日 机器之心
3 月 17 日,机器之心联合微众银行开设的公开课《联邦学习 FATE 入门与应用实战》第三讲结课,微众银行人工智能部算法研究员谭明超为我们分享了《联邦学习 FATE 算法模块梳理及建模演示》。


3 月 19 日(本周四),我们将迎来本系列公开课的第 4 讲,详情如下:

公开课第4讲(附 Live Demo)


课程主题: 使用 KubeFATE 部署生产环境的联邦学习 Kubernetes 集群

课程时间: 3 月 19 日 20:00 主题讲解+在线答疑+Live Demo

讲师简介: 彭麟,Layne Peng,现任 VMware CTO 办公室资深研究员。之前在 Dell EMC CTO 办公室工作超过 7 年,负责云计算相关领域前沿研究,也曾在某互联网金融公司负责基础设施部门,有丰富的一线实践经验。热爱开源技术,参与了 OpenStack, Kubenetes, Docker 等开源项目,并在 OpenStack Summit, Apache Big Data Conference, LinuxCon 等会议发表过相关演讲。

课程摘要: Kubernetes 是目前最流行的机器学习调度平台,我们推荐基于 Kubernetes 构建 FATE 的联邦学习生产环境。KubeFATE 是我们推出的 FATE 部署工具,可以通过一行命令在 Kubernetes 上从 0 部署一个生产级别的 FATE 集群,支持 FATE 的按模块部署,多 FATE 集群管理,实现重启、删除、升级等功能。另外,KubeFATE 还提供了 RestAPI,可以进行集群管理的二次开发,以及跨网络的多方部署等高级需求。

Live demo: 使用 KubeFATE 在 Kubernetes 上从 0 部署一个多方 FATE 集群,并且进行集群的简单管理。

课前准备: 请预先了解 Kubernetes 的基本概念及操作,提前熟悉 MiniKube 及 KubeFATE。
 
第2课精选问答

在每期课程的 QA 环节中,有一些问题被广泛提到并且很有价值,所以我们进行了精选与编辑,供大家参考。以下为第2课问答精选(第2课主题为快速部署FATE开发环境):

1)「toy_example」跑不通原因是什么?
因为 FATE 的架构比较复杂,加上系统和网络不稳定性等客观原因,一遍下来某些步骤有不可控的小问题。这些问题可以逐步去排除,但是我们推荐比较简单的方法是可以重新跑一遍或几遍。如果还是不行那就定位是否是指令集不支持的问题,详情请参考我们 kubeFATE 在 github 上的 wiki。

2)Exchange 也负责模型聚合吗,还是只负责建立底层通信?

它是不负责模型聚合的,只负责通讯。


3)目标机和部署机有什么区别?
我们前面说 KubeFATE 的使用其实分为两个部分,一个部分是生成启动集群的配置文件。另外一个部分就是运行的 FATE 集群。部署机就是生成配置文件的机器,目标机是运行集群的机器。部署机和目标机只是一个逻辑上的划分,他们实际上可以是同一台服务器。

4)每个 party 都是有自己的 k8s 集群么?

其实取决于你是哪种部署方式,如果是 docker-compose 的话,你就不需要有 k8s 集群了。


5)这些 party 里有分中心机构和参与机构吗?

没有严格的区分,一个 party 即可以做分享数据的中心机构,也可以做参与机构,这取决于训练的具体内容。


6)如何实现分布式训练?

分布式训练由 EggRoll 模块提供支持,它向上提供了一个 MapReduce 的功能。


7)kubefate 支持容灾吗,节点挂了怎办?

如果是使用 k8s 部署的话,那么容灾其实是依赖于 k8s。节点挂也没关系,k8s 会帮你重新起一个。


8)一个 party 有多个用户吗?
一个 party 可以有多服务多个用户,这是没问题。

第 3 课的问答精选正在整理中,详情请关注公开课专栏更新,点击 阅读原文 即可跳转。

如何加入

添加机器之心小助手(syncedai6),备注FATE,加入《联邦学习FATE入门与应用实战》课程学习。主题讲解、项目实践、在线答疑,联邦学习从零入门。

登录查看更多
0

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
131+阅读 · 2020年3月25日
【2020新书】Kafka实战:Kafka in Action,209页pdf
专知会员服务
67+阅读 · 2020年3月9日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
【电子书】Flutter实战305页PDF免费下载
专知会员服务
22+阅读 · 2019年11月7日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
Deeplearning4j 快速入门
人工智能头条
14+阅读 · 2018年12月24日
【机器学习】基于TensorFlow搭建一套通用机器学习平台
详解TensorForce: 基于TensorFlow建立强化学习API
机械鸡
5+阅读 · 2017年7月22日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
相关资讯
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
Deeplearning4j 快速入门
人工智能头条
14+阅读 · 2018年12月24日
【机器学习】基于TensorFlow搭建一套通用机器学习平台
详解TensorForce: 基于TensorFlow建立强化学习API
机械鸡
5+阅读 · 2017年7月22日
Top
微信扫码咨询专知VIP会员