成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
为了让网速更快,阿里工程师与顶级数学家有一个大胆猜想
2019 年 8 月 22 日
阿里云
2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔” -- 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心血之作的全过程。
邀请他共建新理论的朋友是一群从读博期间就熟读Frank Kelly著作,受其影响的年轻人。
同时,他们的另一个身份是阿里巴巴工程师。
阿里代表正在SIGCOMM 2019做分享
近日,
他们提出了双方合作的研究成果HPCC,对高性能网络的拥塞控制这一世界级难题提出了一种全新的算法,同时在世界顶级的学术会议SIGCOMM 2019上发表,这也标志着阿里巴巴在基础研究上又一重大突破。
这样的CP结缘于阿里云栖大会数学大赛。
年近6旬的Frank Kelly是全球知名的数学家,曾因成功通过经济学理论建模和解释了互联网技术中最基础的传输协议TCP(Transportation Control Protocol)拥塞控制而声名大噪:
他用经济学理论对TCP的收敛性和公平性做出分析,从理论上论证了TCP在互联网环境下的稳定性和有效性。
而在当时,张铭(现为阿里云智能研究员)正在普林斯顿大学的攻读博士,Kelly教授的著作正是他常读的经典论文之一,其中不少观点对张铭日后的网络研究大有启发。
Frank Kelly与阿里HPCC相关论文作者合影
随着云计算的迅猛发展,面向大规模数据中心的高性能网络架构正成为主流,FrankKelly教授当年所论证的TCP拥塞控制在新一代高性能网络中面临严峻挑战,这也正是当下数据中心网络里面临的核心难题之一。
2018年9月,Frank Kelly受邀到杭州参加阿里数学大赛开幕仪式,在与张铭所属的阿里基础设施网络团队交流中,了解到目前高速网络拥塞控制遇到的挑战。
Frank Kelly与阿里工程师交流
作为拥塞控制的早期研究者,Kelly教授对此产生了浓厚的兴趣。
凭借Kelly教授对网络理论的敏锐嗅觉和张铭团队对高性能数据中心网络的丰富实战经验,双方不约而同产生了一个
大胆的猜想:
目前主流的高速网络拥塞控制算法在理论上很可能无法证明其稳定性,且这就是造成一系列工程实践问题的根本原因。
于是双方决定展开合作,共同解决大规模、高性能网络拥塞控制这一世界级难题。
从此之后,阿里西雅图办公室与英国剑桥大学之间的电话经常响起,无数想法在其间碰撞。
历经4个多月的跨洋合作,双方终于设计出了一套全新的高性能网络拥塞控制算法HPCC。
不同于当前主流的拥塞控制算法,HPCC不但在理论上有稳定性,高效性和公平性的保证,而且在拥塞场景下的网络延迟比现有的算法好上几十倍到上百倍。
在世界各地,各种各样的电脑运行着各自不同的操作系统,这些电脑在表达同一种信息的时候所使用的方法是千差万别。
因而需要通过建立标准的网络协议把各种计算机连接起来,才能完成计算机间相互交流,TCP(Transportation Control Protocol)协议应运而生。
TCP就像是给计算机世界里铺设了统一的道路,使得信息的实时传输成为可能。
在现实的交通网络里,只有宽阔的道路,没有红绿灯,没有好的交通规则和交通控制和疏导系统是不够的。
计算机世界里同理,网络带宽资源是有限的,阿里巴巴工程师和Kelly教授设计了全新的拥塞控制算法,就好比是数据中心网络里的“红绿灯”系统,保证每台服务器的流量是可控且公平的,既不会因为带宽资源过少造成网络卡顿, 也不会让某一方获得过大的带宽,阻塞其他的流量。
在有着浓厚的理想主义和现实主义色彩的阿里,人们对技术创新的要求不仅仅是停留在实验室,而是真正用技术创新去服务于实际生产。
于是,在HPCC初见成效之际,阿里网络团队决定在模拟真实生产环境的软硬件上,实现和测试这一新算法。
经过精巧的软硬件设计和4万多行代码的编写,阿里网络团队仅仅用2个月就快速和高效地实现了HPCC及相关的协议栈原形。
实验表明,HPCC不但可以在现有硬件上高效率的实现,而且其实际效果和理论分析的结果高度吻合。
这意味着HPCC为下一代高性能网络拥塞控制开启了一个全新的研究思路和方向,并将对云计算网络的设计和运营产生长远和深刻的影响。
阿里工程师们与Kelly教授的这次合作依稀让人感觉时空交织的惊奇与美妙。
50后Kelly的著作启发了70后的张铭博士的博士研究工作,张铭又在多年后带领着团队里的80后90后年轻人与Kelly并肩作战,在新一代网络技术的浪潮中挑战传统,面向未来。
对基础研究的投入和支持不能只停留在理论层面,还需要联合一线工程师与应用场景的紧密结合。
也许这正是阿里巴巴成立达摩院支持基础研究的原因。
正如阿里云智能总裁,达摩院院长张建锋在2019年阿里云峰会上所说:
“(阿里巴巴)全集团的科研力量将融会贯通,达摩院的能力与云全面结合。
未来还将加大研发投入,扩大云的技术代差优势。
”
随着阿里巴巴技术实力的崛起和对基础研究的重视,我们有足够的理由相信,未来如这样的神奇之旅,未完待续。
你可能还喜欢
点击下方图片即可阅读
我就知道你“在看”
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
HPCC
关注
0
HPCC:IEEE International Conference on High Performance Computing and Communications。 Explanation:IEEE高性能计算与通信国际会议。 Publisher:IEEE。 SIT:
http://dblp.uni-trier.de/db/conf/hpcc/
【MLSS2020】流数据贝叶斯预测,米兰Sonia Petrone教授,80页ppt
专知会员服务
46+阅读 · 2020年7月5日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
102+阅读 · 2020年6月28日
【斯坦福大学博士论文】统计模型的代数与机器表示,224页pdf
专知会员服务
32+阅读 · 2020年6月18日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
「强化学习之路」清华博士后解读83篇文献,万字长文总结
专知会员服务
65+阅读 · 2020年2月28日
普林斯顿大学经典书《在线凸优化导论》,178页pdf
专知会员服务
183+阅读 · 2020年2月3日
【新书稿:强化学习:理论与算法】《Reinforcement Learning: Theory and Algorithms》by Alekh Agarwal, Nan Jiang, Sham M. Kakade (2019),(附83页pdf)
专知会员服务
78+阅读 · 2019年11月23日
【CCF优秀博士学位论文奖-2019】机器学习算法的分布式梯度优化研究,北京大学江佳伟
专知会员服务
56+阅读 · 2019年11月8日
992页《初等微积分:无穷小方法》(Elementary Calculus. An Infinitesimal Approach)书籍【附下载】
专知会员服务
25+阅读 · 2019年10月28日
【ICML2019 tutorial】安全机器学习(Safe Machine Learning),Silvia Chiappa,Jan Leike
专知会员服务
22+阅读 · 2019年6月10日
十项全能颜值爆表,偏偏命途多舛,他为我们留下了“普朗克常数”
德先生
6+阅读 · 2019年8月22日
冬日里的一首歌 | 清华快闪女指挥王明媚讲述背后的故事
清华大学研究生教育
59+阅读 · 2019年1月9日
动态 | 阿里达摩院引入以色列知名科学家 Lihi Zelnik-Manor 教授
中国人工智能学会
3+阅读 · 2018年11月26日
李飞飞再次告别!卸任斯坦福AI Lab负责人后,她只做一件事!
镁客网
4+阅读 · 2018年11月20日
黎曼猜想被证明了?“他的证明甚至不能算是个错误”!阿蒂亚爵士的证明受到同行质疑
人工智能学家
6+阅读 · 2018年9月25日
【2018国家杰青名单公布】清华入选人数第一!25个AI项目入选
新智元
12+阅读 · 2018年8月3日
丘成桐:攻克物理难题的数学大师
科技导报
5+阅读 · 2018年7月23日
秒杀99%大学生!中国最牛高校学霸PK,简历吓坏网友...
人工智能机器人联盟
7+阅读 · 2017年11月12日
最可怕的不是被机器淘汰,而是……
全球创新论坛
18+阅读 · 2017年10月28日
王者荣耀有毒,是因为玩游戏有罪吗?这里有两位父亲的自白
中国企业家杂志
3+阅读 · 2017年7月6日
Adversarial Multimodal Representation Learning for Click-Through Rate Prediction
Arxiv
23+阅读 · 2020年3月7日
Bivariate Beta LSTM
Arxiv
5+阅读 · 2019年10月7日
NEAR: Neighborhood Edge AggregatoR for Graph Classification
Arxiv
5+阅读 · 2019年9月6日
BERTScore: Evaluating Text Generation with BERT
Arxiv
5+阅读 · 2019年4月21日
Neural Ordinary Differential Equations
Arxiv
6+阅读 · 2018年10月3日
Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
Arxiv
7+阅读 · 2018年6月1日
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
Arxiv
6+阅读 · 2018年3月30日
(FPT-)Approximation Algorithms for the Virtual Network Embedding Problem
Arxiv
4+阅读 · 2018年3月12日
Open Information Extraction on Scientific Text: An Evaluation
Arxiv
6+阅读 · 2018年2月15日
Convolutional Invasion and Expansion Networks for Tumor Growth Prediction
Arxiv
5+阅读 · 2018年1月25日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
HPCC
SIGCOMM
数学家
阿里巴巴
数学
公平性
相关VIP内容
【MLSS2020】流数据贝叶斯预测,米兰Sonia Petrone教授,80页ppt
专知会员服务
46+阅读 · 2020年7月5日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
102+阅读 · 2020年6月28日
【斯坦福大学博士论文】统计模型的代数与机器表示,224页pdf
专知会员服务
32+阅读 · 2020年6月18日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
「强化学习之路」清华博士后解读83篇文献,万字长文总结
专知会员服务
65+阅读 · 2020年2月28日
普林斯顿大学经典书《在线凸优化导论》,178页pdf
专知会员服务
183+阅读 · 2020年2月3日
【新书稿:强化学习:理论与算法】《Reinforcement Learning: Theory and Algorithms》by Alekh Agarwal, Nan Jiang, Sham M. Kakade (2019),(附83页pdf)
专知会员服务
78+阅读 · 2019年11月23日
【CCF优秀博士学位论文奖-2019】机器学习算法的分布式梯度优化研究,北京大学江佳伟
专知会员服务
56+阅读 · 2019年11月8日
992页《初等微积分:无穷小方法》(Elementary Calculus. An Infinitesimal Approach)书籍【附下载】
专知会员服务
25+阅读 · 2019年10月28日
【ICML2019 tutorial】安全机器学习(Safe Machine Learning),Silvia Chiappa,Jan Leike
专知会员服务
22+阅读 · 2019年6月10日
热门VIP内容
开通专知VIP会员 享更多权益服务
机器战争:将自主系统纳入军事框架
《作战战略和决策规划的数学模型》
美空军条令《反陆作战》最新84页
《军事高价值资产自主防御与护航的深度强化学习方法》最新148页
相关资讯
十项全能颜值爆表,偏偏命途多舛,他为我们留下了“普朗克常数”
德先生
6+阅读 · 2019年8月22日
冬日里的一首歌 | 清华快闪女指挥王明媚讲述背后的故事
清华大学研究生教育
59+阅读 · 2019年1月9日
动态 | 阿里达摩院引入以色列知名科学家 Lihi Zelnik-Manor 教授
中国人工智能学会
3+阅读 · 2018年11月26日
李飞飞再次告别!卸任斯坦福AI Lab负责人后,她只做一件事!
镁客网
4+阅读 · 2018年11月20日
黎曼猜想被证明了?“他的证明甚至不能算是个错误”!阿蒂亚爵士的证明受到同行质疑
人工智能学家
6+阅读 · 2018年9月25日
【2018国家杰青名单公布】清华入选人数第一!25个AI项目入选
新智元
12+阅读 · 2018年8月3日
丘成桐:攻克物理难题的数学大师
科技导报
5+阅读 · 2018年7月23日
秒杀99%大学生!中国最牛高校学霸PK,简历吓坏网友...
人工智能机器人联盟
7+阅读 · 2017年11月12日
最可怕的不是被机器淘汰,而是……
全球创新论坛
18+阅读 · 2017年10月28日
王者荣耀有毒,是因为玩游戏有罪吗?这里有两位父亲的自白
中国企业家杂志
3+阅读 · 2017年7月6日
相关论文
Adversarial Multimodal Representation Learning for Click-Through Rate Prediction
Arxiv
23+阅读 · 2020年3月7日
Bivariate Beta LSTM
Arxiv
5+阅读 · 2019年10月7日
NEAR: Neighborhood Edge AggregatoR for Graph Classification
Arxiv
5+阅读 · 2019年9月6日
BERTScore: Evaluating Text Generation with BERT
Arxiv
5+阅读 · 2019年4月21日
Neural Ordinary Differential Equations
Arxiv
6+阅读 · 2018年10月3日
Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
Arxiv
7+阅读 · 2018年6月1日
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
Arxiv
6+阅读 · 2018年3月30日
(FPT-)Approximation Algorithms for the Virtual Network Embedding Problem
Arxiv
4+阅读 · 2018年3月12日
Open Information Extraction on Scientific Text: An Evaluation
Arxiv
6+阅读 · 2018年2月15日
Convolutional Invasion and Expansion Networks for Tumor Growth Prediction
Arxiv
5+阅读 · 2018年1月25日
大家都在搜
palantir
PRML
武器目标分配
兵棋推演
知识图谱
智能推荐
汽车智能化
RE-NET
大模型
EBSD晶体学织构基础及数据处理
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top