作者 | 陈彩娴
他曾就读于广州市执信中学,与2003年被保送至清华大学并成为首位获得全球计算机视觉顶会CVPR“最佳论文奖”的中国学者何恺明是校友,后考入电子科技大学通信与信息工程学院,保送本校研究生,又在2016年拿到伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系的全奖PhD offer。
在申请谷歌博士生奖研金的proposal中,张晓帆希望利用移动设备提供高质量且私密安全的AI服务,从资源受限的移动设备中释放更强大的AI能力。
尽管与大多数专业背景为计算机科学(Computer Science)的申请者相比,张晓帆对AI算法的掌握也许略逊色,但他的提案与所取得的阶段性成果最终打动了谷歌奖研金评选委员会,在众多博士生中脱颖而出,成为谷歌在北美与欧洲地区评选的30名获奖博士生之一。
相比学霸的头衔,张晓帆更愿意将自己的科研之路形容为:
踏实、乐观且目标坚定的求知之旅
,在这个过程中,“解决问题使我感到快乐。”
ECE的第二位获奖者
自谷歌博士生奖研金在2009年设立以来,伊利诺伊大学厄巴纳-香槟分校(UIUC)一共有12名博士生入选,其中10名来自CS专业,2名来自电气与计算机工程系(ECE),而张晓帆恰是ECE入选的第二位博士生。
谷歌博士生奖研金在全球范围内按区域评选,主要分为四大地区:北美与欧洲地区,澳大利亚与新西兰地区,东亚地区,非洲与印度地区。
而在北美与欧洲地区主要有三轮评选:学院/学校/区域评选,获得学校提名的候选者最后成功入选的几率也只有不到10%。
根据谷歌的规定,每个学校的提名人数不能超过4名。如果最终提名为3-4人,则第3名与第4名候选者必须备注自己来自“underrepresented group”,即在美国学术圈不占主流的人群,包括:女性,黑人或非裔美国人,美国印第安人或阿拉斯加原住民,拉丁美洲西班牙语国家公民或拉美移民,夏威夷土著或太平洋岛民,残疾人。
UIUC最终提名4位博士生,而张晓帆是学校推荐的前2名候选者之一。
他没有辜负学校与导师的期望,成为UIUC在2020年的唯一入选者。
在与AI科技评论的访谈中,张晓帆回忆自己在今年4月初便得知自己获奖的心情:
很惊喜,也觉得非常荣幸!刚收到邮件,我就立马跟推荐我参加评奖的三位老师分享了这个好消息。因为Google PhD Fellowship的竞争非常激烈,我很感谢谷歌对我在现阶段研究的肯定与支持。
张晓帆提到的三位老师,指的是他在UIUC-ECE的博士生导师陈德铭教授,以及UIUC与IBM联合创办的认知计算系统研究中心(C3SR)的两位负责人:胡文美教授与熊瑾珺教授。
据了解,
谷歌将资助入选者在读博期间的所有学费与学杂费,提供两年研究补贴(每年35k美元,折合人民币约47万,在每学年内分9个月支付),以及与谷歌研究导师一起共事的机会。
对此,张晓帆谈到,博士生本就是“低收入群体”,这笔奖金可以帮助他在一定程度上解决研究经费的问题。
博士生是需要交学费的。博士生可以通过在学校做助教,由系里出资免去学费,或是成为科研项目的研究助理,学费由项目承担。获得Google的奖研金之后,我能更加自主地选择我的研究方向,选择一些研究周期更长的研究项目。
在申请谷歌奖研金的proposal(Efficient Hardware/Software Co-Design Methods to Unleash Full AI Capabilities for Mobile Devices)中,张晓帆明确地提出了自己的研究目标:使用高能效软硬件协同设计的解决方案,使AI算法与硬件加速器完美结合,提高移动设备的AI应用能力。
在确保移动端能高效运行AI应用的同时,该研究也要保证使用数据的安全性。因此,他期待能够与来自计算机体系结构、隐私与安全及其他AI领域的研究员合作。
除了张晓帆之外,UIUC曾入选谷歌博士生奖研金的大陆学子还包括:
王宏宁,2012年入选,本科与硕士就读于清华大学计算机系,现为弗吉尼亚大学助理教授;任翔,2016年入选,本科就读于浙江大学计算机系,现为南加州大学助理教授;商静波,2017年入选,本科就读于上海交通大学ACM班,现为加利福尼亚大学圣迭戈分校助理教授。
比大多数人更早决定读博
提起校友何恺明,尽管如今同是AI领域的追梦人,张晓帆不掩其崇拜之情:“当年没能一睹大神风采。我进执信时,他已经保送清华了。”
张晓帆的本科与硕士就读于电子科技大学通信与信息工程学院,直到读博期间,研究深度神经网络加速器时才开始跟踪何恺明的工作,今年暑期在Facebook实习时才与何恺明有了一些交集。
如今十多年过去,张晓帆谈起母校执信中学,
印象最深刻的便是其独特的地理位置与建筑风格,以及被执信学子称为“青蛙服”的绿油油的校服。“一看就是执信的学生。”
执信的学生
张晓帆就读于执信中学本部校区。执信本部位于越秀区(原为东山区)执信南路,周围是繁华的越秀商圈,每天上学都会体验到一种强烈的反差感:
校园外是大城市的喧嚣,而校园内则是红墙绿瓦的古建筑,充满书香气。
执信校园
尽管只是就读于普通班(当时分重点班与普通班)的中等学生,张晓帆回忆起在执信中学的学习时光,仍觉得是非常快乐的:
一是校园环境特别好,二是校园管理、教师团队等软件设施非常完善。学生的课余时间比较丰富,补课的时间比较少,可以自主分配时间去做自己感兴趣的事情。执信学子在高中便能体验到非常丰富的社团活动。虽然高中的课业也很重,但老师给予了学生极大的信任,相信学生有能力去掌握自己的时间。
后来在电子科技大学度过七年本硕时光,尽管本科期间拿到校级与国家级奖学金,保送研究生,张晓帆仍认为自己谈不上是一位“学霸”,“因为本科有不少课程还是挺难的,需要花不少时间学习,考试复习的时候也没有很轻松。”
确定保研后,张晓帆便加入电子科技大学通信学院李广军教授的研究团队,开始参与4G通信核心模块的硬件加速器设计。那是他第一次正式参与科研项目。
张晓帆(后排左二)与研究生项目组成员
4G通信涉及到众多信号处理的步骤,张晓帆设计的模块是负责加速信号处理,提高数据传输速度。大四整一学年,他都在进行这个研究,最后设计方案取得了不错的加速效果。
张晓帆及团队成员将项目成果拓展成一篇名为《基于低硬件复杂度, 高速 CORDIC 的 SVD 模块设计与实现》的期刊论文,投稿到《电子学报》上,最终被收录。
“就觉得科研很有意思,有很多可以挖掘与探索的知识,我也很享受解决问题的快乐与成就。那时候就已经打算要读博。”
在研究生阶段,张晓帆获得国家奖学金、唐立新奖学金、优秀硕士毕业论文等荣誉。
唯一的外校博士生
2016年,陈教授团队录取的博士生中,外校学生只有张晓帆一人。
其余博士生都是自本科与/或硕士开始便在UIUC就读的学生。
比如说,UIUC第一位获得谷歌博士生奖研金的ECE博士生Raymond Yeh便是本科、硕士与博士都是在UIUC的ECE专业一路读上来的。Raymond Yeh在2018年获得谷歌博士生奖研金,与张晓帆同在CSL实验室(Coordinated Science Lab)。
张晓帆在UIUC的博士生导师为陈德铭教授。在申请UIUC的博士之前,张晓帆便与陈德铭教授有过一面之缘。
陈德铭教授是FPGA、EDA(电子设计自动化)、人工智能、异构计算等领域的著名学者,因在FPGA 高层综合方面作出的研究贡献入选IEEE Fellow, 其研究方向与张晓帆在读博期间想要研究的方向非常契合。
2015年年底,陈德铭教授来成都参加一个学术会议,张晓帆作为活动组织方的学生代表,负责带领陈教授在会后参观当地景点,游玩之余顺便交流了一些关于技术发展的看法,以及自己在研究生期间所做的工作。同时,陈德铭教授也对张晓帆提出了一些问题。
“当时以为就是很普通的聊天,现在想想,那时候应该是我的第一轮博士面试。”
事实上,在申请博士时,张晓帆并不敢“妄想”得到UIUC的offer,而是将其作为一个冲刺的学校。但幸运的是,陈德铭教授早前已对他有一些印象,因此申请博士生时相对顺利一些,并拿到全奖offer。
上文提到,本科大四就决定读博的张晓帆比大多数学子更早找到自己的学习方向。但读博从来就不是一件轻松的事。尤其是对于拿全奖offer的博士生来说。
一般来说,博士生的前两年会有资格考试,只有通过资格考试才能留下来继续完成学业。
因此,学生一边需要高质量地完成指定数量的专业课程,经历高密度的作业和课程考试并获取不错的绩点,在另一边还需要注重知识积累,及时完成科研任务以准备博士资格考试。
“第一年的压力是最大的。”张晓帆说道。
一边是繁重的学业,一边是进度紧张的项目,加之换了环境,所以第一年会特别焦虑。
“导师会给你定一个特别高的目标并鼓励、帮助你向目标方向努力,当你花费几年时间不断钻研并在该方向上取得成果的时候,你其实已经开始具备一名博士应有的素质了。博士毕业也是水到渠成的事情。”
孤独感与焦虑感在博士生群体中是一个普遍现象。2019年《Nature》第五次博士生调查结果显示,39%以上的博士研究生有抑郁或焦虑症状,这一数据是正常人群的6倍以上。
博士要解决的问题是那种还没有被解决的问题,因为如果有人已经有成熟的解决方案了,你的研究也就失去了意义。所以你会很容易产生这种感觉:其实这个问题并不能被解决,因为在此之前还没有人能解决它,也不见得你可以立马解决。
怎么克服呢?张晓帆分享了自己的解决经验:“一是调整心态,但调整心态并不能保证生产力,所以另一个方法就是多泡在实验室里,呆久一点才回家。”
张晓帆拍摄的UIUC校园景色
此外,他认为充满不确定性的研究过程是非常磨炼一个人的心性的:
“你必须沉下心来,去剖析你正在研究的问题,慢慢去发掘有哪些地方是可以被进一步改进的。”
一番挣扎、焦虑、自我怀疑过后,熬过第一年,第二年的焦虑感会减少许多:一是已经习惯这种高强度的学习状态,二是工作渐渐取得了成果,也开始变得有信心。
张晓帆强调坚持的意义:“如果你能找到工作的意义,你并不会有太多心思去想那些让你焦虑的事。”
如今步入博士五年级,张晓帆回想过去几年的学习经历,总结自己
每天绝大部分的时间都是在做和科研密切相关的事情:
1)和导师、同学讨论想法,2)设计实验,3)分析结果,(要是结果糟糕就要回到第一步),4)撰写paper等,(要是投稿被拒也要回到第一步),如此周期循环。
此外,博士生很难有规律的作息时间,DDL前几天熬夜是难免的。
不过,张晓帆还是乐观地说:“但我们ECE领域也有一个好处,就是远程工作比较方便,不一定非要呆在实验室,换个地方还是能接着工作。”
科研之路漫长且艰难,光有信仰是不够的,还要有鲜花。
后来,在导师、同窗与个人的努力下,张晓帆从2018年开始高频发表顶会与期刊论文。
直到今天,张晓帆总共发表了30篇论文,其中一作与共同一作共13篇。
因学业成绩优异,他在2020年还获得了ECE以表彰优秀国际学生设立的奖学金Sundaram Seshu International Student Fellowship。
论文高产的背后
在本科期间,他研究的是对单个核心模块作数字逻辑设计与优化,研究生阶段,他的研究从模块设计上升到系统级别设计,研究的是片上多核系统。
后来,他在博士期间接触到的第一个项目,是搭建一个用于描述输入图片的深度神经网络硬件加速系统,他也因此开始接触AI与深度神经网络。
张晓帆谈到:“虽然本硕期间学习的多是通信专业课程,比如通信系统、信号处理与计算机组成原理等等,但这些课程的基础知识其实与之后的AI研究有一些共通之处。”
读博之后,张晓帆一直致力于AI应用相关的研究。在2018年,AI科技评论公众号就报道了张晓帆的一项发表于CVPR的工作。
他与来自北京邮电大学的科研人员一同提出一种适用于密集人群计数的空洞卷积神经网络模型 CSRNet。
该网络模型摆脱以往广泛应用于人群计数的多通道卷积网络方案,在大幅削减网络参数量和网络训练难度的同时,显著提升了人群计数的精度和人群分布密度图的还原度。
这项研究有利于避免公共场合中因人群拥挤而产生的踩踏事件。此外,得益于简单、规整的网络结构,CSRNet 对硬件实现更加友好,可以被高效地部署在物联网设备中。
人群计数场景
他提到,目前AI应用对计算资源与存储的需求极大,但移动设备的资源与功耗预算极其稀缺。比方说,如果使用电池,许多设备就不能使用性能比较高的处理器。
张晓帆的解决方法是:使用AI算法与硬件加速器协同设计,为不同的移动应用场景设计最合适的解决方案,而不是简单地对算法或者硬件做单方面的优化。这样的话,资源稀缺的移动设备,比如手机,摄像头,无人机等,也能运行高质量的AI应用。
他在这方面最新的研究成果是SkyNet,为低功耗嵌入式设备提供了高质量的物体识别与物体跟踪解决方案。这项成果发表在今年的AI与系统会议Conference on Machine Learning and Systems (MLSys)。
张晓帆在这方面的研究成果已经发表在多个顶级会议上。
其中,DNNBuilder(一种先进的深度神经网络加速器自动化生成工具)获得了2018年国际计算机辅助设计会议(ICCAD)颁发的 William J. McCalla最佳论文奖;SkyNet及其加速器设计在来自全球 110 支参赛队伍中脱颖而出,赢得由国际设计自动化会议(DAC)主办的低功耗目标识别系统设计大赛FPGA与GPU组别双冠军。
图注:DAC 2019 大会正、副主席为 UIUC 团队颁发低功耗目标检测系统设计挑战赛冠军奖状(左起为大会主席 Robert Aitken、博后研究员郝聪、博士生张晓帆、 陈德铭教授、C3SR 负责人熊瑾珺及胡文美教授和大会副主席李卓)
他的主要研究课题还包括了AI加速器及相关自动化工具的设计。他希望通过更高效的AI加速器和更全面的自动化工具,加速AI从算法设计到最终硬件部署的时间,以满足不断快速发展的AI应用的需求。
张晓帆在今年的两个EDA领域顶级会议合共有4篇论文被收录。其中发表在DAC的论文《Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions》提出一种可微的深度神经网络与加速器联合搜索框架,为嵌入式设备提供更高效的AI解决方案。
此外,另一篇发表于ICCAD的论文《DNNExplorer: A Framework for Modeling and Exploring a Novel Paradigm of FPGA-based DNN Accelerator》则探索了一种可用于FPGA的新型加速器结构范式,能进一步提高硬件加速器的资源利用效率和扩展性。
张晓帆直言对研究生与博士导师的崇拜:“
他们有一些共同点,就是对工作的要求非常高,要求非常严格,耳濡目染之下也会变得对一些细节很固执。
”
比方说,张晓帆提到被陈德铭教授“逮到办公室里一字一句修改论文”的情景:
写完论文后,我自己已经很满意,拿给导师看后,他还是能够看出很多需要改进的地方。哪怕我已经在不断进步了,他还是能够看出自己的不足。把我逮到他的办公室里,坐在电脑边上一个字一个字地修改。不断改,改到满意,达到导师标准的才是合格的。
张晓帆也十分理解导师的意图:“教授是过来人,又看了那么多论文,他肯定知道一篇好的论文应该达到怎样的标准。”
此外,导师给予的指导性意见也非常多。他们的实验室一周开一次例会。除了周例会以外,还有项目与子项目的例会,频繁时每周会与导师聊三回。
图注:2018年ICCAD最佳论文合作作者合影(左到右)熊瑾珺教授,陈德铭教授,张晓帆,胡文美教授,王均松(IBM高级研究员),林咏华(IBM杰出工程师,时任IBM中国研究院院长)
C3SR(IBM-ILLINOIS Center for Cognitive Computing Systems Research)是UIUC与IBM合作成立的研究中心。在获得谷歌奖研金之前,该中心为张晓帆提供了他的大部分研究经费与实验设备。
作为学界与业界共同建设的研究中心,C3SR聚集了来自学校与IBM的权威专家。张晓帆在中心一起共事的导师,除了陈德铭教授,还有另一位来自ECE的胡文美教授(计算机体系结构、编译技术、并行处理领域著名学者,IEEE/ACM Fellow),以及来自IBM的资深研究员、ECE兼职研究教授熊瑾珺。
据张晓帆介绍,C3SR每周都会有一个例会:“
每一次例会就是学界与业界的思想碰撞。与业界的专家接触,能讨论出不少新想法。
”
张晓帆认为自己非常幸运,在研究生与博士阶段都遇到了非常好的团队成员。
“同窗之间交流地愉快,心态调整也会快,科研也会快乐。”
图注:2019年,张晓帆(后排左四)与C3SR师生参与由MIT-IBM Watson AI Lab举办的AI Research Week学术交流活动。
张晓帆将个人的因素排在最后一位。
“一直在这个领域深耕,比较容易出成果。”
他认为,
自信、乐观与坚持是读博的“三大法宝”
。只有具备了这三大法宝,才能在读博的过程中扛过一次又一次的打击,不断被打倒、又不断站起来。
此外,读博大多需时至少五年。对任何人来说,五年都是一段非常宝贵的时光。一旦决定读博,便要克服一切困难,咬牙坚持下去。
与本硕学习有所差别的是:博士生要独立做研究,自己决定自己的研究方向。
“一开始是导师帮忙选择适合的研究方向,因为对行业不了解,所以由导师分配能胜任的工作。之后看的文章多了,就能感觉到行业要往哪里发展,或是小的领域要在哪里突破,摸索到自己的研究方向后,跟导师商量,给出自己的理由,导师同意后就可以开始投入研究。”
至于如何获取新知识、判断行业的研究动态,张晓帆的主要学习渠道有:
1、读文章,关注自己领域的几个重要会议与期刊,偶尔刷arXiv上发表的新论文;
2、关注UIUC举办的一些学术讲座与其他云学术会议。
写在最后
对比同龄人的选择,张晓帆知道,读博并不是大多数人的选择。
本/硕毕业后进企业与选择读博,这两种选择的追求是不一样的。博士在读生本就是低收入群体,“刚刚够花而已”。
面对市面上那些冷冰冰的薪资数字,比如本科毕业的学生可能已经当到了VP、而你才刚博士毕业找工作,或者硕士毕业后工作三四年,技术工程师的年收入也能达到或超过一些公司给博士毕业生的收入水平,张晓帆的态度颇为达观:
“如果要比收入的话,越比越伤心,因为比你有钱的人太多了。一味比收入的多少,也会容易抹杀掉自己在某个领域上的潜力。
读博是一个不留后路的决定。
”
另一方面,我们也可以找一些让自己开心的数据,比如华为天才少年计划…你永远可以找到你想要的数据。
再谈后悔与否已无太多意义。回顾自己选择做科研的决定,以及获得奖励与肯定的经历,张晓帆总结:“也算对自己的博士学习有所交代了吧。”
张晓帆个人主页:
https://zhangxf218.wixsite.com/mysite
在10月19日头条《专访吴军:未来10年,AI的发展方向是应用,不会出现重大的理论突破》留言区留言,谈一谈吴军博士对你的启示,或你对信息技术发展的理解。
AI 科技评论将会在留言区选出 10 名读者,每人送出《信息传》一本。
活动规则:
1. 在留言区留言,留言点赞最高的前 10 位读者将获得赠书。获得赠书的读者请联系 AI 科技评论客服(aitechreview)。
2. 留言内容会有筛选,例如“选我上去”等内容将不会被筛选,亦不会中奖。
3. 本活动时间为2020年10月19日 - 2020年10月23日(23:00),活动推送内仅允许中奖一次。
NeurIPS 2020论文接收列表已出,欢迎大家投稿让更多的人了解你们的工作~
点击阅读原文,直达NeurIPS小组~