小米要更技术。
雷军不止一次这样强调。在《新闻联播》采访中,在MIDC 2020小米开发者大会现场,「技术」都是这位小米集团创始人&董事长强调最多的词汇。
崔宝秋也是这样反复布道的,他是小米集团副总裁、小米技术委员会主席,从最初打造小米大数据,到后来成为小米AI的核心引擎和业务,以及在底层框架方面的种种努力,并成功吸引到全球AI语音大牛、Kaldi之父Daniel Povey……在接受采访时,他认为小米的技术底色正在越来越外显。
在今年小米开发者大会上,小米还官宣了5000名工程师的招聘计划——史无前例。
这是大众印象中鲜于看到的那一面,对于小米的关注,集中于产品,不常深入技术甚至底层。
但如果问现场开发者,「小米很技术」,甚至不需要论证。
「我感觉小米最大的变化,可能不再是一个简单的手机厂,手机只是小米推整个家庭物联网的抓手。」
MiNLP 3.0、新版Kaldi、MACE Micro、NuttX操作系统、小米Vela物联网软件平台……
以上已经或即将开放的技术,都是过去一年由小米自研,或者小米在其中做出了重要贡献。
一位开发者向我们说:今天干货非常多,小米今年真的是开了场技术大会。
但究竟如何技术?
不妨先先从6大技术发布总结,来快速了解今年的小米开发者大会。
去年,小米将语音界AI大神Daniel Povey招募进来,他是最流行的语音识别工具包Kaldi的开发者。
加入小米一年,Daniel Povey设计并开发出了新一代Kaldi。
新一代Kaldi分成三个部分,包括核心算法部分,训练数据准备部分、示例脚本集合部分。
Lhotse(训练数据准备部分)将替代以前Kaldi中所有数据准备相关的工作,操作各种音频和文本的元数据。
Lhotse除了Kaldi本身,也适用于其他应用。而且Lhotse纯Python代码,方便易用。
Icefall(示例脚本集合部分)将代替Kaldi中的示例脚本集合,并独立成为一个单独的子项目。
之所以要把示例脚本集合与核心算法分开,是考虑到示例脚本可能会非常庞大,且经常变动。
新一代Kaldi的核心部分叫“k2”。
k2可以让开发者很容易在PyTorch/TensorFlow中实现各种语音识别相关算法,比如CTC、LF—MMI、RNN—T、2nd—pass语言模型等,消除以往语音识别算法中训练跟解码不匹配的问题。
同时,通过k2可以非常容易实现(置信度逐渐提高的)多轮解码过程,这在以往是很难做到的。
当然,这只是k2的应用场景之一。
Povey博士还举了另一个例子:FSA(有限状态自动机)是语音识别里普遍使用的数据结构,比如可以用来构建“音标—词—句子”的转换概率图。而K2的核心贡献在于让FSA可导,从而可在PyTorch等深度学习库中来进行FSA的反向传播训练。
相较于其他一些语音识别库的优势,k2速度更快,通用性强(可以用来建模多种语音识别算法)。
Povey博士透露,k2核心代码已完成。约41000行代码(主要是C++),本周将发布0.1版本。
“拥抱开源,构建开发者社区”,是「技术向」小米始终挂在嘴边的。
今年的开发者大会,小米公布了最新的自然语言处理平台,MiNLP 3.0,并且承诺,MiNLP 3.0中的不同功能模块,将按计划逐渐开源。
3.0都有哪些新特性?
与去年的MiNLP 2.0相比,3.0从原来的两大功能模块(基础算法、语义理解)上升到四大功能模块,增加了内容理解和舆情分析模块。
新的模块可以帮助系统更好的结合上下文理解交互内容,提高识别的准确性。
3.0版平台还结合预训练、知识图谱能力,提升了语义解析技术。
除了语义解析,新平台还拓展了多模态理解能力,即基于文本、语音、图像和视频等多模态特征,实现对内容的精准理解。
在11月中下旬,小米会开源第一个模块,分词技术。
崔宝秋也给出了一张开源的时间表:
另外一项备受期待的开发工具是MACE 1.0:小米的移动端深度学习框架。
去年的小米开发者大会发布了MACE 0.13,这是一个部署在个人设备端的深度学习框架,目的是实现AI推理能力、计算能力、智能水平在边缘设备的有效运行,而不是将所有数据和算法上传到云,保证用户的隐私。
今年的MACE 1.0,升级了一个很重要的功能,MACE Micro,这是专门为微控制器或者小单片机打造的AI推理框架。
MACE Micro代码特别少, 不算模型大小一般只需几十K存储空间, 可以放在低功耗,价格便宜的智能设备上。
比如在一个微控制器上,如果用MACE来做图像识别,平均每秒一次的使用频率,一年的计算耗电量,只需要一个纽扣电池就可以提供。
目前,MACE已经在小米自家的物联网设备中应用,但小米的产品并不是MACE最终的「归宿」,崔宝秋提到,MACE愿意向合作伙伴甚至是友商开放。
前面介绍的几项,都是小米底层技术的新进展,而这些技术落到消费者看得见摸得着的产品,就是语音助手智能助手小爱同学5.0。
配合小米集团手机xAIoT战略,小爱同学5.0正式从语音助手升级为智能生活助手。就产品功能点而言,小爱同学5.0新特性可以总结为五点。
第一,小爱同学5.0支持了全场景智能协同。在多设备工况情况下小爱同学可以做到更智能的协同唤醒、更智能的协同响应、更智能的协同提醒和建议。
与过去语音助手 语音助手行业普遍采用的就近唤醒不同,小爱同学5.0会根据用户所处环境选择合理的设备方案。设备距离、设备活跃状态、设备形态等,智能选择最优设备进行应答与倾听。
比如要播一段视频,用户可能偏向选择最大的屏幕,由电视来播放,而不是手机。
当协同唤醒搭配协同响应,小爱同学将为用户提供最优的全场景解决方案。比如在客厅场景中要播一段视频,应答设备会是近距离的活跃设备(手机或音箱),但播放视频将会由电视执行,客厅场景看视频大屏才是最优选择。
第二是对话式的主动智能。小爱同学5.0会有记忆,会更加「贴心」,更加理解用户。
第三个新特性,是多模态融合交互,语音+视觉+其他传感器的一种感知认知能力。包括音箱上的手势控制和小爱同学手机端多模态输入及扫一扫。
第四个新特性,定制化情感语音。小爱同学5.0新增儿童音色泡芙,奶萌童音备受用户好评。此外,用户呼声最高的粤语,也在5.0正式发布。超过20000句符合粤语文化的常用话语深度优化,让小爱同学的粤语更地道。
今年2月在小米10发布会上,小爱同学发布了定制声音能力,经过工程师的努力,,在小爱5.0定制声音将覆盖更多的手机机型和更多终端设备,包括音箱和电视。
第五个更新是智慧学习。针对学生群体,小爱同学5.0在教育内容及工具两大类别,为用户提供更智能、更丰富的服务。
包括AI课程表、AI翻译、K12教辅内容、知识问答。上包括为大学生做了AI课程表、AI翻译、面对面翻译、连续翻译、一句话翻译等等。还支持K12教辅。
最后是更多的定制化情感声音。之前发布的定制声音能力,也将覆盖到更多小米设备中。
所以总结起来,5.0的小爱同学,技术上更智能,功能上更强大,落地产品也将更多种多样。
这是今年开发者大会现场,发布简短却又「韵味无穷」的新技术。
UWB技术,被小米形象化取名「一指连」,效果相当酷炫。
应用起来,手机上如果内置UWB芯片和天线,用手机指向风扇,手机屏幕上就弹出来风扇的遥控器;
指向电视,就会弹出电视的遥控器;
指向音箱,手机的播放列表就传到了音箱上去。
目前,「一指连」已经做到厘米级、正负3度的精度,而未来UWB会取消「指一下」动作,仅仅靠近IOT设备,就能实现控制。
不过对于AIoT的互联互通和操作,小米还有更强大更基础的准备。
小米Vela,面向物联网时代而准备。在这次开发者大会上正式亮相。
被称为小米开发物联网设备的「基础设施」。
小米IoT平台部总经理、AIoT战略委员会主席范典在发布会上介绍,“小米Vela是基于开源嵌入式操作系统NuttX打造的物联网软件平台。”
NuttX由Gregoy Nutt在2007年发布,是一个实时嵌入式操作系统。
但由于NuttX在设计之初就考虑到了对应用较为广泛的Linux的兼容、并对POSIX原生支持,在过去几年里,索尼、三星等大厂先后加入了这一阵营。
小米则是从2017年开始就基于NuttX开发物联网产品,并在随后推动NuttX加入了Apache基金会。目前,小米在其中的贡献量达到了三分之一,是最有影响力的贡献者之一。
小米Vela主要分为三⼤部分:底层是NuttX内核、上层是Vela应⽤框架,⽽右侧是开发者⼯具。小米Vela的初衷是提供丰富的组件和易⽤的框架,把开发者解放出来。
从整个架构上,也能看出小米对Vela的雄心,而且小米Vela从出生第一天起,就面向AIoT赛道,从底层团结软硬件开发者之力。
范典说:Vela源⾃拉丁语,是船帆的意思,在物联⽹的星⾠⼤海中,我们愿与开发者⼀起,乘风帆远航,共同打造物联⽹产业美好的明天。
虽然未能言明,但这种希骥之间,不难看出Windows、安卓一样的期待。
而且相比其他玩家,小米在AIoT领域的底气无需赘述——最新数据披露,小米IoT平台已连接IoT设备数超过2.71亿,拥有5个以上IoT设备的用户超过510万。是全球规模最大的AIoT平台之一。
总而言之,技术、技术,还是技术,就是小米现在传递出的最强观感。
“技术”这个关键词,今年为何小米被提到了前所未有的高度?
雷军在开发者大会的第一场演讲中就给出了答案:
手机之争就是相机之争,相机之争就是AI之争。
所以,2018年小米单独成立了相机部,作为一级部门,如今已有850名工程师,这还不包括小米另外的350名人工智能工程师。
从今年的小米10开始,雷军不再强调小米的性价比,而是用技术作为核心竞争力冲击高端市场。
还有智能家居的核心“小爱同学”,也离不开语音识别、语言理解等AI前沿技术。
为了储备技术,小米近年来广纳顶尖人才。尤其是去年“Kaldi之父”Daniel Povey的加入,令开发者刮目相看。
“我根本没想到他会加入小米”,现场一位开发者说。
作为小米集团技术委员会主席,崔宝秋对此当然并不意外,然而这位“Kaldi之父”的巨大吸引力还是超乎他的想象。
回忆起小米宣布Daniel加入团队当天,崔宝秋印象深刻,他当时正在苏州参加2019年中国计算机大会。
现场好几位来自新加坡的参会者听到消息后,当即向崔宝秋表示,他们想加入小米,因为和一位“技术大神”在一起工作是他们梦寐以求的。
除了Daniel外,小米近年来年来还吸引了NLP领域著名学者王斌博士加入,成为小米自然语言首席科学家。
王斌加入后,他的学生从各个企业和研究机构慕名而来。
“这就是牛人加入小米带来的引领作用”,崔宝秋说。
吸引技术人才,一方面靠“大神”的虹吸效应,另一方面是靠宽松的研发环境。
比如Daniel本身是语音识别领域的大牛,但小米并没有让他加入到小爱同学的研发中,而是集中精力兑现对开源社区的承诺。
这一年来,小米全力支持新版Kaldi的代码开发工作。甚至Daniel本人在今年三四月决定将新版Kaldi推倒重来,执行Plan B,小米依然全力支持。
崔宝秋认为,正是因为没有给技术人员太大压力,用长远的眼光看待研发,才让小米今年来能吸引到真正的技术人才。
现在小米的产品和技术是脱耦的。
一个需要预研的技术,这个研发团队需要被保护起来,不要被业务所累。
经过一年的努力,新版Kaldi在小米团队的努力下,终于要在11月下旬开源。
而Kaldi只是小米在开源技术上的一角。去年小米为NuttX开源操作系统贡献了近1/3的代码。
据不完全统计小米在GitHub上已经创立超过120个开源项目。
基础研究方面,小米在自然语言处理、语音识别领域皆有建树。
但“AI大神”云集的小米过去在技术上却异常低调。
我们却很少能看到小米向AI学术会议提交论文,或是参加AI性能测试“刷榜”。
究其原因,崔宝秋解释说,过去小米做的第一件事就是把产品落地,快速占领市场,没有时间参加比赛、发表文章或进行学术交流。小米很多工程师也不善言辞。
他一直鼓励员工多出去交流,今后应该会有更多的小米工程师在技术场合露面。今年的开发者大会就是一个“分水岭”。
这一次,技术低调的小米终于选择了高调。
小米的技术研发和招聘规模都在逐年扩大,是小米加码技术的直接体现。
去年小米研发投入70亿,今年研发投入将超过100亿,并扩招3000名工程师。
雷军表示,明年小米还将在10个重点领域招收5000名工程师,占小米目前员工总数的近40%。
这一年,手机上的“黑科技”让很多消费者对小米刮目相看,120W超级快充、UWB一指连都技术都属小米首发。
不出意料,明年小米还会有更多手机黑科技,而AIoT会是小米的另一个发力点。
据小米统计,拥有5件小米智能设备用户已经超过310万。面对消费升级,个人设备越来越多,未来AIoT市场大有可为。
当然,还有一件事很重要,也是小米的初心。
现在的小米10手机已经在通过小米的智能工厂生产,高度自动化的“黑灯”产线绝大部分都是小米自主研发的生产设备在工作。
过去,“性价比”是小米逢山开路遇水搭桥的法宝,是用亲民价格打造感动人心的产品。
现在,小米正在把更多黑科技纳入到更多产品和功能中。
而技术,也正在给小米带来整体变化。
一方面,这种变化体现在大众认知中。
特别是小米MIX发布起,小米就正在成为手机技术创新的核心驱动玩家,影响业态至今的全面屏革命,起于小米,还在不断进化。
而随着相机、语音交互和整体操作功能方面的不断优化,手机和AIoT成为双引擎,小米的技术底色也在更大范围内得到认可。
小米很技术,正在成为越来越广泛的共识。
另一方面,技术之力,也不断转换为产品之力,推动小米核心增长。
最具代表性事件,是小米手机超越苹果,重返全球第三。
今年10月底,三家市场研究机构IDC、Canalys和Counterpoint分别发布了第三季度全球智能手机市场统计报告,三家数据均显示,小米手机出货量升至全球第三。
这也是小米自2014年之后,再次重返全球第三,并且也创造了小米史上最高出货量。
相较而言,如果2014年小米是理念的胜利、风口上的胜利,顺势而为的胜利。那么现在重返巅峰,就是创新的胜利、技术的胜利,千淘万漉后的胜利。
而且小米上上下下,也深知这种胜利如何而言、怎样延续。
越来越多强调技术立业,越来越广泛展示技术底色,越来越公开表达对技术人才渴求……
技术,就是小米开诚布公的发展之路。
当然,对于如此技术化发展的小米,资本市场也给出了反馈。
小米股价和市值,也不断被刷新。
截至11月9日,小米集团(HK.1810)股价涨至25.5港元,市值超过6100亿港元,涨势强劲,还在不断上扬中。
但这个技术化小米,还只是小米新十年的开端。
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~