27岁少女用手看世界,34岁女孩用脚写诗歌,被鹅厂AI暖到了

2022 年 1 月 14 日 新智元



  新智元报道  

编辑:好困 桃子

【新智元导读】27岁的李梦琪是一个爱笑的女孩。不幸的是,她从小患有先天性视力障碍。AI本无温度,而腾讯用AI帮她触摸到新的世界,带去温暖。


27岁的李梦琪是一个爱笑的女孩。

 

都说爱笑的女孩儿运气不会差,可是,在她的身上运气确实差了那么一点点。

 

 

1岁左右,先是被诊断为先天性视网膜色素变性,视神经开始萎缩。6岁那年,她的视力急剧下降,一人独自前往上海的盲人学校读书。

 

然而,这个世界很公平。因为当上帝为你关上一扇门时,一定会为你打开一扇窗。

 

虽然视力成为李梦琪的先天弱点,但是她在音乐方面却有着独到的天赋。

 

一次偶然的机会,8岁的她与琵琶结缘,从此开启了自己的音乐人生之路。17岁那年,她从上海来到北京,成为北京联合大学的一名音乐专业大学生。

 

毕业后,李梦琪便留在了北京,时常做一些像琵琶演出,调钢琴这样专业领域的工作。

 

业余时间,她也会化妆、逛街、买衣服,还能够使用电脑、手机与家人朋友实现良好的沟通。

 

可是你有想过,李梦琦是如何打字的吗?


可以触摸到的世界


智能手机面世前,李梦琪曾用的是物理按键手机,自己能够通过触摸记忆进行操作。

 

 

然而,随着全触屏手机的普及,物理按键这个参照物也逐渐消失在了视野当中。

 

对于李梦琪这样的特殊群体来说,曾经还算顺利的打字输入也变得难如登天:只能一个字母一个字母地听,然后再进行选择。

 

正是搜狗输入法帮助李梦琪打开了另一扇新世界的大门。

 

 

2016年10月,搜狗上线手机版视障输入法,将原本键盘上的数字键、中英切换键变身为特制的候选上/下键,盲人可通过听专门的读音来选取词汇,点击空格即可上屏,为他们能顺利表达大大的简化了输入过程。

 

其实,在此之前,2015年7月,搜狗输入法PC端支持读屏软件。李梦琪表示,自己开始接触电脑,用的就是搜狗输入法,而且它的组词、快捷键非常好用。

 

为了进一步优化手机版输入法操作,让其操作更加便捷,2020年5月21日,正值第9个全球无障碍宣传日,搜狗输入法联合清华大学计算机系发布全球首款面向视障用户的智能键盘。

 

其中包括智能按键预测、自定义上屏方式和候选手势等多个新功能,可以减少视障用户反复修改的繁琐操作,极大地便利视障用户。

 

而团队的相关工作也发表在了人机交互领域顶级学术会议——国际计算机学会人机交互大会(The ACM CHI Conference on Human Factors in Computing Systems 2019)上,并获得荣誉论文奖。

 

https://dl.acm.org/doi/10.1145/3290605.3300747

 

论文提出的方法基于用户输入行为模型和语言模型来动态预测目标字符,在手指碰触瞬间自动调整键盘布局,实现字符级自动纠错。

 

 

经过模型反复测试,可以有效解决视障用户打字落点不准确的问题,大幅提升了视障群体的输入效率。

 

相比于其他无障碍输入法,其错误率降低了63%,并且能够精确识别用户输入的按键,使得输入速度提升12%,实现了毫秒级响应。

 

http://library.usc.edu.ph/ACM/CHI2019/1proc/paper517.pdf

 

方法的实现大概可以分为四步:

 

第1步:计算触摸位置和初始布局中最有意向的键之间的偏移向量,也就是从键的边界到触摸位置的最小路径。

 

第2步:根据偏移向量将最有意向的按键平移到一个新的位置,之后触摸位置被新的按键边界所包含。

 

第3步:将其他按键相对于最意图的按键进行平移和缩放,并确保所有的按键都在键盘的边界内。

 

第4步:如果存在过小的按键(宽度或高度小于原始尺寸的一半),保留初始布局并读出与触摸位置相对应的按键。否则,采用新的布局,并读出最想要的键。

 

 

基于此,搜狗输入法推出了智能按键预测功能。

 

用户在点击字母按键进行输入的过程中,每次输入后客户端将用户当前按下位置坐标以及已输入字母、当前键盘布局传给输入法内核,内核调用「无障碍26键中文输入」模型计算当前状态下用户最大概率上屏的字母,并返回给平台。

 

平台按照返回的字母,计算当前键盘的布局偏移调整后,对键盘进行重新布局。这样通过布局调整,可以减少用户输入过程中为了触达将要输入的下个字母的手势移动距离,从而提高输入效率。

 

 

比如,在填写地址「天津市」时,把「tianjinshi」打成了「tiamjinshi」,此时需要视障用户将「m」修改为「n」后才能输出正确的结果,而搜狗输入法的「智能预测」功能,即使在输入拼音错误时,也能够智能预测用户想要输入的内容,从而输出正确的结果。

 

除此以外,针对用户对于无障碍键盘的不同使用习惯,搜狗输入法独创了上屏方式和候选手势的自定义功能,支持视障用户根据自己的使用习惯和个人偏好自定义设定,不用再费力花时间适应新规则,降低了用户的学习成本,提升用户输入效率。

 

 

在输入法的联合研发中,团队一直在持续改进视障用户体验,为了更好的了解用户真实需求,更精准的解决用户痛点,输入法邀请到很多视障人士参加到整个视障输入研发过程中,而李梦琪正是其中的一员。

 

也正是有了真实用户体验和反馈,搜狗输入法诞生了两个对视障用户非常友好的功能:

 

  1. 当检测到手机开启了屏幕阅读器时,就了解到了用户是一位视障人士,于是输入法便会自动切换至无障碍模式,无需手动开启。
 
  1. 在无障碍模式下,输入法提供了独有的双指滑动选词手势。
 


第二个设计对于视障人士来说非常巧妙。通常,在无障碍模式下,单指滑动只能用来选择想「听」的部分,屏幕滑动则需要三个手指。
 
而选词的时候就只能通过听方向键、选方向键、听候选词、选候选词的形式,非常麻烦。
 
于是,有的输入法便将上半个屏幕都用作操作界面。虽然这样提升了输入效率,但是不管是发送消息,还是查看之前的纪录,都不得不先关闭输入法,然后输入的时候再打开。
 
而搜狗输入法的界面几乎沿用了普通版本的样式,通过双指在键盘任意区域滑动就可以选词,不仅很方便,而且学习成本很低。
 
 
先天不足已经让李梦琪承受太多别人异样的眼光。
 
现在,有了搜狗输入法的助力,李梦琪觉得我们跟明眼人之间的距离更近了。
 
 
不仅可以跟大家用「一样的手机」,还可以用「同样的软件」,而这也是无数个和李梦琪一样的人融入社会的重要窗口。
 
同一片星空下,我们没有什么不同。

你不是一个人

   
和李梦琪有着相似经历的还有方瑜,一位手足徐动型脑瘫患者。
 
34岁的她既不能站立,也不能说话,甚至无法控制自己的双手。
 
而即便是这样,方瑜依然坚持着用右脚操作鼠标,通过一个特殊的输入法,一个字、一个字地写下了超过10万字的诗歌、小说、散文。
 
 
时间一晃就是14年,突然有一天,她发现软件由于注册序列号过期而无法正常使用。自己的创作和沟通被迫中断,心急如焚的方瑜只好决定上网求助。
 
很快,求助微博的转发量就超过了1.4万,热心的网友一边寻找开发者,一边试图破解这个软件。
 
搜狗输入法团队关注到方瑜的求助后,迅速联系到软件开发者家人购买了产品专利。
 
之后,只用了8天时间,团队便基于源代码开发出了第一版输入法。
 
 
与采用逐笔输入或者手写输入的传统鼠标输入不同,点点输入通过部首/拼音串检索方案,可以在1-2步内快速定位候选。
 
点点输入模式面板上集合复制、粘贴、删除、翻页等功能按键,方便非键盘用户同应用程序便捷交互。
 
此外,基于搜狗输入法的高质量词库,点点输入候选更准确,输入效率更高。
 
 
随着不断地更新迭代,点点输入在2020年迎来了一个全新模式的加入——拼音。
 
 
现在,点点输入支持部首、拼音两种模式:用户既可通过「部首-选字」2步快速选择候选字,也可通过「声母-韵母-选字」快速输入。
 
目前,点点输入用户日均活跃度已达到10W。
 
然而,对于那些渐冻症患者来说,就连用鼠标打字都是个遥不可及的梦想。
 
 
不过,现在眼球追踪技术已经相当成熟,也就是说,你只需用眼睛就能操作电脑了。
 
应用了该技术的眼控仪配备了多组近红外光源,发出的红外光经过眼睛反射后被眼控仪捕获,然后经过精密的算法得到注视点坐标位置再发送给电脑,从而让电脑知道眼睛在看哪里。
 
在使用的时候,眼睛稍微盯一下目标,就能打开「操作菜单」,再盯一下某个操作,就能在目标位置做一下那个操作。
 
 
比方说,如果要打开屏幕上的一个文件夹,首先盯着文件夹看,然后再盯一下「左键双击」,这样做就可以打开那个文件夹了。
 
又比方说要在文本框里打字,首先盯着文本框,然后盯一下「键盘」,此时屏幕上就会自动打开眼控键盘。键盘上是所有按键都能用眼控来操作,只需盯一下,就能按下按键。
 
 
眼控键盘的设计理念本着提升用户体验的根本出发:
 
  1. 专为眼控操作而设计,注视选择按钮时具有吸附功能,让用户选择起来更容易。
  2. 在有限的空间里合理布局,结合眼控操作的优势,将键盘按钮的利用率做到最大化。通过添加键盘子页,例如:数字、符号,将一些不太常用的符号放入子页,从而节省键盘主页的空间。
  3. 盯按钮的时间可以灵活设置,用户初学时可以设置较长的时间,方便用户熟悉按钮位置和功能,等到熟悉之后,就可以缩短时间,从而提高输入效率。
  4. 优化候选词,让用户只需要输入拼音的首字母就能轻松打字,并且键盘会学习用户的习惯,越用越好用。
 
 
上面所提到的视障输入、点点输入以及眼动输入都是为特殊群体量身定制的输入模式。
 
此外,搜狗输入法还专为老年人定制了一种「长辈输入」模式。
 
比起年轻人喜欢功能多和花样多的产品设计,老年人对于输入法产品的最大需求是简单易用。
 
特别是老年人普遍视力欠佳,更需要设计简洁、明了和突出的界面操作。
 
基于对老年人输入习惯的调研,2021年2月,搜狗输入法推出了「长辈模式」。
 
在手写输入方面,将书写笔迹加粗加重,方便老年人看清看准,实现更准确书写,同时默认自带「随写」模式,方便老年人快速连写或叠写。
 
 
在语音输入方面,加入20多种方言和语种的语音输入能力,方便普通话不太好的老年人与晚辈顺畅沟通。
 
通过自己在输入法上的深耕,搜狗输入法让更多特殊群体能够更多地与这个世界互动,让他们真正能够离自己的梦想更近。

为啥搞技术公益?


的确,时代不应抛弃任何一个群体。
 
你知道吗?在中国,就有8500多万特殊群体,相当于德国全体国民的数量。
 
 
其中有超过1700万视障人士,超过600万的脑瘫患者,且每年新增患儿达4.6万,而持残疾证就业人数比例只有约9%。
 
一方面,无形的障碍让大部分有障人士被隔离、遗忘在自己的世界里,几乎成为我们日常生活中的「隐形人」。
 
另一方面,老年群体也是不可忽视的对象。
 
据第七次全国人口普查数据显示,我国老年人口规模庞大,60岁及以上人口有2.6亿人,其中,65岁及以上人口达1.9亿人。
 

 全国人口年龄构成|图源:中国政府网
 
不论是特殊群体,还是老年群体,都需要得到社会的关注。
 
从技术角度来讲,安卓系统各家厂商都会对系统进行二次开发。不同厂商在自定义系统功能时缺失了对无障碍输入的思考和支持力度,导致这些高度定制的系统很难实现适配。
 
对此,国家出台了相应的政策,如《“十四五”残疾人保障和发展规划》,《关于切实解决老年人运用智能技术困难的实施方案》等等,是为了鼓励科技企业提供更多智能化的产品和服务。
 
作为一家互联网头部企业,腾讯自然不能缺位。
 
这不,1月13日,在中国残疾人联合会下属中国残疾人辅助器具中心的指导下,腾讯旗下搜狗输入法联合深圳市信息无障碍研究会和全国残疾人用品开发供应总站共同发起「众声无障碍输入公益计划」。
 
 
这次公益计划以「人人可输入,众声皆可见」为口号,主要关注有障群体(视力障碍、肢体障碍)及老年人等特殊群体,为其在各类需要输入的设备上提供无障碍输入解决方案,搭建基于文字与世界沟通的桥梁。
 
腾讯秉持「科技向善」理念,在公益事业方面一直身体力行:
 
2007年腾讯成立了首家由互联网企业发起的公益基金会-腾讯公益慈善基金会;
2015年发起发起一年一度全民公益活动-99公益日;
2020年10月,腾讯推出技术公益志愿者平台...
 
举个栗子,数字故宫小程序2.0版本进行了无障碍功能升级,让视障人群、老年人既能在指尖云游故宫。
 
 
操作方面,小程序新增视障辅助读屏功能,高效指引视障用户找到要点信息。
 
导览方面,结合故宫博物院现有无障碍设施,小程序内置无障碍路线及设施指引服务,实现从内容到功能全方位无障碍体验。
 
 
可以看出,公益已经不再是简单的「捐钱救急」,而是用技术去改善,或者说改变特殊群体的生活。
 
李梦琪是其中的一位,方瑜也是,未来还有很多很多有障人士,以及老年人都是其一。
 
而腾讯旗下搜狗输入法只是一个开始。
 
对于普通人来说寻常无比,却能够给特殊群体的生活和生命「输入」能力和能量,让他们有机会作为自己理解的「人」而活着。
 
同时,让家里长辈能够跟上我们的步伐。
 
技术本无温度,是腾讯用科技给特殊人群带来温暖。
 
愿科技的发展,能让每一个人都感受到被重视的「温度」。
 

登录查看更多
0

相关内容

搜狗输入法是搜狗公司开发的输入法软件,按照输入方法分为两款,分别是拼音输入法和五笔输入法;按照平台分为Windows版、安卓版、iOS版和Mac版。搜狗输入法是第一款和搜索技术结合在一起的输入法软件,极大地提高了中文输入的速度和准确率,给中文输入带来了革命性的变化。
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
37+阅读 · 2022年3月9日
专知会员服务
47+阅读 · 2021年3月5日
【AAAI2021】面向交通需求预测的耦合层图卷积
专知会员服务
45+阅读 · 2021年1月31日
专知会员服务
46+阅读 · 2020年8月23日
社区分享 | AI 作曲
TensorFlow
2+阅读 · 2021年12月30日
鹅厂最新数字人,体温36.5℃
量子位
0+阅读 · 2021年12月3日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年7月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
30+阅读 · 2021年7月7日
Arxiv
14+阅读 · 2020年1月27日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年7月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员