00后之光!4名高中生开发的这款App,让视障人群重获出行自由

2021 年 12 月 13 日 学术头条

撰文:奇仔
编审:李雪薇
排版:李雪薇


你体验过盲人的世界嘛?是一片漆黑还是充满了马赛克?

我们每天所见都习以为常:白天灰色的混凝土森林,夜里五彩斑斓的霓虹,如果我们失去了这些习以为常,生活又会发生什么改变?

腾讯天美团队曾经就开发过这样一款还原盲人眼中世界的游戏——《见》,除了必要的操作轮盘和象征触感的白色轮廓,《见》几乎全部都是由黑色组成,玩家需要扮演一名盲人,用盲杖和摸索的方式感受物体轮廓,寻找出行的道路,体验盲人一天的生活。

尽管开发团队还是适当调整了通关难度,但在视野近乎为盲人世界的游戏中,依旧无法容易地完成游戏任务。

然而事实上,盲人的生活要比游戏中的体验更加艰难。我们很难做到对他们的不易完全感同身受,但是尽可能地为他们提供帮助势在必行。

近日,为了帮助视觉障碍人群更好地生活,一群高中生就打造了这样一款针对视障人群的 iPhone 应用程序—Athiea。

图 | 团队成员(来源:atheia.org)


Athiea 可以观察用户的环境,提高用户的空间和安全意识。它的面部识别功能可以识别家人和朋友,内置文本阅读器,可以扫描单词并大声朗读。而扫描功能可识别、计数和精确定位用户视野中的物体。

它还可以跟踪自己的观察结果。用户可以询问所需物品的位置,Atheia 会用其所处位置、上次被识别的时间以及附近的物体来回应用户的提问。

此外,它的搜索功能还可以通过给与用户触觉反馈和音频指令引导用户找到环境中的物体。


图 | 操作过程(来源:IEEE Spectrum)

启发:计算机视

“我们注意到,计算机视觉领域已经达到可以非常准确地检测物体,并像人类一样描述场景的地步,”Choi 说。“受到该技术的启发,我们改善了技术的可及性,使得其更好地应用到为视障人群提供视觉辅助这一现实场景中。”

Atheia 可以回答许多真实世界中的问题,例如物体的形状和大小或一天中的时间。

当感到自己处于危险的环境中时,用户可以通过语音命令或按下按钮来激活应用程序的哨兵模式。Atheia 将开始录制视频,向紧急联系人发送实时更新,并向联系人提供用户的位置。

这群年轻人于 2019 年开始着手该项目的研究。在获得工作原型之前,他们尝试了许多不同的产品形式。

该应用程序现在正由马里兰州盲人工业与服务公司的志愿者进行测试,这是一家位于巴尔的摩的非营利组织,为该州的视障人士提供培训和职业资源。

为这群优秀的年轻人进行指导工作的是 IEEE 成员 Pamela Ahn,她是学校电子研究实验室的主任,也是 IEEE Richmond (Va.) Section Women in Engineering affinity group 的创始人兼总裁。

“这四个孩子想为世界带来改变,”Ahn 说。“他们想帮助别人,这是从一个非常无私的立场出发的。他们很聪明、很勤奋、很专注。”

技术的构建

这款 APP 以信息处理渠道、搜索和避障算法,旨在达到低延迟和高精度执行用户请求的目的。 该应用程序使用最新的计算机视觉模型和机器学习技术来提高其对对象进行分类的准确性。

它还包括一个领先的对象检测模型,一个用于视觉和语言研究的多模态框架,一个视觉问答程序和一个文本识别算法。

数据在移动设备上本地处理,而不是通过云服务进行处理,所以无论是否有蜂窝信号,都可以满足用户请求。

“通过测试,我们意识到无论用户身在何处,服务才是最重要的,”Ravella 说。"将我们庞大而沉重的计算机视觉模型转换为可以在 iPhone 上运行是一个巨大的挑战。但是,多亏了iPhone的神经引擎,让这一切有了实现的可能。"

Ravella 说,该应用程序目前仅在 iOS 上可用,因为 iPhone 是测试该设备的人中最受欢迎的,并且该软件具有更多的辅助功能。他说,它还允许同学们将硬件开发转移到苹果身上,更多地关注软件,因为苹果拥有出色的 iPhone 相机、深度技术、处理能力和电池寿命。

市场上的盲人辅助设备可能高达 6000 美元,但 Atheia 用户每月只需花费约10美元的订阅费即可。

重视用户反馈

同学们第一次尝试使用辅助设备时戴着带摄像头的手套,但这次实验并没有成功,因为它是在没有潜在用户输入的情况下设计的。

“我们陷入了一个许多人都会遇到的陷阱,”Choi 说,“我们首先创建了一个解决方案,然后找到了匹配的确切问题,但这些问题并不是你用这些设备应该去解决的问题”。由于 疫情的限制,他们无法进行面对面的采访,于是孩子们在 Facebook 上发帖寻找有视力障碍的志愿者,向他们咨询视障人群的首要需求。

图 | Nafi(左)和Choi(右)正在将显示 Atheia 应用程序的 3D 打印原型手镯的部件粘合在一起。这是该团队测试但被否定的六个原型之一(来源:IEEE Spectrum)


“他们愿意给我们反馈,还激励我们不断创新,对我们的研究十分期待,”Ravella 说。

根据这些反馈,团队放弃了手套,开始开发腕戴式和头戴式设备,并最终开发移动应用程序。他们确保获得有关他们六个原型中每个原型的输入。

为了了解要使用哪些技术,Ahn 帮助学生从包括 IEEE Spectrum 在内的各种 IEEE出 版物中获取研究文章。

在花费数百美元购买零件并支付软件费用后,孩子们找到了合作伙伴来帮助支付开发成本。他们的合作伙伴包括 Amazon Web Services,Maximus 基金会,麻省理工学院的辅助技术部门和 Ultralytics。

年轻的研发者们对于未来的畅想

提到未来的职业畅想,四位同学不约而同地表示,他们都打算从事 STEM 职业。

Ravella 说,他想研究机器学习在网络安全中的应用。在 MITRE 和哥伦比亚大学实习期间,他了解到黑客闯入物联网设备过于容易,让人十分担忧。

Nafi 想参与计算机视觉研究,其中融合了"物理学的混合体"。他曾在达特茅斯学院从事数字病理学研究。

Choi 依旧想从事计算机视觉方面的职业。他非常喜欢 Atheia 项目,以及他在乔治梅森大学(George Mason University)实习期间使用计算机视觉开发的另一个项目。

Khondaker 表示他想在人工智能领域继续深耕。他说,他喜欢开发 Atheia 以客户为中心的方面,因为“你正在结识你正在为之设计项目的人”。

目前这款 APP 已经拥有了自己的主页,里面详尽地介绍了该项目的推进过程及应用技术。


只有当你真正地陷入黑暗,感觉自己与社会脱轨,才会理解盲人朋友们的孤独感。

目前市面上拥有视障功能的 APP 依旧存在很多问题,城市盲道规划也不被重视。而这款 APP 的出现,无疑为视障人群带来了福音。即使它看起来还略显稚嫩,但它依然是一款充满了社会责任感的好产品。

相信未来,这四位少年学有所成后,会将这款视障人群“好帮手”带向需要他们的人手里,帮助千千万万的视觉障碍人士更好地生活。

参考链接:
https://spectrum.ieee.org/iphone-app-for-visually-impaired
https://www.atheia.org/

点这里关注我👇记得标星~



热门视频推荐

更多精彩视频,尽在学术头条视频号,欢迎关注~


# 往期推荐 #

Nature:越运动越聪明!躺平小鼠这样做,长出更多脑细胞



登录查看更多
0

相关内容

电气与电子工程师协会(Institute of Electrical and Electronics Engineers),简称IEEE,总部位于美国纽约,是一个国际性的电子技术与信息科学工程师的协会,也是全球最大的非营利性专业技术学会。
复旦发布首篇《多模态知识图谱构建与应用》综述论文
专知会员服务
134+阅读 · 2022年2月14日
【2021新书】面向对象的Python编程,418页pdf
专知会员服务
70+阅读 · 2021年12月15日
专知会员服务
54+阅读 · 2021年7月21日
【2020新书】现代C++初学者指南,301页pdf
专知会员服务
159+阅读 · 2020年7月24日
Python地理数据处理,362页pdf,Geoprocessing with Python
专知会员服务
113+阅读 · 2020年5月24日
【强化学习】深度强化学习初学者指南
专知会员服务
179+阅读 · 2019年12月14日
上海团长图鉴
创业邦杂志
0+阅读 · 2022年4月14日
你最讨厌哪个 App 功能?
ZEALER订阅号
1+阅读 · 2021年12月4日
这些年,微信产品经理做过的无奈“妥协”
人人都是产品经理
0+阅读 · 2021年11月13日
iOS/iPadOS 15.2 Beta 2更新详情:遗产联系人上线
威锋网
0+阅读 · 2021年11月11日
详解 Android 12L|更好地适配大屏幕设备
谷歌开发者
0+阅读 · 2021年11月10日
微软正式推送Windows 11
微软研究院AI头条
0+阅读 · 2021年10月5日
这10款APP,让残障人士出行无忧!
智能交通技术
15+阅读 · 2019年4月24日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Risk-Averse Receding Horizon Motion Planning
Arxiv
1+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月16日
Generative Adversarial Networks: A Survey and Taxonomy
VIP会员
相关VIP内容
相关资讯
上海团长图鉴
创业邦杂志
0+阅读 · 2022年4月14日
你最讨厌哪个 App 功能?
ZEALER订阅号
1+阅读 · 2021年12月4日
这些年,微信产品经理做过的无奈“妥协”
人人都是产品经理
0+阅读 · 2021年11月13日
iOS/iPadOS 15.2 Beta 2更新详情:遗产联系人上线
威锋网
0+阅读 · 2021年11月11日
详解 Android 12L|更好地适配大屏幕设备
谷歌开发者
0+阅读 · 2021年11月10日
微软正式推送Windows 11
微软研究院AI头条
0+阅读 · 2021年10月5日
这10款APP,让残障人士出行无忧!
智能交通技术
15+阅读 · 2019年4月24日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员