成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
随时待命的听歌识曲,这项 Pixel 独占功能现在你也可以体验
2022 年 7 月 6 日
少数派
听歌识曲功能大家肯定不陌生,它让我们知道了不少金曲的演唱者和歌曲名。不过时间不等人,有时候当我们听到心动旋律、慌忙掏出手机、打开 App、按下按钮之后,歌曲已经进入尾声。难道我们就只能惋惜着错过可能的「本命歌曲」吗?
此时一位 Pixel 用户表示:
错过金曲是不可能的,因为我们有闻曲知音(Now Playing)。
▍
什么是「闻曲知音」?
闻曲知音
是 Pixel 手机搭载的一项听歌识曲功能,它能够让 Pixel 手机自动识别周围正在播放的歌曲而无需用户手动触发,并且更值得我们关注的是,这整个过程都是在本地离线完成,这是「闻曲知音」与一般听歌识曲类 App 最本质的两点区别。
Google Pixel 所搭载的闻曲知音功能
不过因为这项功能涉及到硬、软件配合,所以在此之前一直都是 Pixel 独占。好在最近,借助
Ambient Music Mod
这个开源项目(为了行文方便以下简称 AMM),我们也能把「闻曲知音」这样独特的功能带到其他 Android 设备上来。
▍
运行环境
毕竟是属于一个移植项目,使用时 App 可能需要调用或配置某些系统接口,所以 AMM 需要一些特殊的运行环境:
对于搭载 Android 12 及更高版本设备,可以通过
Shizuku
为应用提供运行环境;
对于搭载 Android 9 及更高版本设备,需要授予 root 权限;
必要的畅通网络;
虽然开发者并没有特别要求,但建议使用 ARM v7 及更新架构的高通 SoC 设备。
本文以配置了 Shizuku(ADB 激活)的三星设备为例,系统版本为 One UI 4.1(Android 12)。
▍
安装过程莫要心急
AMM 并不是一个开箱即用的 App,其初始化过程相对繁琐一些。首先我们要知道,AMM 本身分为两个应用组件,其中 AMM 应用主体是为用户提供一个操作和配置的入口,另一个则是真正实现听歌识曲功能的「闻曲知音」应用。因此在第一次启动 AMM 并授权 Shizuku 权限后,应用就会提示下载安装「闻曲知音」和配套的离线曲库。
Shizuku 授权
这里的曲库并非是一系列完整歌曲,而是已经被 Google 处理过的歌曲特征指纹。为了平衡存储数量和识别效率,Google 将曲库分为了两类,其一是所有用户通用的核心区库,大约有 1.6 万首曲目,其二是为不同国家和地区提供了更符合当地场景的曲库(毕竟美洲大陆一般也不会播放东南亚歌曲吧),例如美国曲库大约就包含了 69k 首曲目的特征指纹。在设置过程中,你可以根据自己的听歌喜好自由选择地区,或者干脆选择自动。
接下来应用会申请一系列必要的权限,其中获取手机状态权限是为了监听用户是否在拨打电话或是设备自身正在播放声音(包括提醒声音和播放音频),关闭电池优化则是保证 App 即使在后台也可以自动识别歌曲。
另外,因为曲库特征数据来自于 Google,所以记得配置好网络环境,最后等待曲库下载完成,就可以正式开始「邂逅金曲之旅」了。
▍
使用、设置与故障排查
虽然 AMM 是一个偏「极客」向的开源项目,但它仍然有着较好的使用体验。值得称赞的是,它的 UI 设计已经尽可能还原 Pixel 原生「闻曲知音」功能,应用适配了 Material You 设计,并且全量支持动态取色和动态主题图标,能够跟随系统调色板变化 App 和图标的配色风格,所以在 Android 12 中运行会获得最好的视觉体验。另外 AMM 还提供了一个非常好看的桌面小组件。
左:
Pixel 原生功能 | 右:
Ambient Music Mod
01
邂逅金曲
主界面「Now Playing」则是我们使用和设置的功能入口,同时也集成了 Pixel 官方刚刚更新的手动触发识别按钮。
细心的你一定会发现,AMM 相比 Pixel 原生功能增加了一个「Updates」,在这里我们不仅可以查看已安装组件版本,还能切换、浏览和搜索离线曲库内容,甚至还根据歌手和专辑进行了分类。关于曲库操作的这些功能,可是连 Pixel 官方都没有提供(与此同时,Pixel 用户正在为切换曲库地区而愁容满面)。
在以上环境都配置完成的情况下,AMM 就已经可以进行听歌识曲功能:
后台自动识别:识别成功的结果会显示在主界面「Now Playing History」中,并且能够看到具体时间,方便我们确定具体是哪一首歌打动了我们;同时 AMM 也提供了将当前识别结果显示在锁屏界面的开关,用户还可以自定义样式、位置、点击操作等,不过该功能需要允许无障碍权限。
手动触发识别:点击按钮后 AMM 会弹出录制提示,等待进度环闭合后就会弹出识别结果;识别成功的话,用户可以通过询问 Google Assistant 搜索详细信息,或者调用手机内已安装的流媒体平台播放;无论是否识别成功,用户都可以点击「Playback」按钮回放刚才录制的音频,并能够保存为 PCM 格式文件。你也可以通过 AMM 提供的桌面小组件手动触发识别。
02
一些你可能会用到的优化选项
AMM 已经尽可能还原了 Pixel 原生的「闻曲知音」功能,不过这两者在原理上存在微小差异,暂时还不能做到像 Pixel 原生功能那样「傻瓜且智能」。关于 AMM 的实现原理我们放到文末来说,这里先来看有哪些选项可以进行优化。
为了平衡续航和识别功能,AMM 并不是一直在录制和识别周围的背景音频,而是每间隔一段时间就启动一次录制识别,用户可以在设置中通过「Period」和「Buffer」选项来调整识别间隔以及缓冲时长。过短的时间间隔能够让识别更加灵敏,但也会带来更高的能耗,但时间过长也有可能错过广告插曲等背景音乐。如果你不希望 AMM 持续在后台监听音频,但又想尽快启动识别,可以使用「Trigger when Screen On」选项,这样只需要你在听到音频当下开启手机屏幕,AMM 将会被立即触发识别。
相对较新款的手机中,SoC 一般都会使用「大小核」设计,即使用性能更高的大核心去处理复杂任务,使用性能更低的小核心去处理简单任务。用户可以限制 AMM 仅使用小核心进行音频识别,这样能够降低 AMM 的耗电量,尤其是你设置了更短的时间间隔。我们可以在高级设置中找到这一开关,当然这也不一定适用于所有手机,我们可以观察开启前后的耗电量差异来判断该选项是否有效。
除此之外,AMM 还提供了夜间模式、备份和恢复、电源和流量使用限制等设置,大家可以根据需求自行调整。
如果 AMM 能够在手机上正常使用,我们建议其他设置保持默认即可。不过 AMM 虽然被设计为在尽可能多的 Android 设备上运行,但由于不同设备之间的硬件选型、系统魔改等存在差异,所以你的手机在默认设置下不一定能够正常使用 AMM。
03
如果不能正常使用…
当你测试很多遍之后仍然无法获得识别结果,就需要排查故障原因了:
回放音频异常
:借助 AMM 提供的回放功能,我们可以确认「闻曲知音」能否正常录制音频。正常情况下,回放的音频至少是能够听出个大概;如果声音太小,那么就需要在高级设置中拉升「Gain」即音频增益;如果你听到的是一堆杂音,那么需要在高级设置中启用「Alternative Encoding」,根据开发者的描述,该选项会导致音频声音变小,所以还需要配合拉升增益。
On Demand 不支持
:这一功能可以理解为「按需在线识别」,即当「闻曲知音」无法在离线曲库中匹配到任何歌曲时,允许音频上传至 Google 进行在线识别。显而易见,这项功能需要某些特殊的 Google 组件,然而遗憾的是,绝大多数国行手机都没有内置完整的 Google 套件,其中就包括这一功能所需的「Music Recognition Service」,并且该组件要求系统内建才能够正常运行。解决方法之一就是通过 Magisk 刷入对应模组,或是干脆给手机刷入一个国际版 ROM,具体操作方法可以查看应用内提示或
开发者的说明
;另外,该功能仅支持 ARM v8 架构 SoC。
无法成功录制
:我们在第一次使用 AMM 时一切正常,但过一段时间发现 AMM 不会在后台进行识别了,此时我们第一反应是通过手动识别进行测试;如果手动识别时应用多次提示录制失败,或者是卡在录制启动的 Loading 画面,我们就要去检查 App 的应用权限和后台电池优化选项是否正常,别忘了还有一个「闻曲知音」,因为它才是真正执行音频识别任务的那个主角。
▍
殊途同归的实现方式
如果你读完以上部分,那么 AMM 应该可以正常使用了,如果出现了我们之前没有发现的问题,也可以前往项目 GitHub 主页提交 issues。如果你想了解关于「闻曲知音」和 AMM 的大致实现方式,可以继续往下翻。
正如开篇所说,Now Playing 其实是 Pixel 独占功能,因为 Google 基于 Pixel 手机特定的 DSP 硬件(音频信号处理器)开发出了一种音乐识别模型。而 DSP 原本可以用来实现「OK Google」这种低功耗、无接触的语音唤醒功能,即「热词监测」。
Google 对该功能进行了功能扩展,音乐识别模型就是通过热词方式来监听背景声音,如果判断背景声音是音乐,并且同时满足了多种条件(例如没有在拨打电话、设备自身没有在播放音乐等),则会录制 8s 音频转交给「Android System Intelligence」组件进行音乐识别,Now Playing 便是这个组件当中的一项功能。至于离线识别,其原理与在线识别相似,只是将筛选和压缩后的音频指纹库存储在本地。
Pixel 上的音频侦测和识别流程
由于识别模型是针对特定 DSP 硬件开发,它难以适配到其他手机上。根据 AMM 开发者的描述,这种音乐识别模型只是「判断音乐」而不是「检测音乐」,所以他另辟蹊径,绕过了 DSP 模型判断,直接让 AMM 定时触发并将结果注入到监测过程当中,再通过热词权限进行录音、递交至修改版的「Android System Intelligence」(即之后安装的「闻曲知音」应用),然后执行与 Pixel 相同的识别过程。这种方式存在一定劣势,那就是无法精确感知音乐的开始和结束,所以才有了刚才提到的识别间隔、缓冲时长以及亮屏触发等设置选项。
AMM 使用定时触发的工作流程
你可能会发现,在使用 AMM 录音时 Android 系统似乎并没有在状态栏弹出隐私指示标识,这正是由于使用了热词权限的原因。得益于 Android 12 更新,「热词监测」变成了一项系统权限,我们可以借助 Shizuku 这种「桥梁」赋予给应用,这也是为什么在 Android 12 上需要 Shizuku,而低版本则需要 Root 权限了。
借助 Shizuku 使用热词权限进行音频监测和识别的工作流程
虽然 AMM 只能通过定时触发这样的方式达成「被动音乐识别」的效果,在能效上肯定不及 Pixel 原生方案,并且现在主流设备也都使用了更先进的芯片(855 和 8 Gen1 除外)和更大的电池,能耗代价并没有那么显著,几天测试下来,AMM 和「闻曲知音」的耗电量远不及我们聊微信、刷抖音,甚至低于「连接至 Windows」这种常驻后台、频繁进行连接的服务,所以你可以放心地让它常驻后台。
以上就是关于 Ambient Music Mod 和「闻曲知音」相关介绍,如果你想要获得与 Pixel 近乎一致的「闻曲知音」体验,可以前往 Ambient Music Mod 的
GitHub 主页
查看和下载最新版。
Ambient Music Mod:
https://github.com/KieronQuinn/AmbientMusicMod
原文链接:
https://sspai.com/post/74109?utm_source=wechat&utm_medium=social
作者:Noah_Choi & 路中南
责编:克莱德
/
更多热门文章
/
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
识别
关注
0
【兵棋推演系统】《联合战区级模拟--全球行动(JTLS-GO)执行概况》美国国防部联合参谋部71页文件
专知会员服务
150+阅读 · 2022年8月22日
超视距空战的交战决策支持
专知会员服务
85+阅读 · 2022年6月23日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
13+阅读 · 2022年6月4日
斯坦福大学NLU公开课CS224U来了,视频代码PPT都有
专知会员服务
40+阅读 · 2022年4月11日
普渡大学2022年博士论文《构建智能物联网边缘:使用深度强化学习平衡安全性和功能性》
专知会员服务
46+阅读 · 2022年4月9日
深度学习模型图难画论文难中?这个ML Visual利器帮你快速画出漂亮的模型图,160个模板
专知会员服务
866+阅读 · 2022年3月1日
【CVPR2021】动态区域注意卷积
专知会员服务
20+阅读 · 2021年4月2日
【CVPR2021】动态度量学习
专知会员服务
39+阅读 · 2021年3月30日
霍普金斯《操作系统原理》2020课程,不可错过!
专知会员服务
36+阅读 · 2020年10月27日
30篇「CVPR2020」高赞论文抢先看!看计算机视觉2020在研究什么?
专知会员服务
49+阅读 · 2020年2月28日
第一时间体验最新功能,Windows 11 必备的这个 app 你装了吗?
少数派
0+阅读 · 2022年7月21日
iOS 16 新版本来了,这 8 个新功能让你的 iPhone 更好用
少数派
0+阅读 · 2022年7月8日
不刷机、不升级,用它就能尝鲜 Android 新系统
少数派
0+阅读 · 2022年6月5日
iOS 15.4 正式版更新!iPhone 终于可以戴口罩解锁,通用控制也来了
少数派
0+阅读 · 2022年3月15日
微信悄悄上线「图片搜索」功能,但我并不推荐你打开它
少数派
0+阅读 · 2022年2月21日
一年一度的 Android 大更新来了,你不能错过的 10 + 个新功能
少数派
0+阅读 · 2022年2月14日
Android 12 “Bug 连连”!除了一加、三星,谷歌自家手机都被“坑”了
CSDN
0+阅读 · 2022年1月14日
Pixel 6 Pro 体验:没人比它更懂计算摄影?
ZEALER订阅号
0+阅读 · 2021年12月9日
Windows 可以装 Android 应用了,体验后我想聊聊好不好用、怎么用
少数派
0+阅读 · 2021年10月22日
谁在偷看你的 iPhone 相册?只需 3 个操作就让流氓 App 无处藏身
少数派
0+阅读 · 2021年10月10日
支持PDE存储的安全增强型Android系统
国家自然科学基金
0+阅读 · 2015年12月31日
基于语谱图信息的汉语词汇整体识别和语音增强方法研究
国家自然科学基金
0+阅读 · 2014年12月31日
数据并行与线程并行合一的可伸缩处理器体系结构
国家自然科学基金
2+阅读 · 2013年12月31日
面向移动用户的Web数据集成技术研究
国家自然科学基金
1+阅读 · 2012年12月31日
基于混合载波多模通信系统的制式切换驱动机理研究
国家自然科学基金
0+阅读 · 2012年12月31日
基于API的静态插桩技术与Android平台恶意代码检测
国家自然科学基金
0+阅读 · 2012年12月31日
便携式人机交互系统中关键问题研究
国家自然科学基金
2+阅读 · 2012年12月31日
先进的集装箱港口物流系统仿真与优化方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
眼球生理神经回路仿生视觉芯片技术与验证系统
国家自然科学基金
0+阅读 · 2011年12月31日
分数阶微积分应用于医学核磁共振图像处理的理论与技术
国家自然科学基金
0+阅读 · 2009年12月31日
Evaluating individualized treatment effect predictions: a new perspective on discrimination and calibration assessment
Arxiv
0+阅读 · 2022年9月13日
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
Arxiv
0+阅读 · 2022年9月13日
A new Reinforcement Learning framework to discover natural flavor molecules
Arxiv
0+阅读 · 2022年9月13日
Structured $(\min,+)$-Convolution And Its Applications For The Shortest Vector, Closest Vector, and Separable Nonlinear Knapsack Problems
Arxiv
0+阅读 · 2022年9月11日
UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network
Arxiv
0+阅读 · 2022年9月11日
Phantom Sponges: Exploiting Non-Maximum Suppression to Attack Deep Object Detectors
Arxiv
0+阅读 · 2022年9月10日
Active Learning of Classifiers with Label and Seed Queries
Arxiv
0+阅读 · 2022年9月8日
Do Feature Attribution Methods Correctly Attribute Features?
Arxiv
15+阅读 · 2021年12月15日
Semi-supervised Medical Image Segmentation through Dual-task Consistency
Arxiv
14+阅读 · 2020年9月9日
已删除
Arxiv
32+阅读 · 2020年3月23日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
识别
android
自动识别
OD
系统
Google
相关VIP内容
【兵棋推演系统】《联合战区级模拟--全球行动(JTLS-GO)执行概况》美国国防部联合参谋部71页文件
专知会员服务
150+阅读 · 2022年8月22日
超视距空战的交战决策支持
专知会员服务
85+阅读 · 2022年6月23日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
13+阅读 · 2022年6月4日
斯坦福大学NLU公开课CS224U来了,视频代码PPT都有
专知会员服务
40+阅读 · 2022年4月11日
普渡大学2022年博士论文《构建智能物联网边缘:使用深度强化学习平衡安全性和功能性》
专知会员服务
46+阅读 · 2022年4月9日
深度学习模型图难画论文难中?这个ML Visual利器帮你快速画出漂亮的模型图,160个模板
专知会员服务
866+阅读 · 2022年3月1日
【CVPR2021】动态区域注意卷积
专知会员服务
20+阅读 · 2021年4月2日
【CVPR2021】动态度量学习
专知会员服务
39+阅读 · 2021年3月30日
霍普金斯《操作系统原理》2020课程,不可错过!
专知会员服务
36+阅读 · 2020年10月27日
30篇「CVPR2020」高赞论文抢先看!看计算机视觉2020在研究什么?
专知会员服务
49+阅读 · 2020年2月28日
热门VIP内容
开通专知VIP会员 享更多权益服务
基于对抗博弈下的导弹部队机动路径规划研究
组织战略匹配管理中的语义建模方法研究综述
战争无人机蜂群:自主战争的未来
图检索增强生成研究进展
相关资讯
第一时间体验最新功能,Windows 11 必备的这个 app 你装了吗?
少数派
0+阅读 · 2022年7月21日
iOS 16 新版本来了,这 8 个新功能让你的 iPhone 更好用
少数派
0+阅读 · 2022年7月8日
不刷机、不升级,用它就能尝鲜 Android 新系统
少数派
0+阅读 · 2022年6月5日
iOS 15.4 正式版更新!iPhone 终于可以戴口罩解锁,通用控制也来了
少数派
0+阅读 · 2022年3月15日
微信悄悄上线「图片搜索」功能,但我并不推荐你打开它
少数派
0+阅读 · 2022年2月21日
一年一度的 Android 大更新来了,你不能错过的 10 + 个新功能
少数派
0+阅读 · 2022年2月14日
Android 12 “Bug 连连”!除了一加、三星,谷歌自家手机都被“坑”了
CSDN
0+阅读 · 2022年1月14日
Pixel 6 Pro 体验:没人比它更懂计算摄影?
ZEALER订阅号
0+阅读 · 2021年12月9日
Windows 可以装 Android 应用了,体验后我想聊聊好不好用、怎么用
少数派
0+阅读 · 2021年10月22日
谁在偷看你的 iPhone 相册?只需 3 个操作就让流氓 App 无处藏身
少数派
0+阅读 · 2021年10月10日
相关基金
支持PDE存储的安全增强型Android系统
国家自然科学基金
0+阅读 · 2015年12月31日
基于语谱图信息的汉语词汇整体识别和语音增强方法研究
国家自然科学基金
0+阅读 · 2014年12月31日
数据并行与线程并行合一的可伸缩处理器体系结构
国家自然科学基金
2+阅读 · 2013年12月31日
面向移动用户的Web数据集成技术研究
国家自然科学基金
1+阅读 · 2012年12月31日
基于混合载波多模通信系统的制式切换驱动机理研究
国家自然科学基金
0+阅读 · 2012年12月31日
基于API的静态插桩技术与Android平台恶意代码检测
国家自然科学基金
0+阅读 · 2012年12月31日
便携式人机交互系统中关键问题研究
国家自然科学基金
2+阅读 · 2012年12月31日
先进的集装箱港口物流系统仿真与优化方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
眼球生理神经回路仿生视觉芯片技术与验证系统
国家自然科学基金
0+阅读 · 2011年12月31日
分数阶微积分应用于医学核磁共振图像处理的理论与技术
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Evaluating individualized treatment effect predictions: a new perspective on discrimination and calibration assessment
Arxiv
0+阅读 · 2022年9月13日
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
Arxiv
0+阅读 · 2022年9月13日
A new Reinforcement Learning framework to discover natural flavor molecules
Arxiv
0+阅读 · 2022年9月13日
Structured $(\min,+)$-Convolution And Its Applications For The Shortest Vector, Closest Vector, and Separable Nonlinear Knapsack Problems
Arxiv
0+阅读 · 2022年9月11日
UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network
Arxiv
0+阅读 · 2022年9月11日
Phantom Sponges: Exploiting Non-Maximum Suppression to Attack Deep Object Detectors
Arxiv
0+阅读 · 2022年9月10日
Active Learning of Classifiers with Label and Seed Queries
Arxiv
0+阅读 · 2022年9月8日
Do Feature Attribution Methods Correctly Attribute Features?
Arxiv
15+阅读 · 2021年12月15日
Semi-supervised Medical Image Segmentation through Dual-task Consistency
Arxiv
14+阅读 · 2020年9月9日
已删除
Arxiv
32+阅读 · 2020年3月23日
大家都在搜
palantir
RE-NET
武器目标分配
兵棋推演
知识图谱
笛卡尔
智能推荐
PRML
汽车智能化
出海产品从 0 到 1 该怎么做
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top