你随便动幕布，投影跟不上算我输，动态投影黑科技，AE特效秒变成真

会员服务 ·

你随便动幕布，投影跟不上算我输，动态投影黑科技，AE特效秒变成真

2019 年 11 月 29 日 量子位

十三发自凹非寺
量子位报道 | 公众号 QbitAI

这个黑科技，让AE特效秒成真。

前不久，AE一个名为Lockdown的插件火了：任你再动再不平坦，图案都能无缝紧贴。

其实，这个魔法特效已经走进现实。

这个黑科技其实就是我们熟知的投影。但不同于以往，这次是动态投影。

这款高速投影仪名叫DynaFlash。

投影的画面不需要平整，任画面扭曲、被遮挡，影像都能被完整的打出来。

要想有一个较好的投影体验，那么投出来的影像肯定得是“快、准、狠”。

也就是需要高帧频和低延迟。

而这款高速动态投影仪，在延迟3ms的情况下可以投射8位图像，最高可达1000 fps。

这一话题也在Hacker News上火了，热度高达1000+点。

许多网友惊呼这项技术“简直太棒了”！

我估计像迪士尼这样的公司会对这个技术非常感兴趣。

我从事实时投影工作很多年了，延迟就是这个工作的杀手，任何大于1000/90ms的延迟都会特别影响效果。这项技术就能允许快速移动。

炫酷黑科技

这个黑科技有多神奇？

图像投影到一张纸上，无论让它怎么晃动，图像都会随着纸的变形同步发生变化。

就好像图像贴到了纸上一样。

为了展示这个技术的高帧频和低延迟，研究团队还把视频放慢了速度。

慢镜头下的动态投影也做到了完美的贴合。

当然，旋转也不在话下。

更神奇的是，投影画面不同，图像竟然能切换自如！

什么原理？

视频中展示的黑科技，其实是用红外墨水在目标上绘制了标记。

这种标记是人眼看不见的。

这就是研究人员提出的可变形点簇标记(Deformable Dot Cluster Marker，DDCM)。

DDCM具有三个优势：

1、即使是在强烈变形的情况下，它也是可以被检测到的；
2、即使存在外部或者自遮挡，它也可以实现鲁棒性跟踪；
3、它允许毫秒级的计算速度。

下图就展示了DDCM的一个例子。

△一个DDCM的例子。点簇以数组结构分布。

DDCM由四种类型的点簇组成，它们以数组结构分布。如下图所示。

△点簇的四种类型。m代表点的数量。每个点簇包含1-4个点。

每个点簇中的点都是具有拓扑不变性的，也就是说，在任何变形的情况下都不会发生改变。

点的数量是随机且排他分布的。识别是从p x p点簇(识别窗口)的四个角开始的。

并且为了增强逐帧跟踪的鲁棒性，相邻的点簇，点的数量不会相同。

△无论从哪个角开始识别窗口，都没有相互重合的序列。

下图展示了处理的流程。

△处理流程

主要包括检测和跟踪两个步骤。

检测过程包括从单个帧中识别点簇的ID。

△检测流程

检测的过程大致如下：

a)从二值化图像中提取关键点；
b)将a)中所示的位于同一网格中且彼此相邻的关键点视为点集群，红、绿、蓝、黄圆点分别代表m = 1,2,3,4个点簇;
c)计算提取的点簇的Delauney三角剖分;
d)基于广度优先搜索获得点簇之间的连通性;
e)最后根据预先准备的哈希表根据点编号识别每个点簇的ID，红色数字表示已识别的点簇的ID。

跟踪过程是指通过图像序列对每个点簇进行独立、逐帧跟踪。主要包括以下几个流程：

a)更新被跟踪的点集群的位置；