丘成桐得意门生顾险峰：机器学习解决不了的医学图像问题，如何用几何方法来攻克？
AI 科技评论按：在 2017 图像计算与数字医学国际研讨会（ISICDM）上，顾险峰教授应邀出席并做了主题为“医学图像中的几何方法”的学术报告，介绍了基于他们提出的共形几何理论的种种图像处理方法以及在医学图像中的应用实例。
顾险峰教授，现为美国纽约州立大学石溪分校计算机系和应用数学系的终身教授，也是清华大学丘成桐数学科学中心访问教授。曾获美国国家自然科学基金CAREER奖，中国国家自然科学基金海外杰出青年奖（与胡事民教授合作），“华人菲尔茨奖”：晨兴应用数学金奖。丘成桐先生和顾险峰博士团队，将微分几何，代数拓扑，黎曼面理论，偏微分方程与计算机科学相结合，创立跨领域学科“计算共形几何”，并广泛应用于计算机图形学，计算机视觉，几何建模，无线传感器网络，医学图像等领域。目前已经发表二百篇余篇国际论文，学术专著包括“Computational Conformal Geometry”（计算共形几何）， “Ricci Flow for Surface Registration and Shape Analysis”等。
顾险峰教授此次出席的图像计算与数字医学国际研讨会（ISICDM2017）暨智能医学信息处理论坛，是由国际数字医学会、中华医学会数字医学分会、中华医学会病理学分会主办，电子科技大学电子工程学院承办。
作为本次大会的独家媒体，AI 科技评论全程见证了大会盛况。
此次会议极具学科交叉特色，430多位来自信息科学（含计算机与电子工程等学科）、数学与医学等领域的专家学者与临床医生聚首一堂，围绕人工智能+医疗、医学图像分析、深度学习、虚拟/增强现实等热点问题开展深入的交流与探讨。
中国解剖学会理事长、国际数字医学会主席、中华医学会数字医学分会主任委员、第三军医大学张绍祥教授（少将）为本次会议的名誉主席，解放军南京总医院影像科主任卢光明教授、中华医学会病理学分会主任委员、四川大学华西医院步宏教授、中科院自动化所研究员田捷担任大会主席。电子科技大学李纯明教授为ISICDM会议的发起人和程序主席，负责会议主题的确立、报告专家的邀请与会议内容的组织。
以下是 AI 科技评论对顾险峰教授报告的图文编辑：
很高兴和大家共同探讨。今天我报告的题目是：医学图像中的几何方法。
感谢大会组委会的邀请，感谢林老师的邀请，感谢各位同学、学者、医生。
这个工作是和很多人一起完成的，我这里列举了一些主要的合作者：我的导师丘成桐院士；罗锋教授，在罗格斯大学数学系；Tony Chan，香港科技大学校长；Paul Thompson教授，在南加州大学做脑神经科学；王雅琳教授，在Arizona州立大学计算机系；Lok Ming Lui 教授，在香港中文大学数学系；雷娜教授，在大连理工软件学院；秦宏教授，Dimitris Samaras 教授、高洁教授、Arie Kaufman教授都是我的同事。
我们知道在几何上有个埃尔朗根 (Erlangen) 纲领，它是说不同几何研究不同变换群下的不变量。
在医学中和工程中常用的有四种几何：
拓扑 Topology，它对应的就是拓扑同胚变换
黎曼几何（Riemannian Geometry）对应的是等距变换，保持黎曼度量不变的变换
曲面的微分几何（Differential Geometry），对应的是欧氏空间中的rigid motion，刚体变换
我们研究的重点是共形几何（Conformal Geometry），它是介于拓扑和黎曼几何之间，比拓扑要硬，比黎曼几何要软。
它特别适合研究这三种问题：
曲面之间的映射，比如有两个医学图像、两三个器官的表面成像如何进行配准注册；如果有个动态变化的曲面，比如心脏在跳动，如何做跟踪；或者人脸各种各样表情变化如何做跟踪。这类问题适合用共形几何的理论来处理
几何分类。比如有一个器官，要判断它是否正常，看大脑是否有老年痴呆症、胰腺形状是否正常、肿瘤是良性还是恶性，这都属于几何分类
形状分析。很多很细致的分析，比如给一张人脸，判断他的表情；给一个器官的表面，如何提取它各方面的特征；
这三类问题的理论根基，我们认为很大部分上仰仗共形几何。我们把这套理论从纯理论变成算法，有算法之后就可以用在很多工程领域、图形学、计算机视觉、几何建模、网络、3D打印，当然也包括医学图像中。今天我主要讲的就是在医学图像方面的应用。
从历史上来说，共形几何是多个领域的交叉点。大家都学过复变函数，学过保角变换，可能大家也学过代数拓扑、代数几何、代数曲线，特别是微分几何和偏微分方程PDE，共形几何是这些数学分支的交叉点。
在我们之前也有很多人研究过计算复变函数。我们和前人最大的区别是，之前的人是做平面区域之间的保角变换，现在我们是做曲面之间的变换。换句话说，为了做平面之间的变换，只需要研究复变函数；但是要做曲面之间的变换的话，用的理论工具就要换成微分几何加上几何分析偏微分方程（Geometric PDE）。所以从历史来看，这是我们和前人的工作理论层面的最大差别。
我们是从2000年开始做的，主要因为这时开始三维数据变得非常多，一方面三维扫描技术有大幅度发展，人们可以很轻易地得到三维曲面；医学图像的发展也非常快，我们可以得到大量的医学图像。
这些信息非常容易获得，但处理起来非常困难。我们可以看一些原始的数据。这是我的一个学生，我把他的三维脸部曲面扫描下来，可以分析他的表情，做动态的跟踪。
每张曲面上有300万个采样点，每秒钟可以得到120张动态曲面，数据量非常庞大。
不同的三维曲面，记录了动态表情。
采集这些数据是很容易的。大家都有了iPhone X之后，得到这样的数据会变得更加廉价。但是分析起来非常困难。比如给你一个高速的动态的三维曲面序列，如何求它们之间的微分同胚，如何自动精确地找到一一对应、如何分析表情的变换，实际上具有非常大的挑战性。从计算角度讲比较困难，从理论角度讲也不是很完善。
最简单的来说，比如给两副曲面，一张是平静的脸，一张是带表情的脸，要如何找有意义的微分同胚。迄今为止机器学习是做不了这个的，通过微分几何倒是有很多方法，所以这个方面还在发展。
另一方面，随着GPU的发展，计算能力空前高涨。一些以前非常困难的几何偏微分方程的求解变得相对容易，在个人电脑上PC上就可以很容易地进行计算。
总之，一方面由于三维数据的获得非常容易，另一方面由于计算能力的增加，催生了共形几何这个领域。
这里列举了一些计算共形几何领域的基本问题。它们的描述方式比较数学化，但大家如果稍微有些数学背景的话，就可以知道大量的工程问题、医学问题，最后都可以归结为数学问题。
我大致说一下
我们知道所有曲面都是有黎曼度量的，有了黎曼度量之后计算它所对应的共同结构；比如给两个曲面，我们需要判断它们是否存在保角变换。如果曲面拓扑复杂的话，两个曲面之间不一定有保角变换；如果有的话，怎么把它算出来。
如果固定曲面的共形结构，如何找到最简单的黎曼度量。如果找到这个简单黎曼度量的话很多计算问题可以得到大幅度简化。
如果给了我们想要的目标曲率，如何设计构造一个黎曼度量，和初始度量黎曼共形等价，并且实现这个目标曲率。
如果给了两个拓扑同胚的曲面，给了映射的同伦类，如何找到唯一的映射，使得映射带来的几何畸变最小、物理上最自然。
等等诸如此类的基本理论问题。
这些问题，工程上有自己的提法，翻译成数学语言表达以后相对比较明确。历史上来看，这些问题在共形几何中都有比较完美的理论解答。
这里的困难在于，第一个如何把实际问题看透，翻译成数学语言；第二个如何把数学理论看透，翻译成计算机语言。
我们也试图用机器学习的方法做其中的一些问题，发现非常困难。基于统计的方法通过学习，揭示曲面的内在结构和曲面之间的微分同胚，效果并不好；分类的效果相对让人满意一些。所以目前这个领域机器学习还没有大规模的介入，还是基于数学方法。
在过去的十多年间我们发展了相对完备的软件工具，在座的同学老师如果有兴趣的可以跟我联系，我们一起来做研究。
过去我也写了几本书，和邱先生一起写的《计算工程几何》；还有《离散曲面变分法》。最后这本书在还国内买不到，它是讲如何应用这套理论进行曲面配准和形状分析。最近我还在写一本新书，汉语的，打算把《计算共形几何》的讲义写得更加深入浅出一些，更加工程一些。我会将主要内容发到我的公众号上，可能有很多缺点和错误，希望大家提出宝贵意见。
我们下面介绍几个概念。
共形映射
这是我的办公室，我在桌面上放了一个镜框，照了一张整个办公室的照片，把照片嵌在镜框里；大家可以看到镜框里面还存在二级镜框，二级镜框里还有三级镜框，有无穷多的镜框嵌套，在无穷级嵌套的内部有唯一的不动点。把整个图像经过相似变换，将镜框内部放大成整张图像，则整个图像本身是不变的。这种不变相似变换它和它自己复合，构成了一个不变群；整个平面抠掉不动点，除掉这个群，它的商空间实际是一个拓扑环面，是一个二维的轮胎曲面。
我们可以把它计算一个保角变换，把左图变成右图，映射之后的拓扑发生巨大变化。左边的镜框本来是一个封闭曲线，变换后的镜框变成了一条开放的螺旋线。本来镜框外部的世界是真实的世界，镜框内部的世界是虚拟的世界。经过变换以后，真实的世界和虚拟的世界混为一谈。很多惊恐片、科幻片都是基于这个原则：将现实和梦境混为一谈。
仔细观察，这个映射有一个特别大的特点，变换前后能保持局部形状不变：变换以后还是能认出来图中的兔子和毕加索的画。这个映射从全局来看畸变非常剧烈，拓扑发生了巨大的变化，但局部形状并没有发生改变。这类变换就是所谓的保角变换，大家在复变函数论里应该学过这个概念。
曲面也存在类似的变换。这是米开朗基罗的大卫头像，我们将头像扫描下来得到了这张三维曲面。我们可以把展开平贴在二维空间的长方形上。
这个映射，第一把弯曲的曲面变成平面，实现了降维，把三维的体在平面上处理，把几何曲面之间的配准问题变成图像配准问题。降维可以让计算大幅简化。 第二它保持信息不变、保持局部形状不变。我们可以看到耳朵依旧是耳朵的形状，眼睛、鼻子、头发也是一样。这种映射在切空间上看，是相似变换；每一点有一个小临域，临域到临域之间的变换是相似变换，相似变换保持形状不变。但是每一点的相似比不一样，所以有的地方放大了，有的地方缩小了。鼻子就缩小的很厉害。这种变换就是共形变换，它保持了局部形状不变。
这张图显示的就是共形变换的第一个优点，就是降维，把三维变成二维。大家如果对硬件比较熟悉的话，图像处理可以用 FPGA 来做、用 GPU 做，但是处理三维曲面比较困难。比如大家想把 CNN 从图像处理变成几何处理，有几种方法，一种是把曲面嵌在八叉树里；另一种就是展在平面上，然后用平面处理的方法来做。今年 SIGGRAPH 就有这方面的论文。把三维曲面变成二维，最自然的方法当然就是这种共形变换。
这里给出它的数学定义。有一张三维人脸，经过变换以后变成二维圆盘，这是黎曼映照。在人脸上任意画两条相交曲线，曲面上的曲线在变换后成为平面上的曲线；原曲线交点切向量之间的交角为 θ，变换后的曲线交点切向量之间交角仍然为 θ，并不改变。曲线无论画在什么地方，交角都不改变。如果有一个微分同胚满足这个性质，它就可以称作保角变换。
作为对比我们看一下，把同一张脸映射到同一个平面上。我们在可以在平面圆盘上放许多无穷小圆，然后拉回来看它们在曲面上的形状。上面一行是保角变换，保持了小圆的形状不变。下面是一般的微分同胚，它把平面上的无穷小圆，变成了曲面上的无穷小椭圆。
这里看一个demo。这是一张通过扫描得到的三维人脸，通过黎曼映照投到平面上来。我们在平面上放了许多无穷小圆作为它的纹理，拉到三维曲面上以后还是无穷小圆。它的局部保持形状不变，圆形映射成圆形。
作为对比，我们看一个一般的微分同胚。从平面拉伸到三维曲面以后，圆变成椭圆。这就是微分同胚和保角变换之间的差别。
我们再看下角度的变化，在平面上放上棋盘格。棋盘格每个角都是直角，把它拉回到三维曲面上，我们可以看到每个棋盘格的大小发生了改变，但从法方向看下去的话，每个交角都还是直角。
作为对比我们再看另一种变换，直角不再被保持。这给了我们保角变换的一个直观感受。
我们知道曲面到平面区域的微分同胚有无穷多个，这些微分同胚构成的空间是无穷多维，所以很难控制；从曲面到平面的黎曼映照也有无穷多个，但是所有的黎曼映照构成的空间只有三维。所以维数非常有限，只需要在曲面边界上固定三个点，映射就可以被唯一固定。很多时候你可能想要找一个典范映射，第一行的保角变换就是比较好的选择；如果你想研究更为广义的微分同胚，用下方的。共形几何涵盖的范围很广。共形几何涵盖的范围很广，其中拟共形变换包括了所有可能的微分同胚。
…………
剩余内容还有约 8000 字，包括：
构成研究框架的另外两大理论，大一统理论和拟共形映射；
精准面部注册、表情追踪等 5 个实验案例；
X光片的骨骼特征点识别、大脑功能区域变化追踪、虚拟肠镜等 9 项医学图像领域实际应用的介绍
阅读完整内容请点击【阅读原文】
————— 给爱学习的你的福利 —————
上海交通大学博士讲师团队
从算法到实战应用，涵盖CV领域主要知识点；
手把手项目演示
全程提供代码
深度剖析CV研究体系
轻松实战深度学习应用领域！
详细了解请扫码进入咨询群
▼▼▼
————————————————————
相关内容
微信扫码咨询专知VIP会员