AI如何帮助卫星遥感释放价值？

2018 年 8 月 8 日 未来论坛

第五期未来论坛青年科学家创新联盟YOSIA Webinar在线研讨会请来中科院长春光机所研究员、博士生导师；长光卫星公司型号总师，钟兴老师做主旨分享。

以“AI如何帮助卫星遥感释放价值”为题，钟兴老师分享了他的研究心得并与山世光、卢山、张娅、汪玉、董彬等多领域专家做了跨学科探讨。下面是本期研讨会的精彩内容：

整个分享以遥感的基本概念和原理为出发点介绍了卫星遥感是如何产生价值的；AI与卫星遥感的三个结合点，分别是：成像获取、预处理、后端应用；AI+遥感应用面临的挑战与现状；同时还展示了长光卫星公司近期在AI+遥感领域进行的探索性研究与一些应用案例，案例涉及变化检测、目标检测、目标跟踪、地物分类等多个领域。

随后由董彬主持，钟兴老师与参会嘉宾进行了以下几个跨学科议题的讨论：

·卫星多谱段信息的融合

·智能算法中的卫星数据集

·卫星的智能调度

·星上智能处理系统

·鸽群卫星的协同管理

▍主旨演讲

钟兴老师的分享深入浅出的介绍了卫星遥感的基本原理以及主动遥感、被动遥感、几何信息、辐射信息、有效载荷等基本概念及对应的例子。同时以卫星影像的变化检测为例概述了卫星产生价值的基本环节和用户关心的时间分辨率、空间分辨率、光谱分辨率和几何质量、辐射质量等指标。以视频卫星的案例作为第一部分的结尾，钟兴老师表示我国的视频卫星技术发展水平基本与发达国家保持同步。

▍AI+卫星遥感

AI与卫星遥感的三个结合点，分别是成像获取、预处理、应用处理。成像获取与AI 的结合价值在于现阶段的卫星拍摄依赖于地面规划，效率较低，如果能在星上实现自动规划的话会大大提高卫星成像效率和数据传输效率。

美国DARPA的“黑杰克”项目已经计划运用星上AI的技术，具备了卫星在轨主动运行，在轨数据处理等功能，长光卫星也在开发星上AI硬件平台；预处理与AI的结合可以大幅降低卫星制造成本，Planet公司的鸽群卫星在这方面的表现非常突出，利用Base Map可以达到很好的预处理效果；应用处理与AI的结合相对相比于前两个结合点而言。

目前来看，应用案例更多一些，国外有很多初创公司例如：Space Know、Orbital Insight 、Descartes Labs等公司都在做相关的研究，国内的商汤科技、极海纵横、长光卫星也都在开展这一领域的研究，研究内容包括通过检测油罐预估石油储备、通过检测车辆预估商业收益、以及路网提取、农作物检测、图像检索等等。

长光卫星公司数据中心利用吉林一号卫星视频制作的运动车辆信息提取结果

▍长光卫星的研究进展

随后钟老师介绍了长光卫星在AI+遥感领域开展的探索性研究进展，包括多光谱遥感影像像素级地物分类、高分辨率遥感影像典型目标识别、高分辨卫星视频动态目标检测、新的谱段算法模型的开发等等。目前长光卫星重点方向包括：

首先，研究样本增量处理，来解决人工标记因重复性而带来的疲劳问题，提升模型的泛化能力。

其次，是迁移学习，基于海量遥感数据，当一种识别检测任务完成时，可以基于此模型的参数训练结果迁移到其他类别识别的任务中去，来加速训练过程，提升模型性能。

此外，还包括特征融合与优化，通过改善网络结构，提升分类准确性等方面。不断提高遥感影像在智能算法下信息提取的精度与可靠性。

▍AI+遥感面临的困难和挑战

在谈到AI+遥感面临的困难和挑战时，钟老师认为目前卫星遥感的自动化处理还处于“前机器学习时代”，研究者更多的关注模型的开发和精度的验证，高分辨影像的解译。虽然有很多智能算法，但是精度仍达不到预期的要求，这是由一系列现实困难和挑战导致的。现实的困难包括几个方面：

首先，与其他领域不同，卫星遥感器至今还不算批量化产品，个体之间存在较大的差异，各种模型精度受遥感器本身状态影响关系较大，一类经过多年开发并验证的模型，往往无法通用。以计算植物叶片氮含量为例，有十几种模型指数可以运用，但是每种指数精度对于光谱精度和图像信噪比的敏感性都不相同。

模型缺乏通用性就带来第二个问题，那就是需要地面验证，但对于卫星遥感而言，验证又是非常费时费力的事情，涉及卫星的规划和地面的实地勘察、测量。

此外，遥感数据获取链路长，米级高分辨数据缺乏公开性和流通性，也是研究者面临的壁垒，造成处理技术迭代升级慢。当前国内大多数民用卫星遥感信息服务流程还是多个单位协作完成，运作和管理环节分离，效率不高。

而长光卫星正在提供all on line和directly access的服务，通过星地一体的系统方案和管理模式，用户在线提交需求、在线处理乃至在线获取有价值的信息。

最后，在星上AI的应用方面，也面临传统航天的试错成本高昂，发展缓慢的困难。而商业化小卫星通过快速的技术迭代，目前高集成度处理器的应用，在可靠性（抗辐照特性）、稳定性、功耗和成本几方面已经取得了进步并呈加速发展态势，我们将很快看到摩尔定律对于卫星技术的影响，商业化小卫星将成为星上AI的突破口。

无论是星上AI还是应用端的处理，由于遥感数据的爆发性增长和遥感信息价值需求的急迫，遥感数据的无人干预的自动分析与理解是国内外遥感领域共同面临的最重要的科学问题，主要面临资源需求、处理精度和效率等方面的挑战。

▍AI+遥感的发展趋势

在AI+遥感发展趋势方面，遥感是对物理量进行感知，感知的是“作用效果”，但加上数学模型，结合多层次信息，我们就可以得到背后的“作用力”和趋势，获得更大的价值。

时间与空间是人类社会和自然环境各种信息的维度坐标，也是重要的联接纽带，航天遥感信息是这个时空纽带中基础且重要的一环。

因此，随着高时间和高空间分辨率遥感技术的发展，在AI+遥感的未来发展上，与物联网、大数据等技术在信息应用层面进行融合，从“一步到位”到“多层次”应用的跨越将成为研究的主要方向。

而卫星遥感作为信息获取的手段“一日千里”，在时间和空间上都有不可替代的优势，这，就是卫星遥感的价值与魅力所在。但从本质上看，遥感卫星与大街上的摄像头没有什么不同，都是像素的制造者。

现阶段研究AI遥感应用恰逢其时，并将大有可为！

▍讨论环节

张娅：是不是可以考虑利用多种谱段，比如红外或者其他的光谱来采集遥感图像。或者用多种摄像头采集，利用这些谱段之间的互补特征来做数据分析，这样是不是能够达到更好的分割，达到更好的目标识别的效果呢？

钟兴：在卫星领域这种技术叫多源信息融合，实际上谱段在遥感领域是最基本的手段，比如说最早的黑白影像我们叫全色，后来加上了RGB，目前几乎所有的遥感卫星的基本配制是全色、RGB、加近红外，这是一个标准五谱。它是一个非常基础的配置，并且很多的识别或者分类的应用是一定要用到谱段信息的。

比如说前面我讲的一些植被指数，它也可以用来做分类，因为比如说植被在近红外段和别的波段明显的反射率差别，这个信息是一定会利用的。基于一些新的谱段的加入，确实我认为也能够起到很好的提取的效果。

比如说刚才最后一个例子里面舰船尾迹的提取，就是利用了短波红外，因为短波红外舰船驶过之后，水体里面有很多小气泡。短波红外有一个特性就是说水面反射非常小，但是气泡的反射在短波红外波段非常的强烈，因此一下子就把气泡抓住了，就把尾迹提出来。

我感觉有点像足球里面说换人如换刀，新的谱段加入一定能起到好的作用。但加入更多的谱段，其实有非常多的限制因素。

首先就是我们地面可能在追求分辨率，或者追求成像效果，对这些摄像头的尺寸重量不是特别敏感。但是在卫星上做的时候，一点点参数的变化就会非常敏感。

比如说刚才说的短波红外，它要获得和可见光一样的几何分辨能力的话，这个镜头的口径几乎就要是可见光波段的10倍以上，因此它像0.3米的World View，它的卫星短波红外也只有5米左右，大概是17倍。所以它会带来硬件成本急剧的增长。

另外一个就是说它的谱段越多，这个数据量也会越大，因此我觉得谱段一定是非常非常重要的信息，但是在目前应该说需要考虑怎么便捷的去实现。

山世光：我看钟老师也做了后端的基础学习，或者是做一些识别分类。深度学习现在在卫星这个领域里面的应用的情况大概是什么样子？因为深度学习通常都需要大量的数据才可以做得比较好，我们在这块数据积累的情况大概是什么样子？

钟兴：现在我们应该说标注的工作量非常大，刚才张老师也提到了。但是我们有一个好处，因为我们天上有多颗卫星，吉林一号系列我们已经经过了四次发射，米级分辨率的卫星是有七颗。同时我们自己要做一些模型的训练的话，我们自己内部的数据人员提出来要一些拍摄需求的话，自己的卫星会第一时间满足。所以我觉得数据源这块保障是比较有利的。

另外，我们现在出去面对信息服务的客户，并不是每家都有自己的处理的能力。非传统客户他自己完全处理不了，他就只需要这种信息。因此我们做示范性的同时，能够服务一些这种客户。

在目前来说的话，在机器学习方面，我认为现在在这个“一步到位”应用方面做的一些工作应该说达到了一些应用效果，也在给客户服务。就是说直接提取个路面交通流量，识别舰船，包括船在海面上也能很好的识别，些处理现在做的都还可以。

但是既使是一步到位的处理，您刚才也说数据量或者样本量的问题，我们一项非常重要的工作也是自己去模拟它在不同的拍摄条件下，这些目标可能会有的一些特征，比如说噪声加上几何上的变化，这样训练我们的模型的准确性。

但是在这个过程中，它的一些最基础的工作确实靠人去标注，看大量的图，然后进行验证，这个工作量确实很大，应该说目前只能靠人建这个库。我们的研究还是比较初步的，在多层次应用方面目前还没有开展，仅仅是基础性的提取目标，识别变化这个方面。

卢山：能不能将一些控制论加机器学习的优化算法应用在卫星的调度上呢，这样的话可以很好的协调卫星的能源与所要执行的任务之间的关系。

钟兴：卢老师说这个是一个非常好的启发，实际上现在对于高分辨卫星来说的话，任务规划和资源调配都是通过任务编排来做的。跟您刚才讲的来比的话，我觉得现在卫星上还是蛮弱智的，可以把它看成是一个完全手动的单反相机。

但是星上在一些任务执行的过程中，比如说资源、带宽包括压缩这些，它会去做调配。你是定下来的，不是一个变化的，目前还是属于一个比较弱智的阶段。因为最终其实就是您刚才说的几个因素，其实对卫星来说，面临的就是几个限制问题，就是怎么在能源满足的情况下，用一定的数传带宽获取尽量多的价值数据。其实就是这三个性质。我觉得您的想法对我们来讲非常有启发。

汪玉：星载平台的计算平台将会能量效率有很大的提升，既用同样的功耗和载荷就可以做到一部分星载的智能处理，比如说目标检测识别。我的问题是对于应用层面来看哪些事情是需要在星上做的？

钟兴：哪些事情需要在星上做的，我认为还是从主流或者传统的观点来看，就是预处理。要不要在星上做预处理，实际上在地面做预处理的话，也是用到星上很多传感器的信息通过成像模型去做。

因为只有做了预处理之后，我们的图像才可以去和应用端连接起来，那么这个是一个必要项。就是说你拍这张图，贴到地球表面上应该贴到哪里。然后它的每个谱段的准确度是多少，可能之前我们在地面存的一些处理模型，或者说一些校正参数，比如说相对辐射系数，绝对辐射系数这些东西可能就会放到星上。我认为目前星上的处理平台，汪老师说的是非常对的，已经具备这样的条件了。

只不过现在还没有在星上开始做这个事情。在星上做了这个事情之后，我觉得就可以类比于我们现在的消费产品，拿出来就是能用的东西，现在卫星确实还做不到，只是一个原始的数据，要给它做完处理才可以做的数据。预处理是一个基础，但是方法可以有很多。第二个就是我们一些对于光学来讲，在星上有必要做的就是去云的事情，或者说特定用户的目标提取这些。

包云岗：目前的鸽群卫星是如何协同管理的，会不会机动调整轨道？

钟兴：鸽群卫星是一个非常有意思的星座，它目前的管理实际上可以叫做无为而治的管理，因为它已经达到了几百颗的规模，所以它完完全全靠星上做工作。现在高分辨卫星还是叫任务规划，它现在可以做到一直拍，第一它是三到五米的分辨率，能源的问题相对来说不大，就是一直在拍摄。这样一个最大的好处就是省掉了怎么去规划任务。

因为我们知道一般所谓的星座，它维持轨道的位置需要推进的系统。那么鸽群卫星没有推进系统，它是采用不断的调整卫星的飞行姿态，去改变迎风的面积去控制轨道衰减的速度，最后逐渐的分散到比较合理的位置上。

我是有一个名词来形容它的方式，我认为是暴力组网。所谓的暴力组网它不追求很高的精度，但是它由于卫星多，它可能在需要的时候总有一颗卫星出现在正确的地方。

刚才说侧摆能力，它是几乎不进行侧摆的，就是飞到哪里拍到哪里。因为它是在一个轨道面上，它可以像拨橘子皮一样，地球在转的同时可以把整个覆盖。它即使要进行侧摆，它也不是想照哪里就照哪里，因为控制精度几乎等同于视场大小。

就是说我要看这个地方可能是天安门，结果可能看到鸟巢去了，就是这个精度。但是由于它的星特别多，它下来之后剔掉重复的部分，把其他的东西一拼，还能得到一个完整的图像，这是它的特点。

钟兴老师演讲视频部分一：

钟兴老师演讲视频部分二：

本期主讲青创联盟成员介绍：