学者观点 | 遥感边缘智能研究进展及挑战
点击中国图象图形学报→主页右上角菜单栏→设为星标
随着航空航天、遥感和通信等技术的快速发展，5G等高效通信技术的革新，遥感边缘智能（edge intelligence in remote sensing）成为当下备受关注的研究课题。
图图为您推荐《中国图象图形学报》最新“学者观点”文章《遥感边缘智能技术研究进展及挑战》。该文由中国科学院空天信息创新研究院孙显研究员等撰写，介绍了边缘智能在遥感数据解译中的研究现状、问题、解决思路、挑战以及未来技术的主要发展方向。
标题：遥感边缘智能技术研究进展及挑战
作者：孙显,梁伟,刁文辉,曹志颖,冯瑛超,王冰,付琨
引用格式：Sun X,Liang Diao W H, Cao Z Y ,Feng Y C,Wang B and Fu K. 2020. Progress and challenges of remote sensing edge intelligence technology. Journal of Image and Graphics, 25(9): 1719-1738. (孙显, 梁伟, 刁文辉, 曹志颖, 冯瑛超, 王冰, 付琨. 2020. 遥感边缘智能技术研究进展及挑战. 中国图象图形学报,
25(9): 1719-1738.)
[DOI: 10.11834/jig.200288]
官网链接：
http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20200901&flag=1
深度学习技术所带来的算法性能提升是在大量训练样本提供的数据支撑下获取的。相较于动辄上万的视觉图像，在遥感边缘智能应用场景中，深度学习算法通常面临着小样本问题：对于出现频率较低的目标，实际往往只能获取几幅到几十幅图像的样本数据。
以基于遥感图像的飞机目标识别任务为例，部分型号的飞机生产和保有的数量较少，因此可获取的图像样本数量十分有限，而现有的飞机型号识别算法缺乏小样本条件下的学习能力，实际中往往陷入严重的过拟合问题，导致在实际应用中的识别效果较差。
针对边缘终端上的小样本问题对于遥感边缘智能技术发展的约束，探索适用于遥感数据解译需求的小样本学习方法成为学界研究重点。
现有的解决思路可以归为两大类：一类是结合遥感图像特性进行样本智能化扩充，从而满足模型训练时的数据量需求；另一类则是从知识复用的角度出发，按照迁移学习、元学习和度量学习等策略引入先验知识，辅助在新地物类别上的学习，从而实现降低算法对遥感样本数据量需求的目的，完成小样本遥感智能解译。
文章从样本生成以及知识复用两个角度介绍相关的算法原理和技术应用。
随着遥感大数据时代的到来，遥感数据的数量和质量得到了极大提升，因此基于数据驱动的深度学习算法得到了广泛应用，并取得了显著成就。
与自然场景图像相比，遥感图像具有图幅广阔、目标要素繁杂以及图像模态类型多样等特点，需要更复杂的深度学习算法模型捕获图像特征完成相应的解译任务。
此外，遥感图像处理通常面对多种模态的图像数据，如SAR图像、高光谱图像和数字表面模型(digital surface model, DSM)图像等。基于深度学习的遥感智能解译技术面临着模型参数量高、规模庞大以及算法效率无法应对海量的遥感数据和高时效性任务需求的问题。
文章分别从轻量化网络模型设计以及轻量化网络模型训练两个方面出发介绍相关的算法原理和遥感边缘智能技术应用。
遥感数据的获取速度和数量得到快速提高，对人工智能提出了新的标准和要求，迫切希望深度神经网络模型可以不断地适应并随着时间的推移不断学习。
当前的深度神经网络模型一般都是静态模型，需要使用大量数据进行长时间的训练，然而模型只能应用于当前任务，不能随着时间推移而适应或者扩展。当有新的数据可用并且模型需要更新时，模型无法保持对原任务的性能要求，导致灾难性遗忘问题。
卫星图像每天都可以大量更新，现存的静态模型无法及时更新并利用新增的数据。针对上述问题，要求深度模型具有持续学习能力，而多任务持续学习是解决该问题的有效技术手段。
在持续学习模型训练阶段，样本集只包含当前任务样本，而先前任务的样本不可见；在持续学习模型推理阶段，要求模型对先前任务和当前任务均保持良好的预测精度。存在的方法主要分为两类：基于样本数据重现的方法以及基于模型结构扩展的方法。
遥感边缘智能技术的研究在小样本学习技术、轻量化模型设计和持续学习技术领域取得了初步进展。然而，在不同的实际应用场景和多样化的需求约束下遥感边缘智能技术仍面临着诸多挑战。
在遥感领域，现有的小样本学习方法大多属于广义上的小样本学习，主要体现在两方面。
一方面，现有的“小样本”的定义默认为具备完备标注信息的样本量较少，但无标注的样本数据充足。然而在实际的遥感边缘智能应用场景中，即便是无标注的遥感数据的获取难度有时也是偏大的，例如新类别目标的数据。
另一方面，现有的小样本定义从数据量上看仍是几十幅到几百幅不等，结合数据获取难度和标注难度看，数据量并不算很小。
考虑终端上的数据制作难度以及边缘智能技术对遥感解译任务的快速响应需求，研究狭义条件下的小样本学习算法，即对于单样本甚至于零样本条件下进行小样本学习，对于遥感边缘智能技术的落地发展是未来值得重点深入研究的方向。
目前，面向遥感应用场景轻量化模型设计与训练通常只针对单一任务或功能，模型轻量化的目标通常只针对单一特定的遥感图像解译任务。此外，轻量化模型设计在一种任务中通常只针对单一特定的功能步骤。
伴随着遥感数据的海量增长，应用需求日益增加，单任务遥感图像解译算法已经无法满足当前的应用需求，面向遥感图像解译领域的多任务处理算法模型逐渐成为目前研究的热点。
因此，如何完成从单一功能到多种功能、单一任务到多种任务的轻型化模型设计与训练方法，仍然是未来亟待研究和探索的领域。
面向多任务的持续学习存在着灾难性遗忘问题。尤其在遥感技术领域，由于成像方式的复杂多样，前景背景的极不平衡，以及目标分布密集等问题，导致遥感场景的任务难度更大，遗忘问题会更加严重。
可以考虑引入专家知识解决面向多任务持续学习的灾难性遗忘问题，专家知识可以帮助持续学习模型判别网络参数对每个任务的重要性程度，增强对重要性权值更改的惩罚，约束并指导持续学习模型的学习方向，从而减少甚至避免灾难性遗忘。
申明：本文发布的网站内容均不代表本号观点，本号旨在提供参考素材以便学习交流。
回放平台：
知网在线教学服务平台：
http://k.cnki.net/Room/Home/Index/181822
B站：
https://space.bilibili.com/27032291
往期目录：
汪荣贵——机器学习基本知识体系与入门方法
陈强——从Cell封面论文谈AI研究中的实验数据问题
石争浩——从先验到深度：低见度图像增强
行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题
孙显——遥感图像智能分析：方法与应用
章国锋——视觉SLAM在AR应用上的关键性问题探讨
林宙辰——机器学习中优化算法前沿简介
白相志，冯朝路——“医学图像与人工智能”主题论坛
李雷达——以人为中心的图像感知评价：从质量到美学
汪荣贵——深度强化学习系列课程1-4讲
张明敏，郭诗辉——“人工智能与虚拟现实”主题论坛
高连如——高光谱遥感图像处理与信息提取
杨扬——“出身决定论”？看科研之路如何逆袭！
于仕琪——步态识别新动向：基于人体模型的方法与数据
CCF YOCSEF南京——深度学习可解释性论坛
看完微推意犹未尽？
快加入图图社区，更多资讯等着你
前沿进展 | 多媒体信号处理的数学理论
中国卫星遥感回首与展望
单目深度估计方法：现状与前瞻
目标跟踪40年，什么才是未来？
10篇CV综述速览计算机视觉新进展
算法集锦 | 深度学习在遥感图像处理中的六大应用
封面故事 | 从传统到深度：火灾烟雾识别综述
封面故事 | 光场数据压缩综述
学者观点 | 结合深度学习和半监督学习的遥感影像分类
编辑推荐 | 视频 + 地图！四维信息助力实景中国
深度学习+图像降噪，如何解决“卡脖子”问题？
专家推荐|高维数据表示：由稀疏先验到深度模型
专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用
专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
专家报告|深度学习+图像多模态融合
专家报告 | 类脑智能与类脑计算
实战例题！200+PPT带你看懂监督学习
118页PPT！机器学习模型参数与优化那些事儿~
专家开讲 | 机器学习究竟是什么？
羡慕别人中了顶会？做到这些你也可以！
如何阅读一篇文献？
共享 | SAR图像船舶切片数据集
资源分享| 不知道如何获取最新的算法资讯？快来这里看一看
资源分享|热门IT资讯号推荐
《中国图象图形学报》2020年第2期目次
《中国图象图形学报》2020年第1期目次
本文系《中国图象图形学报》独家稿件
内容仅供学习交流
版权属于原作者
欢迎大家关注转发！
编辑：狄 狄
指导：梧桐君
审校：夏薇薇
总编辑：肖 亮
声 明
欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。
相关内容
微信扫码咨询专知VIP会员