会员服务
CVPR 2022 · 特征匹配 · 视频描述评估 · 视频描述 · 论文 ·
2022 年 3 月 19 日
【CVPR 2022】基于粗粒度和细粒度特征匹配的视频描述评估，EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

当前，视频描述的评价方式主要基于参考文本和候选描述之间的文本比较。忽略了视频描述任务的特性，可能导致有偏差的评估。因此，我们提出了 EMScore（Embedding Matching-based score），这是一种专用于视频描述的新颖的无参考评价指标，其直接度量视频和候选描述之间的相似度。实验表明 EMScore 具有更高的人类相关性和更低的参考依赖性。

作者：Yaya Shi, Xu Yang, Haiyang Xu, Chunfeng Yuan, Bing Li, Weiming Hu, Zheng-Jun Zha

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/2b63c933a8f6cfa81a4d4377113a1f8e
9

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR 2022】基于层次化视觉语言知识蒸馏的开放词汇单阶段检测，Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
【CVPR 2022】基于层次化视觉语言知识蒸馏的开放词汇单阶段检测，Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
专知会员服务
6+阅读 · 2022年3月19日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
【CVPR 2022】多模态视频字幕的端到端生成预训练，End-to-end Generative Pretraining for Multimodal Video Captioning
【CVPR 2022】多模态视频字幕的端到端生成预训练，End-to-end Generative Pretraining for Multimodal Video Captioning
专知会员服务
26+阅读 · 2022年3月3日
【CVPR 2022】使用多模态Transformer的端到端视频对象分割，End-to-End Referring Video Object Segmentation with Multimodal Transformer
【CVPR 2022】使用多模态Transformer的端到端视频对象分割，End-to-End Referring Video Object Segmentation with Multimodal Transformer
专知会员服务
27+阅读 · 2022年3月3日
【视频描述综述论文】Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
【视频描述综述论文】Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
专知会员服务
64+阅读 · 2020年5月12日
【ACL2020-浙大-微软】多轮对话推理数据集，MuTual: A Dataset for Multi-Turn Dialogue Reasoning
【ACL2020-浙大-微软】多轮对话推理数据集，MuTual: A Dataset for Multi-Turn Dialogue Reasoning
专知会员服务
36+阅读 · 2020年4月10日
【CVPR 2020-人大】 基于层次图推理的细粒度文本视频跨模态检索
【CVPR 2020-人大】 基于层次图推理的细粒度文本视频跨模态检索
专知会员服务
66+阅读 · 2020年4月5日
【北京大学】探索提取跨模态信息进行图像caption，Exploring and Distilling Cross-Modal Information for Image Captioning
【北京大学】探索提取跨模态信息进行图像caption，Exploring and Distilling Cross-Modal Information for Image Captioning
专知会员服务
51+阅读 · 2020年3月3日
近期必读的5篇AI顶会CVPR 2020 GNN (图神经网络) 相关论文
近期必读的5篇AI顶会CVPR 2020 GNN (图神经网络) 相关论文
专知会员服务
78+阅读 · 2020年3月3日
近期必读的7篇 CVPR 2019【视觉问答】相关论文和代码
近期必读的7篇 CVPR 2019【视觉问答】相关论文和代码
专知会员服务
35+阅读 · 2020年1月10日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知
3+阅读 · 2022年3月17日
【CVPR2022】高分辨率和多样化的视频-文本预训练模型
【CVPR2022】高分辨率和多样化的视频-文本预训练模型
专知
0+阅读 · 2022年3月6日
CVPR 2020 | 细粒度文本视频跨模态检索
CVPR 2020 | 细粒度文本视频跨模态检索
AI科技评论
17+阅读 · 2020年3月24日
CVPR 2019视频描述（video caption）相关论文总结
CVPR 2019视频描述（video caption）相关论文总结
极市平台
36+阅读 · 2019年10月16日
文本+视觉，多篇 Visual/Video BERT 论文介绍
文本+视觉，多篇 Visual/Video BERT 论文介绍
AI科技评论
22+阅读 · 2019年8月30日
CVPR 2019 论文大盘点-目标跟踪篇
CVPR 2019 论文大盘点-目标跟踪篇
极市平台
20+阅读 · 2019年8月8日
【CV+NLP】更有智慧的眼睛：图像描述（Image Caption）&视觉问答（VQA）综述（上）
【CV+NLP】更有智慧的眼睛：图像描述（Image Caption）&视觉问答（VQA）综述（上）
极市平台
79+阅读 · 2019年1月20日
【论文推荐】最新六篇视觉问答相关论文—鲁棒性分析、虚拟意象、双曲注意力网络、R-VQA、关系推理、双线性注意力网络
【论文推荐】最新六篇视觉问答相关论文—鲁棒性分析、虚拟意象、双曲注意力网络、R-VQA、关系推理、双线性注意力网络
专知
17+阅读 · 2018年6月7日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
CVPR2017 VQA 任务冠军：基于双向注意力机制视觉问答pyTorch实现
CVPR2017 VQA 任务冠军：基于双向注意力机制视觉问答pyTorch实现
专知
48+阅读 · 2017年12月24日
基于人眼关注度与情感分析的电子商务智能推荐计算
国家自然科学基金
0+阅读 · 2014年12月31日
基于Signature的几类可靠性问题探究
国家自然科学基金
0+阅读 · 2013年12月31日
基于信息论的测量诱发的非定域性研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于机器学习的局部图像特征描述与融合机制研究
国家自然科学基金
2+阅读 · 2012年12月31日
基于视觉语义推理与上下文约束建模的场景理解方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
新型可聚合缓蚀剂的合成及其在碳钢表面的原位聚合研究
国家自然科学基金
0+阅读 · 2011年12月31日
全局轨迹解析的通用框架和推理方法，以及在智能视频监控中的应用
国家自然科学基金
1+阅读 · 2011年12月31日
基于感知视觉单词描述的对象分割研究
国家自然科学基金
0+阅读 · 2009年12月31日
基于2D视频视觉关注度的3D重建方法研究
国家自然科学基金
0+阅读 · 2009年12月31日
基于本体的Deep Web搜索技术
国家自然科学基金
2+阅读 · 2009年12月31日
ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models
Arxiv
0+阅读 · 2022年4月19日
Coarse-to-Fine Reasoning for Visual Question Answering
Arxiv
0+阅读 · 2022年4月19日
End-to-end Dense Video Captioning as Sequence Generation
Arxiv
1+阅读 · 2022年4月18日
Towards Fine-grained Causal Reasoning and QA
Towards Fine-grained Causal Reasoning and QA
Arxiv
0+阅读 · 2022年4月15日
Image Captioning In the Transformer Age
Arxiv
1+阅读 · 2022年4月15日
Medical Visual Question Answering: A Survey
Arxiv
15+阅读 · 2021年11月19日
End-to-End Dense Video Captioning with Masked Transformer
Arxiv
14+阅读 · 2018年4月3日
VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions
Arxiv
17+阅读 · 2018年3月20日
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
Arxiv
14+阅读 · 2018年3月14日
Image Captioning using Deep Neural Architectures
Arxiv
20+阅读 · 2018年1月17日
VIP会员
相关主题
CVPR 2022
特征匹配
视频描述评估
视频描述
论文
相关VIP内容
【CVPR 2022】基于层次化视觉语言知识蒸馏的开放词汇单阶段检测，Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
【CVPR 2022】基于层次化视觉语言知识蒸馏的开放词汇单阶段检测，Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
专知会员服务
6+阅读 · 2022年3月19日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
【CVPR 2022】多模态视频字幕的端到端生成预训练，End-to-end Generative Pretraining for Multimodal Video Captioning
【CVPR 2022】多模态视频字幕的端到端生成预训练，End-to-end Generative Pretraining for Multimodal Video Captioning
专知会员服务
26+阅读 · 2022年3月3日
【CVPR 2022】使用多模态Transformer的端到端视频对象分割，End-to-End Referring Video Object Segmentation with Multimodal Transformer
【CVPR 2022】使用多模态Transformer的端到端视频对象分割，End-to-End Referring Video Object Segmentation with Multimodal Transformer
专知会员服务
27+阅读 · 2022年3月3日
【视频描述综述论文】Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
【视频描述综述论文】Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
专知会员服务
64+阅读 · 2020年5月12日
【ACL2020-浙大-微软】多轮对话推理数据集，MuTual: A Dataset for Multi-Turn Dialogue Reasoning
【ACL2020-浙大-微软】多轮对话推理数据集，MuTual: A Dataset for Multi-Turn Dialogue Reasoning
专知会员服务
36+阅读 · 2020年4月10日
【CVPR 2020-人大】 基于层次图推理的细粒度文本视频跨模态检索
【CVPR 2020-人大】 基于层次图推理的细粒度文本视频跨模态检索
专知会员服务
66+阅读 · 2020年4月5日
【北京大学】探索提取跨模态信息进行图像caption，Exploring and Distilling Cross-Modal Information for Image Captioning
【北京大学】探索提取跨模态信息进行图像caption，Exploring and Distilling Cross-Modal Information for Image Captioning
专知会员服务
51+阅读 · 2020年3月3日
近期必读的5篇AI顶会CVPR 2020 GNN (图神经网络) 相关论文
近期必读的5篇AI顶会CVPR 2020 GNN (图神经网络) 相关论文
专知会员服务
78+阅读 · 2020年3月3日
近期必读的7篇 CVPR 2019【视觉问答】相关论文和代码
近期必读的7篇 CVPR 2019【视觉问答】相关论文和代码
专知会员服务
35+阅读 · 2020年1月10日
热门VIP内容
相关资讯
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知
3+阅读 · 2022年3月17日
【CVPR2022】高分辨率和多样化的视频-文本预训练模型
【CVPR2022】高分辨率和多样化的视频-文本预训练模型
专知
0+阅读 · 2022年3月6日
CVPR 2020 | 细粒度文本视频跨模态检索
CVPR 2020 | 细粒度文本视频跨模态检索
AI科技评论
17+阅读 · 2020年3月24日
CVPR 2019视频描述（video caption）相关论文总结
CVPR 2019视频描述（video caption）相关论文总结
极市平台
36+阅读 · 2019年10月16日
文本+视觉，多篇 Visual/Video BERT 论文介绍
文本+视觉，多篇 Visual/Video BERT 论文介绍
AI科技评论
22+阅读 · 2019年8月30日
CVPR 2019 论文大盘点-目标跟踪篇
CVPR 2019 论文大盘点-目标跟踪篇
极市平台
20+阅读 · 2019年8月8日
【CV+NLP】更有智慧的眼睛：图像描述（Image Caption）&视觉问答（VQA）综述（上）
【CV+NLP】更有智慧的眼睛：图像描述（Image Caption）&视觉问答（VQA）综述（上）
极市平台
79+阅读 · 2019年1月20日
【论文推荐】最新六篇视觉问答相关论文—鲁棒性分析、虚拟意象、双曲注意力网络、R-VQA、关系推理、双线性注意力网络
【论文推荐】最新六篇视觉问答相关论文—鲁棒性分析、虚拟意象、双曲注意力网络、R-VQA、关系推理、双线性注意力网络
专知
17+阅读 · 2018年6月7日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
CVPR2017 VQA 任务冠军：基于双向注意力机制视觉问答pyTorch实现
CVPR2017 VQA 任务冠军：基于双向注意力机制视觉问答pyTorch实现
专知
48+阅读 · 2017年12月24日
相关基金
基于人眼关注度与情感分析的电子商务智能推荐计算
国家自然科学基金
0+阅读 · 2014年12月31日
基于Signature的几类可靠性问题探究
国家自然科学基金
0+阅读 · 2013年12月31日
基于信息论的测量诱发的非定域性研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于机器学习的局部图像特征描述与融合机制研究
国家自然科学基金
2+阅读 · 2012年12月31日
基于视觉语义推理与上下文约束建模的场景理解方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
新型可聚合缓蚀剂的合成及其在碳钢表面的原位聚合研究
国家自然科学基金
0+阅读 · 2011年12月31日
全局轨迹解析的通用框架和推理方法，以及在智能视频监控中的应用
国家自然科学基金
1+阅读 · 2011年12月31日
基于感知视觉单词描述的对象分割研究
国家自然科学基金
0+阅读 · 2009年12月31日
基于2D视频视觉关注度的3D重建方法研究
国家自然科学基金
0+阅读 · 2009年12月31日
基于本体的Deep Web搜索技术
国家自然科学基金
2+阅读 · 2009年12月31日
相关论文
ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models
Arxiv
0+阅读 · 2022年4月19日
Coarse-to-Fine Reasoning for Visual Question Answering
Arxiv
0+阅读 · 2022年4月19日
End-to-end Dense Video Captioning as Sequence Generation
Arxiv
1+阅读 · 2022年4月18日
Towards Fine-grained Causal Reasoning and QA
Towards Fine-grained Causal Reasoning and QA
Arxiv
0+阅读 · 2022年4月15日
Image Captioning In the Transformer Age
Arxiv
1+阅读 · 2022年4月15日
Medical Visual Question Answering: A Survey
Arxiv
15+阅读 · 2021年11月19日
End-to-End Dense Video Captioning with Masked Transformer
Arxiv
14+阅读 · 2018年4月3日
VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions
Arxiv
17+阅读 · 2018年3月20日
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
Arxiv
14+阅读 · 2018年3月14日
Image Captioning using Deep Neural Architectures
Arxiv
20+阅读 · 2018年1月17日
微信扫码咨询专知VIP会员
Top