会员服务
INFORMS · 信息检索 · SIGIR · 语言模型化 · SIGIR 2024 ·
8 月 9 日
Report on the 1st Workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) at SIGIR 2024
翻译：暂无翻译
Hossein A. Rahmani,Clemencia Siro,Mohammad Aliannejadi,Nick Craswell,Charles L. A. Clarke,Guglielmo Faggioli,Bhaskar Mitra,Paul Thomas,Emine Yilmaz
Hossein A. Rahmani,Clemencia Siro,Mohammad Aliannejadi,Nick Craswell,Charles L. A. Clarke,Guglielmo Faggioli,Bhaskar Mitra,Paul Thomas,Emine Yilmaz
from arxiv, LLM4Eval Workshop Report

The first edition of the workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) took place in July 2024, co-located with the ACM SIGIR Conference 2024 in the USA (SIGIR 2024). The aim was to bring information retrieval researchers together around the topic of LLMs for evaluation in information retrieval that gathered attention with the advancement of large language models and generative AI. Given the novelty of the topic, the workshop was focused around multi-sided discussions, namely panels and poster sessions of the accepted proceedings papers.


翻译：暂无翻译
0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文，扩大了运筹学和计算的范围，寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文，以及描述新的和有用的软件工具的论文。官网链接：https://pubsonline.informs.org/journal/ijoc
【CVPR 2022】基于元内存传输的跨域少镜头语义分割，Remember the Difference: Cross-Domain Few-Shot Semantic Segmentation via Meta-Memory Transfer
【CVPR 2022】基于元内存传输的跨域少镜头语义分割，Remember the Difference: Cross-Domain Few-Shot Semantic Segmentation via Meta-Memory Transfer
专知会员服务
12+阅读 · 2022年3月12日
【CVPR 2022】一种无需使用负样本的自监督学习方法，Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes
【CVPR 2022】一种无需使用负样本的自监督学习方法，Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes
专知会员服务
14+阅读 · 2022年3月12日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
53+阅读 · 2020年1月30日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
RL解决'BipedalWalkerHardcore-v2' (SOTA)
RL解决'BipedalWalkerHardcore-v2' (SOTA)
CreateAMind
31+阅读 · 2019年7月17日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16（1）
From Softmax to Sparsemax-ICML16（1）
KingsGarden
72+阅读 · 2016年11月26日
城市“建成环境——空间行为”的多尺度影响关系与机理研究
国家自然科学基金
10+阅读 · 2017年12月31日
“Fishes-in-net” 酵母孢子微胶囊式近平滑假丝酵母SCRII酶有机相高效手性合成机制研究
国家自然科学基金
2+阅读 · 2016年12月31日
DMB信号水汽探测方法若干问题研究
国家自然科学基金
1+阅读 · 2015年12月31日
高频ZnO/IDT/SiO2/金刚石SAW乳腺癌抗原免疫传感器研究
国家自然科学基金
0+阅读 · 2015年12月31日
氢键(O:H-O)受激弛豫势能路径的键弛豫理论与声子谱学实验标定
国家自然科学基金
0+阅读 · 2015年12月31日
Weyl半金属TaAs/NbAs在极端条件下的输运性质研究
国家自然科学基金
0+阅读 · 2015年12月31日
动态Gr？bner 基与GVW算法
国家自然科学基金
0+阅读 · 2014年12月31日
“杰文斯”悖论、能效政策改进与“双控目标”分解
国家自然科学基金
0+阅读 · 2014年12月31日
海量Web用户生成内容物化关键技术
国家自然科学基金
1+阅读 · 2014年12月31日
水窗及水窗附近软X射线激光研究
国家自然科学基金
0+阅读 · 2014年12月31日
Individuation in Neural Models with and without Visual Grounding
Arxiv
0+阅读 · 9月27日
Esports Debut as a Medal Event at 2023 Asian Games: Exploring Public Perceptions with BERTopic and GPT-4 Topic Fine-Tuning
Arxiv
0+阅读 · 9月27日
HW-TSC's Submission to the CCMT 2024 Machine Translation Tasks
Arxiv
0+阅读 · 9月27日
Report on the Workshop on Simulations for Information Access (Sim4IA 2024) at SIGIR 2024
Arxiv
0+阅读 · 9月26日
Harnessing the Potential of Gen-AI Coding Assistants in Public Sector Software Development
Arxiv
0+阅读 · 9月25日
NTIRE 2024 Challenge on Stereo Image Super-Resolution: Methods and Results
Arxiv
0+阅读 · 9月25日
Setting the AI Agenda -- Evidence from Sweden in the ChatGPT Era
Arxiv
0+阅读 · 9月25日
Evaluating Usability and Engagement of Large Language Models in Virtual Reality for Traditional Scottish Curling
Arxiv
0+阅读 · 9月25日
How to Bridge the Gap between Modalities: A Comprehensive Survey on Multimodal Large Language Model
Arxiv
17+阅读 · 2023年11月10日
Deep LOGISMOS: Deep Learning Graph-based 3D Segmentation of Pancreatic Tumors on CT scans
Arxiv
13+阅读 · 2018年1月25日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
INFORMS
信息检索
SIGIR
语言模型化
SIGIR 2024
相关VIP内容
【CVPR 2022】基于元内存传输的跨域少镜头语义分割，Remember the Difference: Cross-Domain Few-Shot Semantic Segmentation via Meta-Memory Transfer
【CVPR 2022】基于元内存传输的跨域少镜头语义分割，Remember the Difference: Cross-Domain Few-Shot Semantic Segmentation via Meta-Memory Transfer
专知会员服务
12+阅读 · 2022年3月12日
【CVPR 2022】一种无需使用负样本的自监督学习方法，Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes
【CVPR 2022】一种无需使用负样本的自监督学习方法，Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes
专知会员服务
14+阅读 · 2022年3月12日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
53+阅读 · 2020年1月30日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
热门VIP内容
相关资讯
RL解决'BipedalWalkerHardcore-v2' (SOTA)
RL解决'BipedalWalkerHardcore-v2' (SOTA)
CreateAMind
31+阅读 · 2019年7月17日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16（1）
From Softmax to Sparsemax-ICML16（1）
KingsGarden
72+阅读 · 2016年11月26日
相关论文
Individuation in Neural Models with and without Visual Grounding
Arxiv
0+阅读 · 9月27日
Esports Debut as a Medal Event at 2023 Asian Games: Exploring Public Perceptions with BERTopic and GPT-4 Topic Fine-Tuning
Arxiv
0+阅读 · 9月27日
HW-TSC's Submission to the CCMT 2024 Machine Translation Tasks
Arxiv
0+阅读 · 9月27日
Report on the Workshop on Simulations for Information Access (Sim4IA 2024) at SIGIR 2024
Arxiv
0+阅读 · 9月26日
Harnessing the Potential of Gen-AI Coding Assistants in Public Sector Software Development
Arxiv
0+阅读 · 9月25日
NTIRE 2024 Challenge on Stereo Image Super-Resolution: Methods and Results
Arxiv
0+阅读 · 9月25日
Setting the AI Agenda -- Evidence from Sweden in the ChatGPT Era
Arxiv
0+阅读 · 9月25日
Evaluating Usability and Engagement of Large Language Models in Virtual Reality for Traditional Scottish Curling
Arxiv
0+阅读 · 9月25日
How to Bridge the Gap between Modalities: A Comprehensive Survey on Multimodal Large Language Model
Arxiv
17+阅读 · 2023年11月10日
Deep LOGISMOS: Deep Learning Graph-based 3D Segmentation of Pancreatic Tumors on CT scans
Arxiv
13+阅读 · 2018年1月25日
相关基金
城市“建成环境——空间行为”的多尺度影响关系与机理研究
国家自然科学基金
10+阅读 · 2017年12月31日
“Fishes-in-net” 酵母孢子微胶囊式近平滑假丝酵母SCRII酶有机相高效手性合成机制研究
国家自然科学基金
2+阅读 · 2016年12月31日
DMB信号水汽探测方法若干问题研究
国家自然科学基金
1+阅读 · 2015年12月31日
高频ZnO/IDT/SiO2/金刚石SAW乳腺癌抗原免疫传感器研究
国家自然科学基金
0+阅读 · 2015年12月31日
氢键(O:H-O)受激弛豫势能路径的键弛豫理论与声子谱学实验标定
国家自然科学基金
0+阅读 · 2015年12月31日
Weyl半金属TaAs/NbAs在极端条件下的输运性质研究
国家自然科学基金
0+阅读 · 2015年12月31日
动态Gr？bner 基与GVW算法
国家自然科学基金
0+阅读 · 2014年12月31日
“杰文斯”悖论、能效政策改进与“双控目标”分解
国家自然科学基金
0+阅读 · 2014年12月31日
海量Web用户生成内容物化关键技术
国家自然科学基金
1+阅读 · 2014年12月31日
水窗及水窗附近软X射线激光研究
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员
Top