检索增强生成(RAG)已成为增强大型语言模型(LLM)外部知识的基础范式,在现代信息检索和知识密集型任务中发挥着重要作用。标准的RAG系统通常采用静态的检索-生成管道,并依赖语境知识注入,但对于需要多跳推理、适应性信息访问和更深入的外部知识整合的复杂任务,这种方法可能不尽如人意。受到这些局限性的启发,研究社区已经超越了静态检索和语境知识注入。 在新兴的研究方向中,本教程深入探讨了RAG的两个快速发展的互补性研究方向:动态RAG和参数化RAG。动态RAG探讨了在LLM生成过程中何时以及检索什么,从而实现对不断变化的信息需求的实时适应。参数化RAG则重新思考如何将检索到的知识整合,从输入级别的知识注入转向参数级别的知识注入,以提高效率和效果。本教程全面回顾了这两个方向的最新进展,分享了理论基础和实践洞见,以支持和激发RAG领域进一步的研究。

成为VIP会员查看完整内容
1

相关内容

【SIGIR2025教程】检索增强机器学习:合成与机会
专知会员服务
2+阅读 · 今天12:33
【CVPR2025教程】高效的文本到图像/视频建模
专知会员服务
11+阅读 · 6月11日
【KDD2024教程】RAG遇上LLMs:迈向检索增强的大语言模型
专知会员服务
65+阅读 · 2024年9月7日
【ACL2024】通过直接偏好优化的自训练提升链式思维推理
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
【CIKM2023教程】会话人工智能的数据增强,170页ppt
专知会员服务
45+阅读 · 2023年11月11日
【KDD2023教程】用文本编辑模型的快速文本生成, 190页ppt
专知会员服务
27+阅读 · 2023年8月10日
【ICRA2022】机器人强化学习工具教程, 附slides与视频
专知会员服务
40+阅读 · 2022年5月27日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
干货 | 视频显著性目标检测(文末附有完整源码)
计算机视觉战队
14+阅读 · 2019年4月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
170+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
472+阅读 · 2023年3月31日
Arxiv
24+阅读 · 2023年3月17日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
10+阅读 · 2021年2月26日
A Survey on Edge Intelligence
Arxiv
52+阅读 · 2020年3月26日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
VIP会员
相关VIP内容
【SIGIR2025教程】检索增强机器学习:合成与机会
专知会员服务
2+阅读 · 今天12:33
【CVPR2025教程】高效的文本到图像/视频建模
专知会员服务
11+阅读 · 6月11日
【KDD2024教程】RAG遇上LLMs:迈向检索增强的大语言模型
专知会员服务
65+阅读 · 2024年9月7日
【ACL2024】通过直接偏好优化的自训练提升链式思维推理
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
【CIKM2023教程】会话人工智能的数据增强,170页ppt
专知会员服务
45+阅读 · 2023年11月11日
【KDD2023教程】用文本编辑模型的快速文本生成, 190页ppt
专知会员服务
27+阅读 · 2023年8月10日
【ICRA2022】机器人强化学习工具教程, 附slides与视频
专知会员服务
40+阅读 · 2022年5月27日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
相关论文
Arxiv
170+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
472+阅读 · 2023年3月31日
Arxiv
24+阅读 · 2023年3月17日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
10+阅读 · 2021年2月26日
A Survey on Edge Intelligence
Arxiv
52+阅读 · 2020年3月26日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
微信扫码咨询专知VIP会员