神经网络量化已被证明是一种有效的方法,可显著降低深度学习模型在资源受限设备上的内存占用与计算开销。然而,传统的量化方法通常依赖于对训练数据的访问,在实际应用中,这在隐私保护、安全性或合规性方面常常难以实现。**零样本量化(Zero-shot Quantization, ZSQ)**作为一种新兴方案,能够在完全不依赖真实数据的前提下实现模型量化,因而展现出广阔的应用前景。

本文对当前 ZSQ 方法及其最新研究进展进行了系统综述。首先,我们对零样本量化问题进行了形式化定义,并指出该领域面临的核心挑战。接着,我们根据数据生成策略对现有 ZSQ 方法进行了分类,总结其研究动机、关键思想与主要结论。最后,本文还探讨了未来的研究方向,以期解决当前存在的局限性,推动 ZSQ 领域的持续发展。 据我们所知,本文是目前关于零样本量化问题的首篇系统性综述。

成为VIP会员查看完整内容
12

相关内容

大语言模型中的隐式推理:综合综述
专知会员服务
29+阅读 · 9月4日
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 5月5日
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
专知会员服务
134+阅读 · 2021年3月13日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
32+阅读 · 2018年6月29日
现代情感分析方法
算法与数学之美
14+阅读 · 2018年1月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
VIP会员
相关主题
相关VIP内容
大语言模型中的隐式推理:综合综述
专知会员服务
29+阅读 · 9月4日
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 5月5日
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
专知会员服务
134+阅读 · 2021年3月13日
相关资讯
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
32+阅读 · 2018年6月29日
现代情感分析方法
算法与数学之美
14+阅读 · 2018年1月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
相关论文
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
微信扫码咨询专知VIP会员