In this paper, we propose a generalizable mixed-precision quantization (GMPQ) method for efficient inference. Conventional methods require the consistency of datasets for bitwidth search and model deployment to guarantee the policy optimality, leading to heavy search cost on challenging largescale datasets in realistic applications. On the contrary, our GMPQ searches the mixed-quantization policy that can be generalized to largescale datasets with only a small amount of data, so that the search cost is significantly reduced without performance degradation. Specifically, we observe that locating network attribution correctly is general ability for accurate visual analysis across different data distribution. Therefore, despite of pursuing higher model accuracy and complexity, we preserve attribution rank consistency between the quantized models and their full-precision counterparts via efficient capacity-aware attribution imitation for generalizable mixed-precision quantization strategy search. Extensive experiments show that our method obtains competitive accuracy-complexity trade-off compared with the state-of-the-art mixed-precision networks in significantly reduced search cost. The code is available at https://github.com/ZiweiWangTHU/GMPQ.git.


翻译:在本文中,我们提出了一种通用的混合精度分解法(GMPQ),以有效推断。常规方法要求比特线搜索和模型部署的数据集的一致性,以保障政策的最佳性,导致在现实应用中对具有挑战性的大型数据集进行大量搜索的成本。相反,我们的GMPQ搜索了可以普遍化为大数据集的混合定量政策,只有少量数据,这样搜索成本就可以大大降低,而不会降低性能。具体地说,我们发现正确定位网络属性是在不同数据分布中进行准确视觉分析的一般能力。因此,尽管追求更高的模型准确性和复杂性,但我们通过以可实现的混精度分解战略搜索模拟,保持了四分位模型及其全精度对应方位的属性一致性。广泛的实验表明,我们的方法与最先进的混合精度交易网络相比,在大幅降低搜索成本的情况下获得了竞争性的精度-兼容性交易。代码可在 https://github.com/ZiwangUTH.

0
下载
关闭预览

相关内容

数据科学导论,722页pdf,讲述带R的数据分析与预测算法
专知会员服务
56+阅读 · 2021年9月11日
多样性算力技术愿景白皮书
专知会员服务
80+阅读 · 2021年4月29日
专知会员服务
76+阅读 · 2021年3月16日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【ST2020硬核课】深度学习即统计学习,50页ppt
专知会员服务
65+阅读 · 2020年8月17日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
已删除
将门创投
5+阅读 · 2019年5月5日
Arxiv
0+阅读 · 2021年10月6日
8-bit Optimizers via Block-wise Quantization
Arxiv
0+阅读 · 2021年10月6日
Arxiv
0+阅读 · 2021年10月6日
Arxiv
4+阅读 · 2019年2月8日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
VIP会员
相关VIP内容
数据科学导论,722页pdf,讲述带R的数据分析与预测算法
专知会员服务
56+阅读 · 2021年9月11日
多样性算力技术愿景白皮书
专知会员服务
80+阅读 · 2021年4月29日
专知会员服务
76+阅读 · 2021年3月16日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【ST2020硬核课】深度学习即统计学习,50页ppt
专知会员服务
65+阅读 · 2020年8月17日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
相关资讯
已删除
将门创投
5+阅读 · 2019年5月5日
Top
微信扫码咨询专知VIP会员