Many industries with convolutional neural network models offer privacy-preserving machine learning (PPML) classification service, that is, a service that performs classification of private data for clients while guaranteeing privacy. This work aims to study deep learning on the encrypted data using fully homomorphic encryption (FHE). To implement deep learning on FHE, ReLU and max-pooling functions should be approximated by some polynomials for homomorphic operations. Since the approximate polynomials studied up to now have large errors in ReLU and max-pooling functions, using these polynomials requires many epochs retraining for the classification of small datasets such as MNIST and CIFAR-10. In addition, large datasets such as ImageNet cannot be classified with high accuracy even with many epoch retraining using these polynomials. To overcome these disadvantages, we propose a precise polynomial approximation technique for ReLU and max-pooling functions. Since precise approximation requires a very high-degree polynomial, which may cause large numerical errors in FHE, we propose a method to approximate ReLU and max-pooling functions accurately using a composition of minimax approximate polynomials of small degrees. If we replace the ReLU and max-pooling functions with the proposed approximate polynomials, deep learning models such as ResNet and VGGNet, which have already been studied a lot, can still be used without further modification for PPML on FHE, and even pretrained parameters can be used without retraining. When we approximate ReLU function in the ResNet-152 using the composition of minimax approximate polynomials of degrees 15, 27, and 29, we succeed in classifying the plaintext ImageNet dataset for the first time with 77.52% accuracy, which is very close to the original model accuracy of 78.31%.


翻译:具有 convolual 神经网络模型的许多产业都提供了隐私保存机器学习(PPML) 分类服务, 也就是说, 这是一种为客户进行私人数据分类并同时保障隐私的服务。 这项工作的目的是使用完全同质加密( FHE) 来研究加密数据的深层次学习。 要在 FHE、 ReLU 和最大集合功能上进行深入学习, 应该用一些多数值学为同质性操作进行近似。 由于研究的近似多数值近似多数值在 ReLU 和最大集合参数中存在很大的错误, 也就是说, 使用这些多数值为客户提供对私人数据进行分类的服务, 也就是说, 使用这些多数值对小数据集进行重新分类( MNISTI) 和 CIRFF- 10 等小数据集进行再分类。 此外, 我们建议, 将大型数据集( 如图像网络) 的精密再分类( RIGIL ) 的精度函数, 使用最精确的RIL 和最精确的RIL 格式, 的精度功能是使用最精确的RIL 。

0
下载
关闭预览

相关内容

专知会员服务
44+阅读 · 2020年10月31日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
179+阅读 · 2020年4月26日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
已删除
将门创投
3+阅读 · 2018年10月11日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Arxiv
0+阅读 · 2021年7月15日
Arxiv
0+阅读 · 2021年7月14日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
VIP会员
相关VIP内容
专知会员服务
44+阅读 · 2020年10月31日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
179+阅读 · 2020年4月26日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
相关资讯
已删除
将门创投
3+阅读 · 2018年10月11日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Top
微信扫码咨询专知VIP会员