论文笔记 | FFConv: Fast Factorized Neural Network Inference on Encrypted Data
FFConv
- 问题背景
- 同态加密神经网络 (HENN)
- 打包加密
- 主要技术
- 低秩矩阵分解
- 分解打包(Factorized Packing, FactPack)
- 实验结果
- MNIST数据集
- CIFAR-10数据集
论文：https://arxiv.org/abs/2102.03494
云计算课要求报告的论文，技术上其实就是用了一个低秩矩阵分解技术+它带来的一些额外好处，和往常读的论文比更底层、更偏向数学的感觉。
问题背景
同态加密神经网络 (HENN)
- 能够为云中的隐私保护应用程序提供安全的神经网络推理
在客户端，明文数据以密文形式加密，然后将其传输到云服务器。在云中，对密文进行同态评估神经网络推理，以生成加密的预测。加密的预测返回给客户端以进行解密。由于云无法加密或解密数据，因此可以保护数据隐私。 - 代价是较高的推理延迟时间
主要由于大量的密文数据和对密文进行的计算代价很高的同态乘、加(HMA)操作。
打包加密
- 现代的同态加密密码系统使用打包加密来加速HENN推理
- DensePack
- ConvPack
- 尽管打包加密使得同态加密神经网络推理速度更快，但密文打包方案本身会引入代价昂贵的操作。为了在较大的问题上实现更好的性能，打包方案会增加网络宽度和深度，从而加剧推理延迟时间。
主要技术
- 低秩矩阵分解
加速对加密数据的神经网络推理，而无需对卷积层的配置施加任何约束。 - 分解打包(Factorized Packing, FactPack)
将分解式卷积与不同的密文打包方案无缝集成，以最大程度地减少打包带来的开销。
好处：
- 更好地解决了推理延迟
- 第一个能够同时加速由不同密文打包方案引起的开销的工作，而不会显着增加噪声预算
低秩矩阵分解
与高效网络架构的关系
- 类似ResNet中模块Bottleneck的思想
- 激活函数Square的训练不稳定易收敛到局部最小值或梯度爆炸，故比起从头开始训练手动设计的卷积模块W1和W2使用低秩矩阵分解效果更好。
优于过滤修剪(Filter Pruning)
- 同等准确率下速度更快
- 可以减少由ConvPack引起的Im2Col开销
分解打包(Factorized Packing, FactPack)
- 打包W1
- 与W相同kernel size，Oc’个filters (Oc’<Oc)
- DensePack或ConvPack
- 打包W2
- kernel = 1
- 使用ConvPack
实验结果
MNIST数据集
CIFAR-10数据集
论文笔记 | FFConv: Fast Factorized Neural Network Inference on Encrypted Data相关推荐
- 【论文笔记】Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos
这篇论文提出了一种称为管道卷积神经网络( tube convolutional neural network,T-CNN) 的结构,它是 Faster R-CNN 从 2D 到 3D 的扩展.该方法先 ...
- AI医药论文笔记DeepDDS: deep graph neural network with attention mechanism to predict synergistic drug....
DeepDDS:具有注意机制的深度图神经网络预测协同用药 文章目录 DeepDDS:具有注意机制的深度图神经网络预测协同用药 一.模型? 二.具体方法? 三.实验结果? 一.模型? DeepDDS : ...
- 论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章 目录 论文学习笔记 POSEID ...
- 模型量化论文阅读#1----综述：A Survey of Quantization Methods for Efficient Neural Network Inference
1. 量化的基本概念 A. 问题设置和符号表示 假设网络有L层,其每层的参数表示为:{W1,W2,-,WL}\left\{W_{1}, W_{2}, \ldots, W_{L}\right\}{W1 ...
- 论文阅读：Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos
Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos 文章目录 Tube Convolutional Neu ...
- 【论文阅读】Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
最近在看3d目标检测的文章,感觉看完东西还是要记一下自己的想法,尤其是有思考的文章. 论文题目:Point-GNN: Graph Neural Network for 3D Object Detect ...
- Deep Compressive Offloading: Speeding Up Neural Network Inference by Trading Edge Computation for ..
Deep Compressive Offloading: Speeding Up Neural Network Inference by Trading Edge Computation for Ne ...
- DPLink: User Identity Linkage via Deep Neural Network From Heterogeneous Mobility Data 阅读笔记
DPLink: User Identity Linkage via Deep Neural Network From Heterogeneous Mobility Data WWW2019paper ...
- [论文阅读] 《Compiling ONNX Neural Network Models Using MLIR》
文章目录 <Compiling ONNX Neural Network Models Using MLIR> 要解决的问题 名字由来 解决方法 <Compiling ONNX Neu ...
最新文章
- 你做过的项目会逐渐形成你自己的认知和别人对于你的看法～剑桥工程硕士陶瓷有感
- oracle时间运算
- 04-正则解析+bs4基础爬虫
- ubuntu14.04 python2.7 安装配置OpenCV3.0
- http请求中的Query String Parameters、Form Data、Request Payload
- C# 合并BitMap图像，生成超大bitmap
- clickhouse原理解析与应用实践 pdf_阿里专家分享内部绝密RocketMQ核心原理与最佳实践PDF...
- 如何在面试中脱颖而出？
- (html字体图片纯css插件)Font Awesome
- opencore 启动总是在win_OpenCore引导开机倒计时自动进入指定系统盘，修改默认启动项教程...
- ECCV 2022 | k-means Mask Transformer
- 【Day42 文献精读】A Bayesian Model of Perceived Head-Centered Velocity during Smooth Pursuit Eye Movement
- Android Studio build失败情况解决方案
- python logging日志输出个文件中
- 电子计算机的四个名称,文件夹,文件夹名称唯美四个
- 巨量算数data解密
- 程序员：怎样才能学好英语？
- Combining Compositional Models and Deep Networks For Robust Object Classification under Occlusion阅读
- java字符下落,重力球，加速下落减速上弹，重力下落,这段代码是看到网上一个关...
- 小数分频超详解+实例