TVM 高效保护隐私 ML

这篇文章描述了Myelin，一个在值得信赖的硬件飞地中保护隐私的机器学习框架，以及TVM如何使Myelin快速。关键的想法是，TVM，不像其它流行的ML框架，将模型编译成轻量级，优化，免费依赖库，可以适应资源有限利用。

尝试创建保护隐私的ML模型！查看 TVM可用的repo示例代码。
目的：隐私保护ML
机器学习模型受益于庞大而多样化的数据集。遗憾的是，使用此类数据集通常需要信任集中数据聚合器或计算提供商。对于敏感的应用程序，如医疗保健和金融，这是不可取的，因为可能会损害患者的隐私或泄露商业机密。安全和隐私保护计算（包括可信执行环境和差异隐私）的最新进展为相互不信任的各方提供了一种方法，在不影响训练数据的情况下，高效训练机器学习模型。使用TVM快速保护隐私ML框架。

使用案例
• 私人 MLaaS：云提供商在数据上运行架构。获得模型输出，数据保持私密性，云提供商知道无法窃取模型。
• 值得信赖的ML比赛：训练一个模型的比赛数据。竞赛组织者向模型发送私人测试数据，并获取可验证的准确性报告。模型保持安全，直到组织者决定购买。其他参与者不能通过测试数据训练作弊。
• 共享私人数据训练：（研究人员）希望对几家医院的数据进行模型训练。直接共享太复杂了。相反，让"受信任的第三方"训练隐私保护模式。
• 区块链上的ML
背景

受信任的执行环境
受信任的执行环境（TEE）基本上允许远程用户在不向硬件提供商透露计算的情况下，在人的计算机上强制运行代码。
技术上，TEE 提供了隔离/加密内存和 CPU 寄存器的安全区域;也是一个值得信赖的随机性来源。TEE 还可以发送已加载代码的签名证明，以便远程用户可以验证飞地是否正确加载。这个过程，称为远程证明，可用于建立一个安全的通信通道进入区域。然后，远程用户可以提供私钥、模型参数和训练数据等机密。
与安全多平价计算（MPC）和全同构加密（FHE）等纯加密方法相比，TEE 是几个数量级更快，支持通用计算（即不只是算术操作）。也许唯一的缺点是信任硬件key（将密钥集成到处理器）和加载软件中的附加信任假设。
尽管存在信任假设，TEE 技术正变得越来越普遍，并在实际隐私保护方面发挥着重要作用。事实上，通用TEE已经存在于商品硬件，如英特尔SGX和ARM信托区。此外，全开源 Keystone enclave即将上路。
差别隐私

差异隐私（DP）提供了正式的保证，即在类似数据集上训练的模型，在非正式上是无法区分的，用户的隐私不会因为选择向模型贡献数据而受到影响。
换句话说，鉴于算法在两个数据集上的输出仅在单个记录中有所不同，差异隐私上限限制了对手确定哪个数据集的概率。使用为算法输出增加噪音的机制，可以制作 DP 算法。噪声量根据输出取决于任何特定输入的程度进行校准。熟悉假设测试，如果结果 A 和 B 各有概率 0.5，则应用 DP 机制就像与概率分布的汇合：隐私位于误报和假负率中。由于深度学习模型往往概括良好，噪音量往往低于预期。
在 TEE 中运行 DP 训练算法可确保忠实地应用 DP 机制。
使用 TVM 高效保护隐私 ML
使用 TEE 工作的主要挑战之一是，运行在内部的代码无法访问不受信任的操作系统。这意味着受信任的软件无法创建线程或执行 I.O 。实际上结果，像 OpenBLAS 这样的数字库（更不用说像 PyTorch 和 TensorFlow 这样的框架）不能直接在飞地中运行。
TEES 实际上具有与资源约束的硬件加速器类似的编程模型。这正是TVM的用之用！在隐私工作流程中，用户首先用高级图形规范语言定义整个训练图。TVM编译模型并输出包含优化数值内核的静态库，这些内核可以轻松加载到 TEE 中。由于内核是自动生成的，并且具有严格的边界检查，暴露了低表面积的攻击。由轻量级内存安全锈runtime支持，也很容易被审查的安全性和正确性。
当然，安全在实际适用时最有用。幸运的是，飞地中的 TVM 模块具有与基于本地 CPU 的训练类似的性能。通过使用不受信任的runtime协调线程，单个 TVM 飞地可以充分利用其主机的资源。此外，不难想象一个安全参数服务器，协调了整个数据中心飞地的机器。
TVM 也为更细微的隐私保护算法提供更微妙的优化机会。事实上，细粒格的调度功能允许使用差分隐私时加快速度。例如，从剪切每个训练示例的梯度，向每个添加噪音中，可以获得最严格的 DP 界限。在自动完成框架中，这需要转发 minibatch 中每个示例的模型（尽管只需要一个向后传递）。使用 TVM，每个示例的渐变剪切很简单：在批次和功能尺寸上，将每次权重更新，重排为单次减量，而是将减量分为两部分。减少功能后，剪切和noising，然后最终的结果总结的例子，以获得重量更新。因此，TVM 允许应用差异隐私，而无需引入高于技术要求的开销。此外，如果一个人真的想要得到真正的cost，可能融合剪裁和noising操作，应用到位，以进一步削减延迟和内存的使用。

TVM 高效保护隐私 ML相关推荐

“高效的隐私保护的张量分解方法研究”学习笔记（上）
高效的隐私保护的张量分解方法研究张量理论基础张量分解 CP分解 TUCKER分解 Bi-Lanczos 算法张量链分解同态加密相关基础这个笔记是学习张荣皓的"高效的隐私保护的张量分 ...
保护隐私的 Structure-from-Motion （SfM）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达标题:Privacy Preserving Structure-from-Motion 作者:Marc ...
蚂蚁资深算法专家周俊：从原理到落地，支付宝如何打造保护隐私的共享智能？...
中生代技术链接技术大咖,分享技术干货全文:6000字随着互联网技术发展,人们对于隐私保护的要求不断提升,世界各国纷纷都出台法律法规保护人们的隐私.前段时间我国发布了<民法典>,明确了 ...
如何看待李开复演讲称早期帮旷视拿了蚂蚁金服大量人脸数据，以及李开复、蚂蚁和旷视的澄清？该如何保护隐私？...
中生代技术链接技术大咖,分享技术干货接力技术,链接价值 IT之家报道:9月12日上午,李开复在 HICOOL 全球创业者峰会上表示,曾在早期帮助旷视科技公司找了包括美图和蚂蚁金服等合作伙伴,让他们 ...
sihpostreboot关闭没有权限_安卓保护隐私，给APP一次性的权限
安卓某些 APP 偷偷获取你隐私资料是老生常谈的话题了,虽然从去年开始网信办.工业和信息化部就加大打击整治侵犯公民个人信息违法犯罪力度,组织开展 APP 违法违规采集个人信息集中整治. 不过安卓 AP ...
linux作为生产力工具_适用于Linux的顶级音乐播放器，可保护隐私的社交媒体替代品，打印技巧，生产力工具等
linux作为生产力工具上周,凯文·桑尼(Kevin Sonney)的开源工具系列受到读者的欢迎,有关建立敏捷团队 ,保护隐私的社交媒体替代品以及Linux的开源音乐播放器的文章也受到了读者的欢迎. ...
FKGE：合格的知识图谱嵌入已经学会保护隐私啦！
来源 | ACT_BIGDATA 本文介绍我们最近的一项被CIKM 2021录用的工作<Differentially Private Federated Knowledge Graphs Emb ...
李彦宏：AI 企业要保护隐私；罗永浩回应酷派“欠钱不还”；ofo 郑州公司人去楼空 | 极客头条...
「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有料的新闻资讯,让所有技术人,时刻紧跟业界潮流. 快讯速知李 ...
隐私保护举例_完美保护隐私
隐私保护举例 Data privacy has been called "the most important issue in the next decade," and ha ...

TVM 高效保护隐私 ML

TVM 高效保护隐私 ML相关推荐

最新文章

热门文章