作者 | MediaPipe 团队

来源 | TensorFlow（ID：tensorflowers）

MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌，一系列重要产品，如 YouTube、Google Lens、ARCore、Google Home 以及 Nest，都已深度整合了 MediaPipe。

注：MediaPipe GitHub 链接

https://github.com/google/mediapipe

作为一款跨平台框架，MediaPipe 不仅可以被部署在服务器端，更可以在多个移动端 （安卓和苹果 iOS）和嵌入式平台（Google Coral 和树莓派）中作为设备端机器学习推理 （On-device Machine Learning Inference）框架。

为什么需要 MediaPipe？

一款多媒体机器学习应用的成败除了依赖于模型本身的好坏，还取决于设备资源的有效调配、多个输入流之间的高效同步、跨平台部署上的便捷程度、以及应用搭建的快速与否。

基于这些需求，谷歌开发并开源了 MediaPipe 项目。除了上述的特性，MediaPipe 还支持 TensorFlow 和 TF Lite 的推理引擎（Inference Engine），任何 TensorFlow 和 TF Lite 的模型都可以在 MediaPipe 上使用。同时，在移动端和嵌入式平台，MediaPipe 也支持设备本身的 GPU 加速。

MediaPipe 演示案例

在今年六月举行的 CVPR 会议上，Google Research 开源了 MediaPipe 的预览版。为方便开发者学习和使用，我们提供了多个桌面系统和移动端的示例。作为一款应用于多媒体的框架，现已开源的安卓和苹果 iOS 示例包括：

• 3D 手部标志追踪（3D Hand Tracking）

• BlazeFace 人脸检测（Face Detection）
• 改换发色（Hair Segmentation）
• 物体检测（Object Detection）

              3D 手部标志追踪                 

MediaPipe 主要概念

注：计算单元 链接 

https://github.com/google/mediapipe/tree/master/mediapipe/calculators

• MediaPipe 苹果 iOS Hello World! 教程和代码
• MediaPipe 安卓 Hello World! 教程和代码

注：MediaPipe BlazePlam 手掌检测应用 链接

https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_detection_mobile_gpu.md

• MediaPipe GitHub & 联系我们
  https://github.com/google/mediapipe
  mediapipe@google.com
• MediaPipe ReadtheDocs 文档
  https://mediapipe.readthedocs.io/en/latest/
• MediaPipe BlazeFace 人脸检测应用
  https://github.com/google/mediapipe/blob/master/mediapipe/docs/face_detection_mobile_gpu.md
• MediaPipe 手部标志追踪应用
  https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md
• MediaPipe 改换发色应用
  https://sites.google.com/corp/view/perception-cv4arvr/hair-segmentation
• MediaPipe 示例
  https://github.com/google/mediapipe/blob/master/mediapipe/docs/examples.md
• MediaPipe 苹果 iOS Hello World! 教程和代码
  https://github.com/google/mediapipe/blob/master/mediapipe/docs/hello_world_ios.md
• MediaPipe 安卓 Hello World! 教程和代码
  https://github.com/google/mediapipe/blob/master/mediapipe/docs/hello_world_android.md
• MediaPipe Visualizer
  https://viz.mediapipe.dev
• MediaPipe Third Workshop on Computer Vision for AR/VR 论文
  https://sites.google.com/corp/view/perception-cv4arvr/mediapipe

(*本文为AI科技大本营转载文章，转载请联系作者)

◆

精彩推荐

◆

倒计时！由易观携手CSDN联合主办的第三届易观算法大赛还剩 7 天，冠军团队将获得3万元！

本次比赛主要预测访问平台的相关事件的PV,UV流量（包括Web端，移动端等），大赛将会提供相应事件的流量数据，以及对应时间段内的所有事件明细表和用户属性表等数据，进行模型训练，并用训练好的模型预测规定日期范围内的事件流量。

推荐阅读

• 知乎算法团队负责人孙付伟：Graph Embedding在知乎的应用实践

• 必看，61篇NeurIPS深度强化学习论文解读都这里了

• 打破深度学习局限，强化学习、深度森林或是企业AI决策技术的“良药”

• 激光雷达，马斯克看不上，却又无可替代？

• 卷积神经网络中十大拍案叫绝的操作

• Docker是啥？容器变革的火花？

• 5大必知的图算法，附Python代码实现

• 阿里云弹性计算负责人蒋林泉：亿级场景驱动的技术自研之路

• 40 岁身体死亡，11 年后成“硅谷霍金”，他用一块屏幕改变 100 万人！

• AI大神如何用区块链解决模型训练痛点, AI+区块链的正确玩法原来是这样…… | 人物志

你点的每个“在看”，我都认真当成了喜欢