ncnn发布20220420版本，让Vulkan神经网络推理得更快

ncnn是腾讯开源的手机端极致优化的高性能神经网络前向计算框架。

https://github.com/Tencent/ncnn

Vulkan是一个低开销、跨平台的3D图形与计算的API标准。

https://www.vulkan.org/

相较于基于cuda/cudnn的GPU加速方案，Vulkan具有更好的兼容性和可移植性，分发时二进制体积小等特点。

cuda

仅支持 Windows/Linux

仅支持 nvidia GPU

运行库体积庞大，1GB+，

且依赖特定的驱动版本

vulkan

支持平台 Windows/Linux

/macOS/Android/iOS

支持 GPU intel

/amd/nvidia/apple/qcom/mali

仅依赖系统显卡驱动，无额外依赖

近期，ncnn发布了20220420版本，基于Vulkan API对GPU推理做了大量优化，让神经网络在GPU推理更快。

实现 convolution implicit gemm

实现 deconvolution gemm+col2im

融合 winograd transform 与 padding

改善 winograd convolution 选择策略

拆分 innerproduct 为两步骤提高并行度

运用 shared memory 优化访存性能

运用 nvidia tensorcore Vulkan

扩展优化矩阵乘

修复最新 MoltenVK 兼容性问题

VapourSynth，SVP，FlowFrames，Video2x等项目集成了基于ncnn Vulkan实现的视频超分补帧功能，帮助内容创作者生成高画质的视频。更新到最新版ncnn后，不少用户发现这些AI应用ncnn版甚至比PyTorch cuda版更快了。

ncnn 20220420版本下载地址(linux/windows/macos/android/ios/webassembly，cpu+gpu)

https://github.com/Tencent/ncnn/releases/tag/20220420

ncnn 20220420版本的

其他更新

x86 avx512 优化

mips msa int8 优化

新支持 Windows ARM

新支持龙芯 LoongArch 架构

测试平台：RTX2070，Linux x86_64

测试平台：RK3399，Android aarch64

最后，欢迎点击下方链接或左下角“阅读原文”访问ncnn项目主页，看README加ncnn技术交流QQ群，与一线工程师和众多大佬直接交流。

https://github.com/Tencent/ncnn

ncnn发布20220420版本，让Vulkan神经网络推理得更快相关推荐

苹果发布最新版本系统，弥补iOS 11耗电快等问题
距之前苹果发布最新操作系统iOS 11(北京时间9月20日)不过一周,苹果公司于今天凌晨推出iOS 11的第一个软件升级版本,数字版本号为iOS 11.0.1,支持iPhone及iPad,然而本次升级 ...
阿里巴巴开源轻量级深度神经网络推理引擎MNN
点击我爱计算机视觉标星,更快获取CVML新技术导读:在移动端进行深度神经网络推理,可以使用腾讯开源的ncnn,或者小米开源的Mace,还有百度家的Paddle-Mobile,他们可以帮助开发者在无需 ...
【硬核】自己动手实现轻量级神经网络推理框架
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨东林钟声@知乎(已授权) 来源丨https://zhuanla ...
自己动手实现轻量级神经网络推理框架
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨东林钟声@知乎(已授权) 来源丨https://zhuanla ...
神经网络推理_分析神经网络推理性能的新工具
神经网络推理 Measuring the inference time of a trained deep neural model on different hardware devices is ...
基于TensorRT的神经网络推理与加速
一. 引言 NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用于图像分类.分割和目标检测等,可提供最大的推理吞吐量和效率.Te ...
论文学习记录20200605：隐私保护神经网络推理[USENIX2020]
DELPHI: A Cryptographic Inference Service for Neural Networks DELPHI是一个安全的神经网络预测系统. 背景 : 许多公司为用户提供神经 ...
Oracle宣称Java将每半年发布一个版本
2019独角兽企业重金招聘Python工程师标准>>> Oracle近日宣布,他们将Java的发布频率改为每六个月一次. JCP执行委员会在八月份的会议上提到了这一说法,随后,Ora ...
webstorm github怎么用_前端开发神器WebStorm发布最新版本2019.3，代码完成更加智能...
WebStorm是一款深受广大程序员喜爱的JavaScript 开发和Web前端开发工具,完美适应各种复杂客户端开发和Node.js的服务器端开发.2019.3版本的启动速度提高了20%,对Vue.j ...
Metasploit发布了版本5.0.76
Metasploit发布了版本5.0.76 在该版本中,增加了以下模块: (1)增强了set payload命令的输入.用户在指定payload时,在payload名称前可以使用/payload.pa ...

ncnn发布20220420版本，让Vulkan神经网络推理得更快

ncnn发布20220420版本，让Vulkan神经网络推理得更快相关推荐

最新文章

热门文章