pytorch relu6

tf代码是：

relu6 = min(max(features, 0), 6)

结果是把小于0的变成0，大于6的取6，y= torch.clamp(x,0,6)计算结果一样的。

缺点：这个训练收敛比较快，但是收敛比较好后，目标检测网络回归框不太准。


import torch
import torchvisionimport torch
import torch.nn as nn# inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出
x = torch.linspace(-5, 10, 20)r6 = nn.ReLU6(inplace=True)print(x)
y=r6(x)
print(y)relu= nn.ReLU(inplace=True)y=relu(x)
print(y)y2= torch.clamp(x,0,6)print(y2)

发现和clamp函数比较像

torch.clamp(input, min, max, out=None) → Tensor

参数：

input (Tensor) – 输入张量
min (Number) – 限制范围下限
max (Number) – 限制范围上限

pytorch relu6相关推荐

【pytorch】——exporting the operator relu6 to onnx opset version 13 is not supported
pytorch1.8.0, onnx F.relu6无法导出到onnx.应该是pytorch1.8.0没有定义relu6的导出规则,但是用nn.relu6是可以的. import torch impo ...
9 大主题卷积神经网络（CNN）的 PyTorch 实现
Datawhale干货作者:红色石头,北京大学,Datawhale伙伴大家还记得这张图吗? 之前,红色石头发文介绍过一份很不错的资源: 52 个深度学习目标检测模型汇总,论文.源码一应俱全! 深度 ...
Pytorch学习：Task4 PyTorch激活函数原理和使用
Pytorch学习:Task4 PyTorch激活函数原理和使用 1.torch.nn.ELU Sigmoid和ReLU结合体,具有左侧软饱和性 2.torch.nn.LeakyReLU 数学表达式: ...
PaddlePaddle, TensorFlow, MXNet, Caffe2 , PyTorch五大深度学习框架2017-10最新评测
前言本文将是2017下半年以来,最新也是最全的一个深度学习框架评测.这里的评测并不是简单的使用评测,我们将用这五个框架共同完成一个深度学习任务,从框架使用的易用性.训练的速度.数据预处理的繁琐程度, ...
【深度学习】9 大主题卷积神经网络（CNN）的 PyTorch 实现
大家还记得这张图吗? 之前,红色石头发文介绍过一份很不错的资源: 52 个深度学习目标检测模型汇总,论文.源码一应俱全! 深度系统介绍了 52 个目标检测模型,纵观 2013 年到 2020 年,从最 ...
如何使用PyTorch的量化功能？
背景在深度学习中,量化指的是使用更少的 bit 来存储原本以浮点数存储的 tensor,以及使用更少的 bit 来完成原本以浮点数完成的计算.这么做的好处主要有如下几点: 更少的模型体积,接近 4 ...
MobileNet(v1、v2)——CNN经典网络模型详解（pytorch实现）
在之前的文章中讲的AlexNet.VGG.GoogLeNet以及ResNet网络,它们都是传统卷积神经网络(都是使用的传统卷积层),缺点在于内存需求大.运算量大导致无法在移动设备以及嵌入式设备上运行. ...
c#和java部署pytorch同事识别两个图片_Pytorch转NCNN的流程记录
最近有一个比较火的ocr项目:chineseocr_lite[1],项目中很贴心地提供了ncnn的模型推理代码,只需要交叉编译opencv 添加一点bitmap转cv::Mat的代码写个简单的界面 ...
人脸检测论文：FaceBoxes: A CPU Real-time Face Detector with High Accuracy及其Pytorch实现
论文链接:https://arxiv.org/pdf/1708.05234.pdf PyTorch:https://github.com/shanglianlm0525/PyTorch-Network ...

pytorch relu6

pytorch relu6相关推荐

最新文章

热门文章