torch.erf()/gelu()/误差函数科普

erf() in Pytorch
torch.erf(tensor, out=None)
Computes the error function of each element. The error function is defined as follows:erf(x)=2π∫0xe−t2dterf(x)=\frac{2}{\pi}\int_0^xe^{-t^2}dterf(x)=π2∫0xe−t2dt
What is error function?
Error function (also called the Gauss error function) is a special function (non-elementary) of sigmoid shape that occurs in probility, statistics, and partial differential equations describing diffusion.
Look at the picture:

import numpy as np
from scipy import integrate
import matplotlib.pyplot as plt
x = np.linspace(-5,5,100)
erf = []
sigmoid = []
for x_ in x:erf.append( integrate.quad(lambda t:np.exp(-t**2),-x_,x_) / np.sqrt(np.pi))
plt.plot(erf)
plt.grid(True)
plt.show()

阅读：https://www.cnblogs.com/htj10/p/8621771.html

torch.erf()/gelu()/误差函数科普相关推荐

torch.nn.GELU
m = nn.GELU() input = torch.randn(2) output = m(input) 误差函数图在数学中,误差函数(亦称高斯误差函数),通常表示为ERF,是一个复变量的复函数 ...
关于erf（误差函数）思考
百度百科: 在数学中,误差函数(也称之为高斯误差函数)是一个非基本函数(即不是初等函数),其在概率论.统计学以及偏微分方程中都有广泛的应用. MATLAB在线帮助文档: ERF Error funct ...
常用激活函数(relu,glu,gelu,swish等)
文章目录 sigmoid Tanh Relu leaky relu PRelu ELU GLU/GTU gelu swish 激活函数使用原则激活函数的主要作用是提供网络的非线性建模能力. 本文简要 ...
GLU, sparsemax, GELU激活函数
1. GLU/GTU 门控机制激活函数 GLU: 其中, W,V,b,cW,V,b,cW,V,b,c 都是可以学习的参数. GTU: f(X) = tanh(X*W+b) * O(X*V+c) 2. ...
【pytorch】正态分布（高斯分布）、Q函数、误差函数、互补误差函数
目录 1 正态分布(高斯分布) 2 Q函数 3 误差函数 torch.erf() 4 互补误差函数 5 关系转换 1 正态分布(高斯分布) 若随机变量 X X X 服从一个均值为 μ μ
用pytorch构造GELU激活函数
因为一些原因必须使用python2+低版本的pytorch来跑代码,其中就遇到了低版本pytorch没有封装GELU激活函数的情况,所以在网上把该函数的源码找到了,自己构造了一个基于nn.Module ...
22个激活函数，ReLU、RReLU、LeakyReLU、PReLU、Sofplus、ELU、CELU、SELU、GELU、ReLU6、Sigmoid、Tanh、Softsign、Hardtanh等
转自:https://www.pianshen.com/article/33331174884/ 1.22.Linear常用激活函数 1.22.1.ReLU torch.nn.ReLU() 1.22. ...
小白学Pytorch系列-- Torch API (5)
小白学Pytorch系列-- Torch API (5) Math operations Pointwise Ops TORCH.ABS 计算输入中每个元素的绝对值. >>> t ...
正态分布（高斯分布）、Q函数、误差函数、互补误差函数（定义，意义及互相之间的关系）高斯分布的分布概率反解
1.正态分布参考博客:https://www.cnblogs.com/htj10/p/8621771.html 概率密度函数的意义:理解概率密度函数 - 知乎 (zhihu.com) 若随机变量服 ...
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录一. GPT系列 1.1 GPTs(OpenAI,2018--2020) 1.2 InstructGPT(2022-3) 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT(20 ...

torch.erf()/gelu()/误差函数科普

torch.erf()/gelu()/误差函数科普相关推荐

最新文章

热门文章