python 手动实现gelu,sigmod

import matplotlib.pyplot as plt
import numpy as npdef sigmod(x):return 1.0/(1+np.exp(-x))def gelu(x):# gelu 为高斯误差线性单元，gelu(x) = xΦ(x),Φ(x) 正态分布的累积分布函数Φ(x)没有解析表达式，它的值可以通过数值积分、泰勒级数、或者渐近序列近似得到。# return 0.5*x*(1+ np.tanh(np.sqrt(2/np.pi)*(x+0.044715*np.power(x,3))))return x*sigmod(1.702*x) x = np.linspace(-5,5,50)
y = gelu(x)plt.plot(x,y)
plt.show()

python 手动实现gelu,sigmod相关推荐

Python手动编程实现斐波那契数列
Python手动编程实现斐波那契数列目录 Python手动编程实现斐波那契数列 #斐波那契数列起源 #斐波那契数列特点<
python手动将机器学习模型保存为json文件
python手动将机器学习模型保存为json文件 # 导入需要的包和库: # Import Required packages #-------------------------# Import t ...
Python深度学习基础（二）——反向传递概念透彻解析以及Python手动实现
反向传递概念透彻解析以及Python手动实现前言最简单的反向传递乘法层加法层激活函数的反向传递 Relu层 Sigmoid层带交叉熵误差的SoftMax层前言我们在感知机中采用了梯度下 ...
基于Python手动实现Harris角点检测
最近在上数字图像处理课程,需要使用Python手动编写Harris角点检测算法,但是网上几乎没有找到手动编写的,只能手敲. 同时作为自己的第一篇博客,在这里记录一下. 一.Harris角点检测原理( ...
python手动实现图像像素的kmeans聚类（附代码）
1.简介这篇文章主要是介绍了python使用kmeans算法来对图像中的像素进行聚类.整个kmeans算法为手动实现,不调用sklearn库.一共使用了两种方法,其中方法a.py使用了三通道像素值r ...
python 手动安装包的两种方法
python 手动安装包的两种方法对于 .tar.gz 的包来说解压缩文件 aaaxxxx-1.0.1.tar.gz 移动到压缩文件所在目录使用tar -zxvf aaaxxxx-1.0.1.t ...
python手动绘图_建筑师为什么要会python编程?
点击上方"ikuku消息"可以订阅哦! 作者: 马海东时间: 20203.19 数字时代建筑师面临的问题我们生存的这个时代是一个数字化的时代, 建筑师可以通过使用一系列与建筑设 ...
Python手动实现kmeans聚类和调用sklearn实现
1. 算法步骤随机选取k个样本点充当k个簇的中心点: 计算所有样本点与各个簇中心之间的距离,然后把样本点划入最近的簇中: 根据簇中已有的样本点,重新计算簇中心: 重复步骤2和3,直到簇中心不再改变或 ...
python 手动读取cifar10_Python搞定Excel，秒解决！大大提高工作效率
EXCEL是日常办公最常用的软件,然而遇到数据量特别大(超过10W条)或者需要很复杂的公式时就显得没那么方便了(卡卡卡),下面就看看一些python替代EXCEL的常用操作. X和Y代表地理位置,mo ...

python 手动实现gelu,sigmod

python 手动实现gelu,sigmod相关推荐

最新文章

热门文章