Logistic函数

logistic函数的图,其中x在x轴上,s(x)在y轴上。

如果你想对双精度矩阵上的每个元素计算这个函数,这表示你想将这个函数应用到矩阵的每个元素上。

嗯,你是这样做的:

x=T.dmatrix('x')
s=1/(1+T.exp(-x))
logistic=theano.function([x],s)
print logistic([[1,2],[3,4]])[[ 0.73105858  0.88079708][ 0.95257413  0.98201379]]

在每个元素上执行logistic的原因是因为它的所有运算 —— 除法、加法、幂和除法 —— 本身是单个元素的操作。

同时计算多个值

Theano支持多输出功能。例如,我们可以同时计算两个矩阵ab之间每个元素的差、差的绝对值和平方差:

a,b=T.dmatrices('a','b')
diff=a-b
abs_diff=abs(a-b)
squared_diff=diff**2
f=theano.function([a,b],[diff,abs_diff,squared_diff])

注意:

dmatrices产生与你提供的名称一样多的输出。它是分配符号变量的一个快捷方式,我们将在教程中经常使用它。

当我们使用函数f,它返回三个变量。

print f([[1,1],[1,2]],[[1,1],[1,1]])[array([[ 0.,  0.],[ 0.,  1.]]), array([[ 0.,  0.],[ 0.,  1.]]), array([[ 0.,  0.],[ 0.,  1.]])]

为参数设置默认值

x,y=T.dscalars('x','y')
z=x+y
f=function([x,In(y,value=2)],z)
print f(2)4.0

这里使用In类,它允许你更详细地指定你的函数的参数的属性。这里,通过创建value字段设置为1的In实例,为y赋予默认值1。

具有默认值的输入必须遵循没有默认值的输入(类似Python的函数)。可以有多个具有默认值的输入。这些参数可以按位置或名称设置,和在标准Python中一样:

x,y,w=T.dscalars('x','y','w')
z=(x+y)*w
f=function([x,In(y,value=1),In(w,value=2,name='w_by_name')],z)
print f(1)
print f(1,2)
print f(1,1,1)
print f(1,w_by_name=1,y=0)
print f(1,w_by_name=1)4.0
6.0
2.0
1.0
2.0

In不知道作为参数传递的局部变量yw的名称。符号变量对象具有名称属性(在上面的示例中由dscalars设置)和它们是我们构建的函数中的关键字参数的名称。这是In(y, value = 1)中工作的机制。在In(w, value=2, name='w_by_name')的情况下。我们用一个这个函数使用的名称来覆盖符号变量的name属性。

使用共享变量

还可以利用内部状态生成一个函数。例如,假设我们想要一个累加器:在开始,状态被初始化为零。然后,在每次函数调用时,状态通过函数的参数增加。

首先我们定义累加器函数。它将其参数添加到内部状态,并返回旧的状态值。

这段代码引入了一些新的概念。shared函数构造所谓的共享变量。它们是符号变量和非符号变量的混合,其值可以在多个函数之间共享。共享变量就像dmatrices(...)返回的对象一样可以在符号表达式中使用,但它们还有一个内部值,定义在所有使用这个符号变量的函数中的值。它被称为共享变量,因为它的值在许多函数之间共享。该值可以通过.get_value().set_value()方法访问和修改。

from theano import shared
state=shared(0)
inc=T.iscalar('inc')
accumulator=function([inc],state,updates=[(state,state+inc)])

该代码中的另一个新东西是functionupdates参数。updates必须提供形式为(共享变量,新表达式)对的一个列表。它也可以是一个字典,其键是共享变量,值是新的表达式。无论哪种方式,它意味着“每当这个函数运行时,它将用相应表达式的结果替换每个共享变量的.value”。上面,我们的累加器用状态和增量总和取代state的值。

print state.get_value()
accumulator(1)
print state.get_value()
accumulator(200)
print state.get_value()0
1
201

可以重置状态。只需使用.set_value()方法:

state.set_value(-1)
accumulator(2)
print state.get_value()1

如上所述,你可以定义多个函数来使用相同的共享变量。这些函数都可以更新该值。

decrementor=function([inc],state,updates=[(state,state-inc)])
decrementor(2)
print state.get_value()-1

你可能想知道为什么存在更新机制。你总是可以通过返回新的表达式,并在NumPy中照常使用它们来实现类似的结果。更新机制可以是语法方便,但是它主要是为了效率。有时可以使用就地算法(例如低秩矩阵更新)更快地完成对共享变量的更新。此外,Theano对分配变量的位置和方式有更多的控制,这是在GPU上获得良好性能的重要因素之一。

可能会发生这种情况,你使用共享变量表达了某个公式,但你不想使用它的值。在这种情况下,你可以使用functiongivens参数为一个特定函数替换图中的特定节点。

state=shared(0)
inc=T.iscalar('inc')
fn_of_state=state*2+inc
#foo 必须和被替换的shared变量有相同的类型
foo=T.scalar(dtype=state.dtype)
skip_shared=function([inc,foo],fn_of_state,givens=[(state,foo)])
print skip_shared(1,3)#我们使用了3作为state,而不是0
print state.get_value()#old state值不变7
0

givens参数可用于替换任何符号变量,而不仅仅是共享变量。一般情况下,你可以替换常量和表达式。但要小心,不要让givens替换引入的表达式是共同依赖的,替换的顺序没有定义,所以替换必须以任何顺序工作。

在实践中,考虑givens的一个好方法是允许你用一个不同的表达式替换你的公式的任何部分,这个表达式的计算结果是一个相同形状和dtype的张量。

注意

Theano共享变量broadcast模式对于每个维度默认为False。共享变量大小可以随时间改变,所以我们不能使用形状来找到broadcastable的模式。如果你想要一个不同的模式,只要将它作为参数传递theano.shared(..., broadcastable=(True, False))

复制函数

Theano函数可以被复制,这对于创建类似的函数,但是使用不同的共享变量或更新是有用的。这是使用function对象的copy()方法完成的。复制的是原始函数的优化图,因此编译只需要执行一次。

让我们从上面定义的累加器开始:

state=shared(0)
inc=T.iscalar('inc')
accumulator=theano.function([inc],state,updates=[(state,state+inc)])

我们可以使用它像往常一样增加状态。

我们可以使用copy()创建一个类似的累加器,但使用自己的内部状态使用swap参数,它是一个要交换的共享变量的字典:

new_state=shared(0)
new_accumulator=accumulator.copy(swap={state:new_state})
new_accumulator(100)
print new_state.get_value()100

第一个函数的状态保持不变:

print state.get_value()0

我们现在使用delete_updates参数创建一个删除更新的副本,默认情况下,该参数设置为False

null_accumulator=accumulator.copy(delete_updates=True)
null_accumulator(100)
print state.get_value()

如预期,共享状态不再更新。

使用随机数

因为在Theano中你首先将一切用符号表示并在之后编译这个表达式以获得函数,所以使用伪随机数字不是像在NumPy中那么直接,虽然也不太复杂。

将随机性放到Theano的计算中的考虑方式是将随机变量放在你的图中。Theano将为每个这样的变量分配一个NumPy RandomStream对象(一个随机数生成器),并根据需要绘制它。我们将这种随机数序列称为随机流随机流的核心是它们的共享变量,因此在这里也可以对共享变量进行观察。Theanos的随机对象在RandomStreams中定义和实现,底层在RandomStreamBase中定义和实现。

简要示例

from theano.tensor.shared_randomstreams import RandomStreams
srng=RandomStreams(seed=234)
rv_u=srng.uniform((2,2))
rv_n=srng.uniform((2,2))
f=function([],rv_u)
g=function([],rv_n,no_default_updates=True)
print f()
print f()
print g()
print g()[[ 0.12672381  0.97091597][ 0.13989098  0.88754825]]
[[ 0.31971415  0.47584377][ 0.24129163  0.42046081]]
[[ 0.12309219  0.71399385][ 0.14249561  0.36686867]]
[[ 0.12309219  0.71399385][ 0.14249561  0.36686867]]

  这里,’rv_u’表示来自均匀分布的2×2矩阵的随机流。同样,’rv_n’表示来自正态分布的2×2矩阵的随机流。分布的实现在RandomStreams中定义,底层在raw_random中定义。它们只在CPU上工作。

现在让我们使用这些对象。随机数发生器的内部状态是自动更新的,所以我们每次都得到不同的随机数。

当我们向function添加额外参数no_default_updates=True(如在g中)时,随机数生成器状态不受调用返回函数影响。因此,例如,多次调用g将返回相同的数字。

一个重要的提醒是,在函数的每次执行期间最多绘制一个随机变量。因此,即使rv_u随机变量在输出表达式中出现三次,almost_zeros函数保证返回大约为0(舍入误差除外)。

种子流

随机变量可以使用单独的种子或使用共同的种子。

你可以使用.rng.set_value(),通过播种或分配.rng属性来播种一个随机变量。

rng_val=rv_u.rng.get_value(borrow=True)
rng_val.seed(89234)
rv_u.rng.set_value(rng_val,borrow=True)

你也可以通过RandomStreams对象的seed方法对该对象分配的全部随机变量设置种子。该种子将用于设置临时随机数发生器的种子,这个零时随机数发生器随后将为每个随机变量生成种子。

srng.seed(89234)

函数之间共享流

与通常的共享变量一样,用于随机变量的随机数发生器在函数之间是共同的。因此,我们的nearly_zeros函数将更新函数f中使用的生成器的状态。

在Theano图之间复制随机状态

在一些使用情况下,用户可能想要将与给定的theano图(例如,具有下面的编译函数f1的g1)相关联的所有随机数发生器的“状态”转移到第二个图形(例如具有函数f2的g2)。这中情况例如,如果你试图从之前的一个序列化的模型的参数初始化模型的状态。对于和,可以通过复制state_updates参数的元素来实现。

每当从RandomStreams对象中绘制随机变量时,就会将元组添加到state_updates列表中。第一个元素是一个共享变量,它表示与此特定变量相关联的随机数生成器的状态,而第二个元素表示与随机数生成过程对应的theano图(即RandomFunction {uniform} .0)。

下面示出了如何将“随机状态”从一个theano函数传递到另一个函数的示例。

from theano.tensor.shared_randomstreams import RandomStreams
from theano.sandbox.rng_mrg import MRG_RandomStreams
class Graph():def __init__(self,seed=123):self.rng=RandomStreams(seed)self.y=self.rng.uniform(size=(1,))
def copy_random_state(g1,g2):if isinstance(g1.rng,MRG_RandomStreams):g2.rng.rstate=g1.rng.rstatefor(su1,su2) in zip(g1.rng.state_updates,g2.rng.state_updates):su2[0].set_value(su1[0].get_value())
g1=Graph(seed=123)
f1=theano.function([],g1.y)g2=Graph(seed=987)
f2=theano.function([],g2.y)#by default,两个函数不是同步的
print f1()
print f2()#现在复制theano随机数生成器的状态
copy_random_state(g1,g2)
print f1()
print f2()[ 0.72803009]
[ 0.55056769]
[ 0.59044123]
[ 0.59044123]

转载于:https://www.cnblogs.com/qniguoym/p/7662459.html

Theano 更多示例相关推荐

  1. Theano 中文文档 0.9 - 7.2.2 更多示例

    7.2.2 更多示例 译者:Python 文档协作翻译小组,原文:More Examples. 本文以 CC BY-NC-SA 4.0 协议发布,转载请保留作者署名和文章出处. Python 文档协作 ...

  2. html文字...点击后全部显示,js 文字超出部分隐藏、点击显示更多示例

    这篇文章主要为大家详细介绍了js 文字超出部分隐藏.点击显示更多示例,具有一定的参考价值,可以用来参考一下. 感兴趣js 文字超出部分隐藏.点击显示更多示例的小伙伴,下面一起跟随512笔记的小编罗X来 ...

  3. html隐藏文字 点击查看更多,js 文字超出部分隐藏、点击显示更多示例

    感兴趣js 文字超出部分隐藏.点击显示更多示例的小伙伴,下面一起跟随编程之家 jb51.cc的小编来看看吧. css: *{ padding: 0; margin: 0; } .text-hide{ ...

  4. Theano - 更多的例子

    Logistic函数 import theano import theano.tensor as T x = T.dmatrix('x') s = 1 / (1 + T.exp(-x)) logist ...

  5. android 底部加载更多,android:ScrollView滑动到底部显示加载更多(示例代码)

    这是效果 主要是onTouchListener监听事件,监视什么时候滑到底部 同时要理解getMeasuredHeight和getHeight的区别 getMeasuredHeight:全部的长度 包 ...

  6. Theano 中文文档 0.9 - 3. Theano一览

    3. Theano一览 译者:Python 文档协作翻译小组,原文:Theano at a Glance. 本文以 CC BY-NC-SA 4.0 协议发布,转载请保留作者署名和文章出处. Pytho ...

  7. Theano at a Glance

    Theano一览 Theano是一个Python库,它允许你定义.优化和求值数学表达式,特别是具有多维数组(numpy.ndarray)的数学表达式.对于涉及大量数据的问题,使用Theano可以获得与 ...

  8. 音频数据建模全流程代码示例:通过讲话人的声音进行年龄预测

    来源:DeepHub IMBA 本文约6100字,建议阅读10+分钟 本文展示了从EDA.音频预处理到特征工程和数据建模的完整源代码演示. 大多数人都熟悉如何在图像.文本或表格数据上运行数据科学项目. ...

  9. 通过示例学习JavaScript闭包

    译者按: 在上一篇博客,我们通过实现一个计数器,了解了如何使用闭包(Closure)**,这篇博客将提供一些代码示例,帮助大家理解闭包. 原文: JavaScript Closures for Dum ...

最新文章

  1. Python ModuleNotFoundError: No module named ‘xlrd‘
  2. HP小型机的信息的命令集(一)
  3. python 播放视频 ftp_利用 Python 实现文件自动备份到 ftp 服务器
  4. OpenCV中图像的BGR格式 Img对象的属性说明
  5. linux+离线+搜狗,Ubuntu离线安装Sogou拼音(附老版本安装)
  6. 关于AI你可能不知道的5件事情
  7. LeetCode 1049. 最后一块石头的重量 II(DP)
  8. html阴影 渐变,CSS3:图层阴影及渐变
  9. Mplayer的秘密功能
  10. php 多级分成手机版,PHP 层级菜单数组处理,由一级数组转换为多级数组的递归实现...
  11. java新增mysql时 中文出现_Java项目往数据库中插入数据,出现中文乱码
  12. Contect Me
  13. 管理经济学 知识点总结(一)
  14. 机械电气自动化常用知识手册
  15. AFNetworking 支持cookies的解决方案
  16. omv检查硬盘坏道_技术员们有福了,关于怎么用MHDD修复硬盘坏道,现在免费给大家了!!!...
  17. 麦克风声源定位原理_基于麦克风阵列的声源定位算法之GCC-PHAT
  18. word计算机二级视频教程,计算机二级Office入门及上机实践视频教程之Word篇
  19. Error: Protocol error, got “H“ as reply type byte
  20. OllyDBG 完美教程 ( 超强入门级 1)

热门文章

  1. dede后台栏目管理文章统计数量和实际文章数不一致解决办法
  2. 使用jd-gui+javassist修改已编译好的class文件
  3. 运用HTML5+CSS3和CSS滤镜做的精美的登录界面
  4. Eclipse高级使用技巧
  5. 【转载文章】记录一次MySQL两千万数据的大表优化解决过程,提供三种解决方案...
  6. 初识react(二) 实现一个简版的html+redux.js的demo
  7. Windows Mobile Gprs连接与数据传输
  8. Cisco 3560 配置DHCP Relay实例
  9. linux最基础的几个指令
  10. [转]过度情绪化心智模式的10大特征——看看你有几个?