Julia： Flux.jl尝试

这个例子仍是文档中的例子。原来文档有些坑。

一、简单框架

using Flux
using Flux: train!,Descent,Denseactual(x) = 4x + 2
x_train, x_test = hcat(0:5...), hcat(6:10...)
y_train, y_test = actual.(x_train), actual.(x_test)predict = Dense(1, 1) # Dense(1=>1) 已经不能用
loss(x, y) = Flux.Losses.mse(predict(x), y)opt = Descent()
data = [(x_train, y_train)]
parameters = Flux.params(predict)for epoch in 1:200train!(loss, parameters, data, opt)ls = loss(x_train, y_train)error = predict(x_test) .- y_testprintln("epoch : $epoch, loss :$ls  parameters: $parameters" )println("error : $error")end

运行结果：


> epoch : 1, loss :96.65946  parameters: Params([Float32[7.3060203;;],
> Float32[1.783612]]) error : Float32[19.619732 22.925755 26.231773
> 29.537796 32.84382] epoch : 2, loss :91.72043  parameters: Params([Float32[1.3531775;;], Float32[0.17387962]]) error :
> Float32[-17.707054 -20.353878 -23.0007 -25.647522 -28.294346] epoch :
> 3, loss :87.035255  parameters: Params([Float32[7.118746;;],
> Float32[1.8625149]]) error : Float32[18.57499 21.693737 24.81248
> 27.931229 31.049973] epoch : 4, loss :82.5907  parameters: Params([Float32[1.4697881;;], Float32[0.330639]]) error :
> Float32[-16.850632 -19.380844 -21.911057 -24.441269 -26.971481] epoch
> : 5, loss :78.374275  parameters: Params([Float32[6.9431906;;],
> Float32[1.9296173]]) error : Float32[17.58876 20.531952 23.475143
......
> Float32[0.119464874 0.13848305 0.15750122 0.1765213 0.19553757] epoch
> : 196, loss :0.0036572255  parameters: Params([Float32[3.9814754;;],
> Float32[1.9947717]]) error : Float32[-0.11637688 -0.13490105
> -0.15342712 -0.1719513 -0.19047546] epoch : 197, loss :0.0034711396  parameters: Params([Float32[4.018051;;], Float32[2.0050797]]) error :
> Float32[0.113386154 0.1314373 0.14949036 0.1675415 0.18559265] epoch :
> 198, loss :0.0032945399  parameters: Params([Float32[3.9824178;;],
> Float32[1.9950383]]) error : Float32[-0.11045456 -0.1280365
> -0.14561844 -0.1632042 -0.18078613] epoch : 199, loss :0.0031269772  parameters: Params([Float32[4.0171328;;], Float32[2.0048218]]) error :
> Float32[0.10761833 0.124752045 0.14188385 0.15901566 0.17614746] epoch
> : 200, loss :0.0029679425  parameters: Params([Float32[3.983312;;],
> Float32[1.9952911]]) error : Float32[-0.10483742 -0.12152672
> -0.13821411 -0.1548996 -0.1715889]

二、核心概念：梯度

using Flux
using Flux: train!,Descent,Dense,Paramsx = [1,2,2,3,5];
y = [2,1,2,2,4];
z = [1,8,3,6,5];## f(x1,x2,x3,x4,x5)= x1^2 +x2^2 +x3^2 +x4^2 +x5^2 = sum((x).^2)
## df/dx1 = 2*x1,其它x1,x2,x3,x4,x5类推
## gradient(f,x) = [df/x1,df/x2,df/x3,df/x4,df/x5]
f(x) = sum((x).^2); # 需要是一个值
println("f -> gradient: $(gradient(f,x))")
gs = gradient(params(x)) dof(x)
end
## g(x1,x2,x3,x4,x5,y1,y2,y3,y4,y5) = (x1-y1)^2 +(x2-y2)^2 +(x3-y3)^2 +(x4-y4)^2 +(x5-y5)^2 = sum((x-y).^2)
## gradient(g,x,y) = ([dg/dx1,dg/dx2,dg/dx3,dg/dx4,dg/dx5],[dg/dy1,dg/dy2,dg/dy3,dg/dy4,dg/dy5])
## 对x1而言，dg/dx1 = 2*x1 -2y1; 其它 x1,x2,x3,x4,x5,y1,y2,y3,y4,y5依此类推
g(x,y) = sum((x-y).^2);
println("g -> gradient: $(gradient(g,x,y)))")## 扩展到其它更多维参数也是类似
k(x,y,z) = sum((x-y).^2 + sin.((x-z).^2));
## 对x1而言，dk/dx1 = 2*x1 -2y1 + cos((x1-z1)^2)*(2*x1 -2*z1)
## gradient(k,x,y,z) = ([dk/dx1,dk/dx2,dk/dx3,dk/dx4,dk/dx5],
[dk/dy1.dk/dy2,dk/dy3,dk/dy4,dk/dy5],
[dk/dz1,dk/dz2,dk/dz3,dk/dz4,dk/dz5])
println("k -> gradient: $(gradient(k,x,y,z))")

运行结果：

f -> gradient: ([2.0, 4.0, 4.0, 6.0, 10.0],)
g -> gradient:
([-2.0, 2.0, 0.0, 2.0, 2.0], [2.0, -2.0, 0.0, -2.0, -2.0]))
k -> gradient :
([-2.0, 3.535564275528856, -1.0806046117362795, 7.466781571308061, 2.0],
[2.0, -2.0, -0.0, -2.0, -2.0],[-0.0, -1.535564275528856, 1.0806046117362795, -5.466781571308061, -0.0])

对gradient(g,x,y)验算和检查：

for i in 1:5value = 2*x[i] -2y[i] + cos((x[i]-z[i])^2)*(2*x[i] -2*z[i])println("$i => $value")
end

运行结果，表明计算是正确的。

1 => -2.0
2 => 3.535564275528856
3 => -1.0806046117362795
4 => 7.466781571308061
5 => 2.0

三、待续

Julia： Flux.jl尝试相关推荐

Julia 将.jl脚本文件打包为可执行文件
一.构建exe文件第一步: using Pkg Pkg.add("PackageCompiler") 第二步:使用包管理器创建应用程序的源代码所需要的项目和清单文件. using ...
Julia 基于Flux深度学习框架的cifar10数据集分类
目录一.安装Julia 二.Flux简介三.安装Flux和相关依赖库四.cifar10项目下载 *五.cifar10数据集下载六.开始训练一.安装Julia IDE是Atom,安装和使用教程 ...
使用Pyhon+Flux+Julia实现手写数字识别
使用MNIST数据集对0到9之间的数字进行手写数字识别是神经网络的一个典型入门教程. 该技术在现实场景中是很有用的,比如可以把该技术用来扫描银行转帐单或支票,其中帐号和需要转账的金额可以被识别处理并写 ...
Julia 语言可重用性高竟源于缺陷和不完美？
[编者按]关于Julia编程语言,最值得注意的最大优势之一就是程序包的编写方式.你几乎总是可以在自己的软件中重用他人的类型或方法,而不会出现问题. 通常来说,从高层角度来说,对于所有编程语言而言这是正 ...
Julia ---- 为Julia做一下辩解
我写这篇文章的主要目的就是为了给我喜欢的Julia语言一辩,并且指出人们对Julia语言的几个常见的误区. 预警:文章非常长,所以需要希望入坑的人有耐心阅读文章内容 1.常见误区 2.重新认识Jul ...
Julia是什么？为什么突然这么火？
最近网上突然冒出来一个Julia,什么鬼?百度一查,卧槽,又是一门编程语言.之前的kotlin ,python余热未散,怎么又冒出来一个?既然咱是搞IT的,那就不能忽视,赶紧去google一下学习一下 ...
julia系列1：介绍与安装
参考 https://zhuanlan.zhihu.com/p/41953244 还有这篇教程:https://zhuanlan.zhihu.com/p/60889456 详见julia中文文档:ht ...
julia应用于自动驾驶汽车、机器人、3D 打印、精准医疗、增强现实、基因组学、能源交易、机器学习、金融风控和太空任务设计等多个领域...
编程界的新宠 Julia 发布 1.0 正式版本,多种优势集于一身 2018-08-14 14:14 公司 Julia 的累积下载次数超过 200 万,已被应用于自动驾驶汽车.机器人.3D 打印.精准 ...
PyTorch核心开发者灵魂发问：我们怎么越来越像Julia了？
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达梦晨发自凹非寺量子位报道 | 公众号 QbitAI PyTo ...
redis生产环境持久化_在SageMaker上安装持久性Julia环境
redis生产环境持久化 SageMaker is a great environment for data scientists to explore new languages and metho ...

Julia： Flux.jl尝试

Julia： Flux.jl尝试相关推荐

最新文章

热门文章