避免成为调包侠，从数学角度再看深度学习
知其然知其所以然。想要深耕深度学习，背后的数学原理还需要掌握。这就有一本值得推荐的新书。
机器之心报道，编辑：陈萍。
今天，reddit 上的一个帖子可谓热度爆表，到目前为止，热度还在持续上升，在不到一天的时间里，引来大量网友的讨论。该帖子的主要内容为「深度学习中的现代数学」。由帖子内容我们可以粗略得出，这是一本介绍深度学习中关于现代数学的书籍。
在深度学习领域，数学知识至关重要，想要深入了解深度学习背后的数学知识、做更前沿更基础的研究，这背后离不开数学知识的支撑。
书籍介绍
该书是在线免费的，书中描述了深度学习数学分析的新领域。这个领域出现在一系列研究问题中，但在经典的学习理论框架内都没有得到解决。这些问题涉及：超参数化神经网络突出的泛化能力；深度在深度架构中扮演的角色；维度灾难的明显缺失；尽管遇到的问题是非凸性、但取得令人惊讶的成功的优化性能；了解哪些特征是可以学习的；为什么深度架构在物理问题上表现得异常出色；架构的哪些方面以何种方式影响学习任务的行为。
书籍中给出了现代数学方法的概览，以及上述问题部分答案的概述。对于所选择的方法，书中给出了主要解决思想的更多细节。
书籍地址：https://arxiv.org/pdf/2105.04026.pdf
该书共分为 8 个章节，每个章节的主要内容如下：
- 第一章：引言部分，主要介绍了该书定义的一些符号表示、理论基础、是否需要新的理论解决还未解决的问题；
- 第二章：大型神经网络的泛化能力，主要包括核（Kernel）相关问题、基于范数的边界和边际理论、优化和隐式正则化、经典理论的局限性；
- 第三章：深度在神经网络表达中的作用，主要包括径向函数逼近、深度 ReLU 网络、表达性的可替代概念；
- 第四章：深度神经网络克服了维数的诅咒，主要包括流形假设、随机抽样、PDE 假设；
- 第五章：深度神经网络的优化，主要包括损失分析、随机梯度下降的惰性训练和可证明的收敛；
- 第六章：特殊架构的影响，主要包括卷积神经网络、残差神经网络、 Framelets 和 U-Nets 、批归一化、稀疏神经网络与剪枝、递归神经网络；
- 第七章：深度神经网络学习的特征描述，主要包括不变性与散射变换、分层的稀疏表示；
- 第八章：自然科学的有效性，主要包括深度神经网络遇到逆问题、基于 PDF 模型。
作者介绍
个人主页：https://homepage.univie.ac.at/julius.berner/
该书作者之一 Julius Berner 曾就读于维也纳大学（BSc，MSc），攻读应用数学和科学计算专业，对机器学习和神经网络特别感兴趣。目前，Julius Berner 正在 Philipp Grohs 博士的指导下在维也纳大学攻读博士学位，其研究重点是基于深度学习方法的数学分析，这些方法是在逼近理论、统计学习理论和优化方法的交叉处进行的。
除此以外，书籍作者还包括来自维也纳大学的 Philipp Grohs 及 Philipp Petersen 等人。
网友评论
这本书籍引起了广大网友的讨论。有网友表示：「这是一项非常棒的工作！我经常有『我真的了解我在做什么吗？』的感觉。感谢你们把深度学习和数学结合起来，该书出版时，我会订购。」
还有网友表示：「我在机器学习领域且具有数学背景，但不幸的是，在该领域中，许多公司的员工不知道自己在干什么。工作流程基本上是：学习一些 Python 基本框架，然后就是修改参数，直到产生可接受的结果。」
对此，有人表示「反复试验不一定是坏事。这就是自然系统（而不是人工系统）进化的方式。但是，对于架构上的飞跃和新改进，必须对该理论有深刻的理解。」
对于从事深度学习的研究者来说，或许这本书能帮到你。
避免成为调包侠，从数学角度再看深度学习相关推荐
- 深度学习时代，调包侠没有未来，但是这个“包”有
来源:AI科技评论 本文长度为2300字,建议阅读5分钟 本文为大家介绍了NumPy的现状. 工欲善其事必先利其器~ 今日我"代码之神"把装备拉满,势必要大干一场! 在编程中只会H ...
- 作为一名数据分析+人工智能调包侠，我天天在公司瞎捣鼓什么？
相信很多人学python可能最终目的是冲着从事人工智能而来,这里不得不说,真正的人工智能门槛高,而且对学历.数学功底.编程能力等等都是有很高的要求,下面是我截图拉勾上海地区人工智能首页招聘信息,图中可 ...
- 调包侠福音！机器学习经典算法开源教程（附参数详解及代码实现）
Datawhale 作者:赵楠.杨开漠.谢文昕.张雨 寄语:本文针对5大机器学习经典算法,梳理了其模型.策略和求解等方面的内容,同时给出了其对应sklearn的参数详解和代码实现,帮助学习者入门和巩固 ...
- 前几行 python_调包侠神器2.0发布，Python机器学习模型搭建只需要几行代码
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI Python开源机器学习建模库PyCaret,刚刚发布了2.0版本. 这款堪称「调包侠神器」的模型训练工具包,几行代码就能搞定模型编写.改进 ...
- python调包师_为“Python调包侠” 画像
很多从事IT行业的朋友:包括运维.测试.数据分析.网络安全,在北上广每月工资1.5万/月以上,有的甚至到达2万/月,碰到职业瓶颈了,工资碰到天花板.有的朋友认为自己会Python编程,其实还是处在&q ...
- python调包侠_拒绝调包侠，不需要高级算法和数据结构技巧
大多数工科学生或者刚刚入门近年来比较火的"人工智能"相关算法的同学,在选择语言的时候,都会选择MATLAB. Python .R等等这些高级语言,对自己所学的算法进行实现和调试.这 ...
- 【杂谈】如何从数据准备，模型设计与调优，训练到部署完成整个深度学习算法流程...
文/编辑 | 言有三 对于一个深度学习算法工程师来说,拥有丰富的项目经历当然是重要的,但是拥有完成整个从数据准备到模型上线的能力更加重要.这意味着可以独立承担项目,也是全栈工程师那么招人爱的原因了. ...
- python模仿百度云桌面_利用百度云接口实现车牌识别！人称Python调包侠！
一个小需求---实现车牌识别. 目前有两个想法 1. 调云在线的接口或者使用SDK做开发(配置环境和编译第三方库很麻烦,当然使用python可以避免这些问题) 2. 自己实现车牌识别算法(复杂) 一开 ...
- Python入门 —— 从零基础到调包侠
文章目录 hello world 常量和表达式 变量 使用 类型 int整型 float浮点型 str字符串 bool布尔型 动态类型特性 注释 行注释 文档字符串 输入输出 print() 格式控制 ...
最新文章
- hive sqoop 分区导入_Sqoop概述及shell操作
- python接收邮件内容启动程序_Python实现发送与接收邮件的方法详解
- Java Script中常见操作
- [转]Android产品研发（十九）
- leetcode714. 买卖股票的最佳时机含手续费（动态规划）
- java 自旋方法_JAVA循环使用CAS实现自旋操作
- python用海伦公式求面积_Python：平面直角坐标系下用三点求所构三角形面积
- [Objective-c 基础 - 2.5] .h和.m文件，点语法，成员变量作用域
- 蓝桥杯 ADV-73 算法提高 数组输出
- LeetCode-14.最长公共前缀（字符串的erase()函数）
- 给出问题的答案 你就可以成为百万富翁
- 连接重置Connection reset异常
- 简单上手理解Dav框架
- Python爬取cosplay小姐姐图片
- 国家利息中的等额本息和等额本金计算算法
- SwipeRefreshLayout极其简单的下拉刷新工具
- 关于举办“第五届全国现代物流绿色包装与循环共用大会”的通知
- 终端代理以及git加速
- 赵小楼《天道》《遥远的救世主》解读（1）怎么评价《遥远的救世主》《天幕红尘》这两本书和《天道》这部电视剧？
- iOS Core Bluetooth_4 用作中央设备的常用方法（2/2）[swift实现]