数学表达式魔鬼训练

文章目录

数学表达式魔鬼训练
作业

作业

将向量下标为偶数的分量 (x2,x4,…x_2, x_4, \dotsx2,x4,…) 累加, 写出相应表达式.
∑imod2=0xi\sum_{i \mod2 =0} {x_i }imod2=0∑xi
各出一道累加、累乘、积分表达式的习题, 并给出标准答案.
(1)将100以内的,mod3=0\mod3=0mod3=0的数累加起来
∑1≤i≤100,imod3=0i\sum_{1\leq i \leq100, i \mod3 =0} i1≤i≤100,imod3=0∑i
(2)写出1,2,...,101,2,...,101,2,...,10分之一的积
∏i=1101i\prod_{i = 1}^{10} \frac{1}{i} i=1∏10i1
(3)求以原点为中心，半径为R的圆的面积
∫−R+R2πRdx\int_{-R}^{+R} 2\pi R \mathrm{d}x∫−R+R2πRdx
你使用过三重累加吗? 描述一下其应用.
∑1≤i≤100∑1≤j≤100∑1≤k≤100(xijk)\sum_{1\leq i\leq100}\sum_{1\leq j\leq100}\sum_{1\leq k\leq100} \left(x_{ijk}\right)∑1≤i≤100∑1≤j≤100∑1≤k≤100(xijk)
给一个常用的定积分, 将手算结果与程序结果对比.
定积分： ∫12xdx\int_{1}^{2} x \mathrm{d}x∫12xdx
手算：∫12xdx=12x2∣12=32\int_{1}^{2} x \mathrm{d}x = \frac{1}{2}x^2 |_{1}^2=\frac{3}{2}∫12xdx=21x2∣12=23
程序：

from sympy import *
x = symbols(‘x’)
print(integrate(x, (x, 1, 2)))

自己写一个小例子来验证最小二乘法.

[αβ]=([1x11x2⋮⋮1xn]T[1x11x2⋮⋮1xn])−1[1x11x2⋮⋮1xn]T[y1y2⋮yn]\left[\begin{array}{c}\alpha \\ \beta\end{array}\right]=\left(\left[\begin{array}{cc}1 & x_{1} \\ 1 & x_{2} \\ \vdots & \vdots \\ 1 & x_{n}\end{array}\right]^{T}\left[\begin{array}{cc}1 & x_{1} \\ 1 & x_{2} \\ \vdots & \vdots \\ 1 & x_{n}\end{array}\right]\right)^{-1}\left[\begin{array}{cc}1 & x_{1}\\ 1 & x_{2}\\ \vdots & \vdots \\ 1 & x_{n}\end{array}\right]^{T}\left[\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{n}\end{array}\right][αβ]=⎝⎜⎜⎜⎜⎛⎣⎢⎢⎢⎡11⋮1x1x2⋮xn⎦⎥⎥⎥⎤T⎣⎢⎢⎢⎡11⋮1x1x2⋮xn⎦⎥⎥⎥⎤⎠⎟⎟⎟⎟⎞−1⎣⎢⎢⎢⎡11⋮1x1x2⋮xn⎦⎥⎥⎥⎤T⎣⎢⎢⎢⎡y1y2⋮yn⎦⎥⎥⎥⎤

X=[1,2,3],Y=[2,3,7]\mathbf{X} = [1,2,3],\mathbf{Y} = [2,3,7]X=[1,2,3],Y=[2,3,7]
[αβ]=[2.5−1]\begin{bmatrix} \alpha \\ \beta\end{bmatrix}\quad = \begin{bmatrix} 2.5 \\ -1\end{bmatrix}\quad[αβ]=[2.5−1]
得：y=2.5x−1y=2.5x-1y=2.5x−1
6. 线性回归公式推导
推导过程参考2020年魔鬼训练闵老师授课内容。
损失函数：∑i=1m(xiw−yi)2\sum_{i=1}^{m}\left(\mathbf{x}_{i} \mathbf{w}-y_{i}\right)^{2} i=1∑m(xiw−yi)2
矩阵化表达：∥Xw−Y∥2\|\mathbf{X} \mathbf{w}-\mathbf{Y}\|^{2} ∥Xw−Y∥2
矩阵化展开式：L(X,Y,w)=(Xw−Y)T(Xw−Y)L(\mathbf{X}, \mathbf{Y}, \mathbf{w})=(\mathbf{X} \mathbf{w}-\mathbf{Y})^{\mathrm{T}}(\mathbf{X} \mathbf{w}-\mathbf{Y}) L(X,Y,w)=(Xw−Y)T(Xw−Y)
求解推导：L(X,Y,w)=(Xw−Y)T(Xw−Y)=(wTXT−YT)(Xw−Y)=wTXTXw−wTXTY−YTXw+YTY\begin{aligned} &L(\mathbf{X}, \mathbf{Y}, \mathbf{w}) \\ &=(\mathbf{X} \mathbf{w}-\mathbf{Y})^{\mathrm{T}}(\mathbf{X} \mathbf{w}-\mathbf{Y}) \\ &=\left(\mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}}-\mathbf{Y}^{\mathrm{T}}\right)(\mathbf{X} \mathbf{w}-\mathbf{Y}) \\ &=\mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{X} \mathbf{w}-\mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{Y}-\mathbf{Y}^{\mathrm{T}} \mathbf{X} \mathbf{w}+\mathbf{Y}^{\mathrm{T}} \mathbf{Y} \end{aligned} L(X,Y,w)=(Xw−Y)T(Xw−Y)=(wTXT−YT)(Xw−Y)=wTXTXw−wTXTY−YTXw+YTY
对w\mathbf{w}w求导，让其结果为0。由矩阵求导法则得：∂Aw∂w=A∂wTA∂w=AT∂wTAw∂w=2wTA\begin{aligned} &\frac{\partial A \mathbf{w}}{\partial \mathbf{w}}=A \\ &\frac{\partial \mathbf{w}^{\mathrm{T}} A}{\partial \mathbf{w}}=A^{\mathrm{T}} \\ &\frac{\partial \mathbf{w}^{\mathrm{T}} A \mathbf{w}}{\partial \mathbf{w}}=2 \mathbf{w}^{\mathrm{T}} A \end{aligned} ∂w∂Aw=A∂w∂wTA=AT∂w∂wTAw=2wTA
可知：
∂L(X,Y,w)∂w=∂wTXTXw∂w−∂wTXTY∂w−∂YTXw∂w+∂YTY∂w=2wTXTX−YTX−YTX+0=2wTXTX−2YTX\begin{aligned} &\frac{\partial L(\mathbf{X}, \mathbf{Y}, \mathbf{w})}{\partial \mathbf{w}} \\ &=\frac{\partial \mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{X} \mathbf{w}}{\partial \mathbf{w}}-\frac{\partial \mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{Y}}{\partial \mathbf{w}}-\frac{\partial \mathbf{Y}^{\mathrm{T}} \mathbf{X} \mathbf{w}}{\partial \mathbf{w}}+\frac{\partial \mathbf{Y}^{\mathrm{T}} \mathbf{Y}}{\partial \mathbf{w}} \\ &=2 \mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{X}-\mathbf{Y}^{\mathrm{T}} \mathbf{X}-\mathbf{Y}^{\mathrm{T}} \mathbf{X}+0 \\ &=2 \mathbf{w}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{X}-2 \mathbf{Y}^{\mathrm{T}} \mathbf{X} \end{aligned} ∂w∂L(X,Y,w)=∂w∂wTXTXw−∂w∂wTXTY−∂w∂YTXw+∂w∂YTY=2wTXTX−YTX−YTX+0=2wTXTX−2YTX
由
2w^TXTX−2YTX=02 \hat{\mathbf{w}}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{X}-2 \mathbf{Y}^{\mathrm{T}} \mathbf{X}=0 2w^TXTX−2YTX=0
可得
w^TXTX=YTX\hat{\mathbf{w}}^{\mathrm{T}} \mathbf{X}^{\mathrm{T}} \mathbf{X}=\mathbf{Y}^{\mathrm{T}} \mathbf{X} w^TXTX=YTX
两边转置
XTXw^=XTY\mathbf{X}^{\mathrm{T}} \mathbf{X} \hat{\mathbf{w}}=\mathbf{X}^{\mathrm{T}} \mathbf{Y} XTXw^=XTY
最后
w^=(XTX)−1XTY\hat{\mathbf{w}}=\left(\mathbf{X}^{\mathrm{T}} \mathbf{X}\right)^{-1} \mathbf{X}^{\mathrm{T}} \mathbf{Y} w^=(XTX)−1XTY
7. 自己推导一遍逻辑回归, 并描述这个方法的特点 (不少于 5 条).
损失函数看做概率问题：下式越大越好P(yi∣xi;w)=(σ(xiw))yi(1−σ(xiw))1−yiP\left(y_{i} \mid \mathbf{x}_{i} ; \mathbf{w}\right)=\left(\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right)^{y_{i}}\left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right)^{1-y_{i}} P(yi∣xi;w)=(σ(xiw))yi(1−σ(xiw))1−yi
求似然函数：假设训练样本独立, 且同等重要

为获得全局最优, 将不同样本涉及的概率连乘, 获得似然函数：
L(w)=P(Y∣X;w)=∏i=1mP(yi∣xi;w)=∏i=1m(σ(xiw))yi(1−σ(xiw))1−yi\begin{aligned} L(\mathbf{w}) &=P(\mathbf{Y} \mid \mathbf{X} ; \mathbf{w}) \\ &=\prod_{i=1}^{m} P\left(y_{i} \mid \mathbf{x}_{i} ; \mathbf{w}\right) \\ &=\prod_{i=1}^{m}\left(\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right)^{y_{i}}\left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right)^{1-y_{i}} \end{aligned} L(w)=P(Y∣X;w)=i=1∏mP(yi∣xi;w)=i=1∏m(σ(xiw))yi(1−σ(xiw))1−yi
对数函数具有单调性：
l(w)=log⁡L(w)=log⁡∏i=1mP(yi∣xi;w)=∑i=1myilog⁡σ(xiw)+(1−yi)log⁡(1−σ(xiw))\begin{aligned} l(\mathbf{w}) &=\log L(\mathbf{w}) \\ &=\log \prod_{i=1}^{m} P\left(y_{i} \mid \mathbf{x}_{i} ; \mathbf{w}\right) \\ &=\sum_{i=1}^{m} y_{i} \log \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)+\left(1-y_{i}\right) \log \left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) \end{aligned} l(w)=logL(w)=logi=1∏mP(yi∣xi;w)=i=1∑myilogσ(xiw)+(1−yi)log(1−σ(xiw))
损失函数（平均损失）：min⁡w1m∑i=1m−yilog⁡σ(xiw)−(1−yi)log⁡(1−σ(xiw))\min _{\mathbf{w}} \frac{1}{m} \sum_{i=1}^{m}-y_{i} \log \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)-\left(1-y_{i}\right) \log \left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) wminm1i=1∑m−yilogσ(xiw)−(1−yi)log(1−σ(xiw))
优化目标：min⁡w1m∑i=1m−yilog⁡σ(xiw)−(1−yi)log⁡(1−σ(xiw))\min _{\mathbf{w}} \frac{1}{m} \sum_{i=1}^{m}-y_{i} \log \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)-\left(1-y_{i}\right) \log \left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) wminm1i=1∑m−yilogσ(xiw)−(1−yi)log(1−σ(xiw))

梯度下降法，迭代式推导：
由于
l(w)=∑i=1myilog⁡σ(xiw)+(1−yi)log⁡(1−σ(xiw))∂l(w)∂wj=∑i=1m(yiσ(xiw)−1−yi1−σ(xiw))∂σ(xiw)∂wj=∑i=1m(yiσ(xiw)−1−yi1−σ(xiw))σ(xiw)(1−σ(xiw))∂xiw∂wj=∑i=1m(yiσ(xiw)−1−yi1−σ(xiw))σ(xiw)(1−σ(xiw))xij=∑i=1m(yi−σ(xiw))xij\begin{gathered} l(\mathbf{w})=\sum_{i=1}^{m} y_{i} \log \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)+\left(1-y_{i}\right) \log \left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) \\ \frac{\partial l(\mathbf{w})}{\partial w_{j}}=\sum_{i=1}^{m}\left(\frac{y_{i}}{\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}-\frac{1-y_{i}}{1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}\right) \frac{\partial \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}{\partial w_{j}} \\ =\sum_{i=1}^{m}\left(\frac{y_{i}}{\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}-\frac{1-y_{i}}{1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}\right) \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) \frac{\partial \mathbf{x}_{i} \mathbf{w}}{\partial w_{j}} \\ =\sum_{i=1}^{m}\left(\frac{y_{i}}{\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}-\frac{1-y_{i}}{1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)}\right) \sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\left(1-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) x_{i j} \\ \quad=\sum_{i=1}^{m}\left(y_{i}-\sigma\left(\mathbf{x}_{i} \mathbf{w}\right)\right) x_{i j} \end{gathered} l(w)=i=1∑myilogσ(xiw)+(1−yi)log(1−σ(xiw))∂wj∂l(w)=i=1∑m(σ(xiw)yi−1−σ(xiw)1−yi)∂wj∂σ(xiw)=i=1∑m(σ(xiw)yi−1−σ(xiw)1−yi)σ(xiw)(1−σ(xiw))∂wj∂xiw=i=1∑m(σ(xiw)yi−1−σ(xiw)1−yi)σ(xiw)(1−σ(xiw))xij=i=1∑m(yi−σ(xiw))xij
逻辑回归可以自己写例如或者直接调包

调包-sklearn实现
model = LogisticRegression()
model.fit(X, y)

逻辑回归的特点：
（1）由于sigmoid函数作用，预测结果为[0,1]之间的概率
（2）预测结果分为2类
（3）容易理解，可以通过公式进行推导，可解释性强
（4）准确率不高，在机器学习算法中表现一般
（5）模型简单

2021.7.28魔鬼训练报告相关推荐

2021爱分析·云计算趋势报告——支撑数字化转型，企业云平台建设进入新阶段
报告编委报告指导人李喆爱分析合伙人&首席分析师报告执笔人郭佳伶爱分析分析师李书娴爱分析分析师外部专家(按姓氏拼音排序) 金霄新钛云服合伙人&产品运营中心负责 ...
Spring Boot安装及使用（2021.10.28）
Spring Boot安装及使用 2021.10.28 1.Spring Boot 简介 1.1 为何选择Spring? 1.2 Spring的功能 1.3 Spring项目的依赖包管理工具(Mave ...
毕业生在腾讯、百度、字节跳动就业人数全国高校第一！北京邮电大学2021届毕业生就业质量报告...
原数据来自北京邮电大学,转载于博雅数据库 https://xxgk.bupt.edu.cn/info/1102/2579.htm 北京邮电大学,教育部直属,工信部共建,以信息科技为特色,工学门类为 ...
AI： 2021 年人工智能前沿科技报告02(更新中……)daiding
AI: 2021 年人工智能前沿科技报告02(更新中--) 2021 年对于人工智能技术和产业,依旧是不平凡的一年.随着算力.数据.算法等要素逐渐齐备,先进的算法结构不断涌现,各个研究方向研究成果不断 ...
前端面经笔记 2021.8.28
前端面经笔记 2021.8.28 下面哪些执行结果为true() A.'foo' == new function(){ return String('foo'); }; B.'foo' == new ...
《2021年全球创新指数报告》发布！
来源:科技日报作者:操秀英世界知识产权组织(WIPO)9月20日在日内瓦发布的<2021年全球创新指数报告>显示,中国排名第12位,较2020年上升2位.<报告>高度评价中 ...
亚信安全发布2021年挖矿病毒专题报告，聚焦挖矿病毒进化与治理
供稿 | 亚信安全出品 | CSDN云计算近日,<亚信安全2021年挖矿病毒专题报告>正式发布(以下简称<报告>).<报告>以2021年亚信安全威胁情报与服务运 ...
超 8 成软件存已知高危开源漏洞，奇安信发布《2021 中国软件供应链安全分析报告》
编辑 | 宋慧出品 | CSDN云计算头图 | 付费下载于东方IC 2020年底,SolarWinds 遭受的大规模网络攻击,使得美国和多国政府在内的 18000+ 机构被影响.几乎每个月,软件 ...
《2021新青年生长力报告》：水果青年、农货青年、设计青年，哪个最潮？
7月2日,北京师范大学新闻传播学院喻国明学术工作室发布<2021新青年生长力报告>,基于公开数据及拼多多新消费大数据,以31岁及以下(90后.95后.00后)店主为主要研究对象,洞察中国新 ...
【报告分享】2021中国移动互联网秋季大报告.pdf（附下载链接）
省时查方案-专业.及时.全面的营销策划方案库省时查报告-专业.及时.全面的行研报告库大家好,我是文文(微信号:sscbg2020),今天给大家分享QuestMobile于2021年11月发布的&l ...

2021.7.28魔鬼训练报告

数学表达式魔鬼训练

文章目录

作业

2021.7.28魔鬼训练报告相关推荐

最新文章

热门文章