Kolmogorov公理化体系

概率论与数理统计简单地说就是描述随机现象的数学模型，现代概率论的基础是Kolmogorov用来描述概率的公理体系。首先定义样本空间Ω\OmegaΩ，它是所有可以想到的随机事件的结果www的集合。记S\mathbf{S}S是样本空间的一个σ\sigmaσ-代数。PPP是(Ω,S)(\Omega,\mathbf{S})(Ω,S)的一个非负测度，满足P(Ω)=1P(\Omega)=1P(Ω)=1，也称PPP是一个概率测度或者概率。称(Ω,S,P)(\Omega,\mathbf{S},P)(Ω,S,P)是概率空间。

如果同一个随机事件独立重复了NNN次，每一次的样本空间记为(Ωi,Si)(\Omega^i,\mathbf{S}^i)(Ωi,Si)，则这NNN次的样本空间可以记为样本空间的直积，对应的σ\sigmaσ-代数是每一个σ\sigmaσ-代数的张量积
Ω=Ω1×Ω2×⋯×ΩNS=S1⊗S2⊗⋯⊗SN\Omega = \Omega^1 \times \Omega^2 \times \cdots \times \Omega^N \\ \mathbf{S} = \mathbf{S}^1 \otimes \mathbf{S}^2 \otimes \cdots \otimes \mathbf{S}^NΩ=Ω1×Ω2×⋯×ΩNS=S1⊗S2⊗⋯⊗SN
新的这个σ\sigmaσ-代数中的元素的结构可以表示为A1×⋯×AN={ω∈Ω:ωi∈AN,Ai⊂Ωi}A^1 \times \cdots \times A^N = \{\omega \in \Omega: \omega^i \in A^N,A^i \subset \Omega^i\}A1×⋯×AN={ω∈Ω:ωi∈AN,Ai⊂Ωi}，原来的概率测度可以比较自然地推广到新的样本空间上：
P(A1×⋯×AN)=P(A1)P(A2)⋯P(AN)P(A^1 \times \cdots \times A^N) = P(A^1) P(A^2) \cdots P(A^N)P(A1×⋯×AN)=P(A1)P(A2)⋯P(AN)

如果是一个随机事件的序列，比如Markov链，如果最多有NNN步转移，样本空间的构造可以与独立重复事件相同：
(Ω,S)=(×i=1NΩi,⊗i=1NSi)(\Omega,\mathbf{S}) = (\times_{i=1}^N \Omega^i,\otimes_{i=1}^N \mathbf{S}^i)(Ω,S)=(×i=1NΩi,⊗i=1NSi)
但概率测度会更复杂。定义Ti(w′,w′′)T^i(w',w'')Ti(w′,w′′)是第iii步从w′w'w′到w′′w''w′′的转移概率密度，则
P(A1×⋯×AN)=∫A1⋯∫AN−1P1(dw1)T2(w1,dw2)⋯TN−1(wN−1,AN)P(A^1 \times \cdots \times A^N) = \int_{A_1} \cdots \int_{A_{N-1}} P^1(dw^1) T^{2}(w^1,dw^2) \cdots T^{N-1}(w^{N-1},A^N)P(A1×⋯×AN)=∫A1⋯∫AN−1P1(dw1)T2(w1,dw2)⋯TN−1(wN−1,AN)

假设样本空间具有有限的元素，Ω={w1,⋯,wn}\Omega = \{w_1,\cdots,w_n\}Ω={w1,⋯,wn}，则概率测度可以一个向量p=(p1,⋯,pn)Tp=(p_1,\cdots,p_n)^Tp=(p1,⋯,pn)T表示，pj=P(wj),∀jp_j = P(w_j),\forall jpj=P(wj),∀j，此时所有可能的概率测度均是下面的集合的元素：
{p:pj≥0,∀j;∑j=1npj=1}\{ p:p_j \ge 0, \forall j; \sum_{j=1}^n p_j =1\}{p:pj≥0,∀j;j=1∑npj=1}
这个集合是一个单纯形。

统计问题的描述

概率论解决的问题是如果我们了解一个概率空间所有的信息，即所有可能的结果(Ω,S)(\Omega,\mathbf{S})(Ω,S)以及对应的概率PPP，我们可以做什么。数理统计面临的问题更加现实，因为真实情况往往是我们只知道所有可能的，或者部分的事件结果，也就是我们掌握(Ω,S)(\Omega,\mathbf{S})(Ω,S)的信息，不知道对应的概率测度PPP。数理统计中最常用的参数统计的思想是假设概率测度属于某个分布族{Pθ,θ∈Θ}\{P_{\theta},\theta \in \Theta\}{Pθ,θ∈Θ}，Θ\ThetaΘ被称为参数空间，统计问题就被定义在概率空间(Ω,S,Pθ)(\Omega,\mathbf{S},P_{\theta})(Ω,S,Pθ)上。

用决策的思路来描述统计问题，这个过程是我们通过对观察到的一组样本进行一些分析，然后从决策空间(A,A)(A,\mathbf{A})(A,A)中选择一个决策a∈Aa \in Aa∈A，A\mathbf{A}A是AAA的一个σ\sigmaσ-代数。可以定义决策函数f:Ω→Af:\Omega \to Af:Ω→A，也就是fff是样本空间到决策空间的一个映射。

比较常规的操作是用Markov概率转移函数来定义一个决策过程。我们可以用转移函数T(w,a)T(w,a)T(w,a)来表示如果观察到样本www，那么我们就选择决策aaa的概率，从而给定样本时策略的概率为Pw(a)=T(w,a)P_w(a) = T(w,a)Pw(a)=T(w,a)。按这种理解，决策空间也是一个概率空间，可以定义概率测度QQQ为
Q(a)=(PT)(a)=∫ΩT(w,a)P(dw)Q(a) = (PT)(a) = \int_{\Omega} T(w,a)P(dw)Q(a)=(PT)(a)=∫ΩT(w,a)P(dw)
所以决策函数其实就是两个概率空间之间的映射。

有了样本与决策的对应关系之后，接下来要回答的问题是观察到一组样本，怎么做决策才是最优的？我们可以定义损失函数L(a,θ):A×Θ→RL(a,\theta):A \times \Theta \to \mathbb{R}L(a,θ):A×Θ→R，它将参数-决策对映射到一个数，这个数表示真实参数为θ\thetaθ时，选择决策aaa的损失。因为aaa是概率空间(A,A,Q)(A,\mathbf{A},Q)(A,A,Q)中的元素，所以L(a,θ)L(a,\theta)L(a,θ)的值是随机数。为了便于比较，可以定义风险函数
R(θ,T)=∫AL(a,θ)Q(da)=∫A∫ΩL(a,θ)T(w,a)Pθ(dw)R(\theta,T) = \int_{A} L(a,\theta) Q(da) = \int_{A} \int_{\Omega} L(a,\theta)T(w,a)P_{\theta}(dw) R(θ,T)=∫AL(a,θ)Q(da)=∫A∫ΩL(a,θ)T(w,a)Pθ(dw)
称这样定义的风险为Wald风险。每一个决策函数TTT都会有一个风险与之对应，最优决策的思路是找到风险最小的那个决策函数，并用它来做决策。但Wald风险还与真实参数θ\thetaθ有关，因此具体怎么操作以后再细谈。

统计决策理论是由Wald系统性地建立起来的，在此之前数理统计主要有两个领域，以Fisher为代表的参数估计理论和以Neyman、Pearson为代表的的假设检验理论。统计决策理论的进步性体现在它能把这两个领域解决的问题用同一套话语体系来描述，并给出了一些共通的方法。这个系列的博客接下来的安排是把统计决策理论需要的基础先简单叙述一遍，再开始介绍统计决策的理论。基础部分需要的主要是条件概率、流形以及范畴论。条件概率是非常基础但也很重要的的概率论工具，是鞅、Markov族的基础。流形主要是用来处理一些和连续分布相关的分析问题。范畴是作为算子半群的推广，用来处理一些Markov族的问题的。

统计决策理论1 统计问题与统计决策相关推荐

统计决策理论2 条件分布上
统计决策理论2 条件分布上给定一个可测的样本空间(Ω,S)(\Omega,\mathbf{S})(Ω,S),定义Cap(Ω,S)Cap(\Omega,\mathbf{S})Cap(Ω,S)表示这个可 ...
[数理知识]统计决策理论——贝叶斯决策与两类错误率
文章目录前序 1 决策理论与方法 1.1 基于先验概率的决策过程 1.2 基于贝叶斯公式的决策过程 1.3 决策错误率 2 贝叶斯决策的优化 2.1 最小错误率贝叶斯决策 2.1.1 二分类问题的决 ...
MySQL手机统计信息_MySQL统计信息
摘要我们将一条查询SQL提交给MySQL之后,MySQL在进行真正的查询操作之前通常会经历两个阶段:SQL解析和查询优化.在SQL解析过程中,MySQL会将SQL解析为一个树状结构,而在查询优化阶段 ...
jieba库词频统计_如何用python对《三国演义》、《红楼梦》等名著开展词云分析及字频统计、出场统计等工作。...
以下以<红楼梦>为例进行设计. 在制作词云图及统计之前,需要下载python的几个库,wordcloud.jieba以及imageio等,我的操作系统为Windows10,IDE环境为id ...
弱水三千之统计独立性、统计相关性辨析
序在随机信号分析中,存在这样一个概念群:不相关.正交.统计独立. 当两个随机过程保持统计独立时,它们必然不相关:但反过来则不一定成立,即不相关的两个随机过程不一定能保持统计独立,唯有高斯过程才是个例 ...
Python 数据分析三剑客之 Pandas（五）：统计计算与统计描述
CSDN 课程推荐:<迈向数据科学家:带你玩转Python数据分析>,讲师齐伟,苏州研途教育科技有限公司CTO,苏州大学应用统计专业硕士生指导委员会委员:已出版<跟老齐学Python ...
百度统计：网站统计实时访客报告
百度统计:网站统计实时访客报告后台查看 · 截图: 文档地址 · 截图: 官方文档:https://tongji.baidu.com/web/welcome/login 设置教程 · 步骤 · 使用 ...
智慧停车场管理系统、停车位、停车费、停车场系统、寻车、抬杆、入位车、出位车、车流量统计、停车、收费、缴费、预警管理、业务统计、报警统计、运维管理、报警系统、异常页面、数据配置、智慧停车原型、停车场
智慧停车场管理系统.停车位.停车费.停车场系统.寻车.抬杆.入位车.出位车.车流量统计.停车.收费.缴费.预警管理.业务统计.报警统计.运维管理.报警系统.异常页面.数据配置.智慧停车原型.Axure ...
在线教育、直播教育、课程直播、订单系统、老师介绍、收入提现、在线学习、业绩统计、课程统计、选老师、选课程、作业管理、课程管理、报名统计、在线教育管理系统、axure原型、rp源文件
在线教育.直播教育.课程直播.订单系统.老师介绍.收入提现.在线学习.业绩统计.课程统计.选老师.选课程.作业管理.课程管理.报名统计.在线教育管理系统.axure原型.rp源文件 Axure原型演示 ...

统计决策理论1 统计问题与统计决策

统计决策理论1 统计问题与统计决策

Kolmogorov公理化体系

统计问题的描述

统计决策理论1 统计问题与统计决策相关推荐

最新文章

热门文章