应用随机过程学习总结
一、预备知识：概率论
随机过程属于概率论的动态部分，即随机变量随时间不断发展变化的过程，它以概率论作为主要的基础知识。
1、概率空间方面，主要掌握sigma代数和可测空间，在随机过程中由总体样本空间所构成的集合族。符号解释： sup表示上确界， inf表示下确界。
本帖隐藏的内容
2、数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述。其中由于概率分布较难确定，因此通常计算随机变量的数字特征来估算分布总体，而矩母函数和特征函数便用于随机变量的N阶矩计算，同时唯一的决定概率分布。
3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同为分布函数的两个函数，卷积可以交换顺序，同时满足结合律和分配率。条件期望中，最重要的是理解并记忆E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y)。
二、随机过程基本概念和类型
随机过程是概率空间上的一族随机变量。因为研究随机过程主要是研究其统计规律性，由Kolmogorov定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。同样，随机过程的有限维分布也通过某些数值特征来描述。
1、平稳过程，通常研究宽平稳过程：如果X(t1)和X(t2)的自协方差函数
r(t1,t2)=r(0,t-s)均成立，即随机过程X(t)的协方差函数r(t,s)只与时间差
t-s有关，r(t) = r(-t)记为宽平稳随机过程。
因为一条随机序列仅仅是随机过程的一次观察，那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来，因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。
2、独立增量过程：若X[Tn]– X[T(n-1)]对任意n均相互独立，则称X(t)是独立增量过程。若独立增量过程的特征函数具有可乘性，则其必为平稳增量过程。
兼有独立增量和平稳增量的过程称为平稳独立增量过程，其均值函数一定是时间t的线性函数。
3、随机过程的分类不是绝对的。例如，泊松过程既具有独立增量又有平稳增量，既是连续时间的马尔科夫链，又是一类特殊的更新过程。参数为lambda 的泊松过程减去其均值函数同时还是一个鞅。
三、泊松过程
计数过程｛N(t), t>=0｝是参数为λ的泊松过程（λ> 0），具有平稳独立增量性。而其任意时间长度t发生的次数服从均值为λ* t的泊松分布，即E[N(t)]= λ* t。
1、与泊松过程有关的若干分布：Xn表示第n次与第n-1次事件发生的时间间隔，定义Tn表示第n次事件发生的时刻，规定T0= 0。其中，
Xn服从参数为λ的指数分布，且相互独立。泊松过程在任何时候都是重新开始。Tn服从参数为n和λ的Γ分布
四、更新过程
更新过程{N(t),t>=0}中Xn仍保持独立同分布性，但分布任意，不再局限于指数分布。更新过程中事件发生一次叫做一次更新，此时Xn就是第n-1次和第n次更新相距的时间，Tn是第n次更新发生的时刻，而N(t)就是t时刻之前发生的总的更新次数。
由强大数定理可知，无穷多次更新只可能在无限长的时间内发生。因此，有限长时间内最多只能发生有限次更新。
1、更新函数：更新理论中大部分内容都是有关E[N(t)]的性质。以M(t)记为E[N(t)]，称为更新函数。此时，M(t)是关于t的函数而不是随机变量。
2、更新方程：若H(t)，F(t)为已知，且当t<0时，H(t)与F(t)均为0，同时当H(t)在任何区间上有界时，称具有如下形式的方程K(t) = H(t) + intergral(K(t-s)*dF(s))的方程称为更新方程。当H(t)为有界函数时，更新方程存在唯一的有限区间内的有界的解K(t) = H(t) + intergral(H(t-s)*dM(s))。
3、更新定理：Feller初等定理、Blackwell更新定理、关键更新定理。其中Blackwell定理指出，在远离原点的某长度为a的区间内，更新次数的期望是a/u，u = E(Xn)。同时，Smith关键更新定理与Blackwell定理等价。
五、马尔科夫链
马尔科夫链中的转移概率为条件概率，同时给定过去的状态X0，…，Xn-1和现在的状态Xn，将来的状态Xn+1的条件分布与过去的状态独立，只依赖于现在的状态。其中，Pij = P{Xn+1=j | Xn=i}为马尔科夫链的一步转移概率，它代表处于状态i的过程下一步转移到状态j的概率。
当转移概率Pij只与状态i，j有关而与n无关时，称为时齐马尔科夫链，同时当状态有限时，称为有限链。转移概率矩阵中概率非负，同时随机矩阵中每一行的元素和为1。
记Pij(n)为n步转移概率，它指系统从状态i经过n步后转移到状态j的概率，而对中间n-1步转移经过的状态无要求。对n步转移概率和转移矩阵，有C-K
方程公式。
1. 状态的分类和性质：如果状态i经过n步转移后到达j的概率大于0，称状态i可达状态j。若同时状态j可达状态i，则称i与j互通，两两互通的状态有传递性。我们将互通的各个状态归为一类，自己和自己互通，当一个马尔科夫链中只有一类时称为不可约类，否则则是可约类。
如果状态i可以经过n步回到i状态，则将所有n的最大公约数记为状态i的周期，即d(i)，如果d>1，则称i是周期的，如果d=1则为非周期，空集时为无穷大。同属于一类的两状态周期相同。
记状态i出发经n步后首次到达j的概率为Fij(n)，则所有可能n的概率Fij(n)加起来的和记为Fij。若Fij=1，i为常返状态，Fij< 1，i为非常返状态或瞬时状态。对于常返状态i，记Ui为从i第一次回到i的期望步长，若Ui有限，称i为正常返状态，若趋于无穷大，则为零常返状态。若正常返状态i同时还是非周期的，则称之为遍历状态。若遍历状态且Fii(1)=1，则称为吸收状态，此时Ui=1。
对于同属于一类的状态i，j，他们同为常返状态或非常返状态，并且当他们是常返状态时，又同为正常返状态或零常返状态。状态i至j的n步转移概率与首达概率间存在一定关系。同时若i与j互通且i为常返状态，则Fji = 1。
2. 极限定理及平稳分布：马尔科夫链的极限情况即状态i经过无穷多步转移后到达i的概率是多少。有结论，若状态i是周期为d的常返状态，则Pii(nd) = d/Ui，即经过无穷多步后回到i的概率为常数，上述定理对Pij也有效。同时，不可约的有限马尔科夫链是正常返的。
若对于马尔科夫链Pj = P(Xn = j) = sum(Pi*Pij)，则概率分布Pj为平稳分布。因为此时，对于任意Xn均有相同的分布。同时，对于遍历的马尔科夫链，极限分布就是平稳分布并且还是唯一的平稳分布。极限分布即为很长时间后，无论最开始状态如何，最终达到某一状态的概率。若对于遍历的马尔科夫链，该概率是稳定的趋于常数。
3. 连续时间马尔科夫链、Kolmogorov微分方程
