Summary of Estimation Methods

Estimation theory

数学概念

似然函数 / likelihood function

L(θx)=f(xθ)\mathcal{L}(\theta \mid x) = f(x\mid\theta)

f(xθ)f(x|\theta) 作为 xx 的函数时,是概率密度函数; 当 f(xθ)f(x|\theta) 作为 θ\theta 的函数时,是似然函数。

后验分布 / posterior distribution

f(θx)=f(xθ)g(θ)Θf(xϑ)g(ϑ)dϑf(\theta \mid x) = \frac{f(x\mid \theta )\,g(\theta )}{\int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta}


最大似然估计 / maximum likelihood (ML) estimation

θ^ML(x)=argmaxθL(θx)=argmaxθf(xθ)\hat{\theta}_{\rm ML}(x) = \arg \max_{\theta} \mathcal{L}(\theta|x) = \arg \max_{\theta} f(x|\theta)

θ^MAP(x)=argmaxθf(xθ)g(θ)Θf(xθ)g(θ)dθ=argmaxθf(xθ)g(θ)\hat{\theta}_{\rm MAP}(x) = \arg \max_{\theta}{\frac{f(x\mid\theta )\,g(\theta )}{\int_{\Theta}f(x\mid\theta ')\,g(\theta ')\,d\theta '}}=\arg \max_{\theta}f(x|\theta )\,g(\theta)

最大后验概率估计 / Maximum a posteriori (MAP) estimation

g(θ)g(\theta) 是假设的先验概率;分母与 θ\theta 的取值无关;g(θ)g(\theta) 为均匀分布时与 θ^ML\hat\theta_{\rm ML} 等价。

贝叶斯估计

Type-II maximum likelihood (MLII)

Empirical Bayes estimation


算法

最大期望算法

(未完成)

12βσ212B(Φ(ΦΣ1)1m+121m-\frac{1}{2} \bm{\beta} \sigma^2 - \frac{1}{2} \bm{B} ( \Phi \circ (\Phi\Sigma^{-1} ) \bm{1}_m + \frac{1}{2} \cdot \bm{1}_m

Method of moments (statistics)

矩估计与最大似然估计

矩估计:将概率分布函数分散为不同次幂的期望来刻画。计算简便。

最大似然估计:使用 Bayesian 方法得到给定观测时的参数的分布–似然函数,然后最大化似然函数。理论上精度较高。

高阶矩

概率论中「矩」(moment)的实际含义是什么,高阶矩表示数据的哪些状态?

概率论中「矩」(moment)的实际含义是什么,高阶矩表示数据的哪些状态? - 荆哲的回答 - 知乎

未读

Moment matching algorithm