1.3.3　最大似然估计

假设样本是X_i={X₁，X₂，…，X_n}，未知的估计参数为θ，待优化的目标函数为：f(X₁，X₂，…，X_n|θ)。如果我们能从总样本中抽取几个样本的组合，使得样本组合的概率最大，那么参数估计问题就可以简单地转换成如下的最优化问题。

1）假设样本X_i={X₁，X₂，…，X_n}是独立同分布的，L(X₁，X₂，…，X_n|θ)为包含估计参数的似然函数：

2）令方程的两边取对数，简化方程的运算复杂度：

3）对方程两边的算式求导（如果该似然函数的导数存在），令另一侧等于0：

4）求解似然方程得到L(θ)的估计值。

最大似然函数的思想可以理解为：已知某个总体下的随机样本满足某种概率分布，概率分布的参数是未知的，经过反复试验，如果某个参数值能够使得样本出现的概率最大，就把这个参数值当作最大似然估计值。