EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步：求期望(expectation)；M步：求极大(maximization)；所以这一算法称为期望极大算法(expectation maximization algorithm)，简称EM算法。EM算。
提升方法提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。提升方法的基本思路提升方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。实际上，就是"三个臭皮匠顶个诸葛亮"的道理。历史上，Kearns和Valia。
提升树是以分类树或回归树为基础分类器的提升方法，提升树被认为是统计学习中性能最好的方法之一。当损失函数是平方损失和指数损失函数时是普通提升树，当利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值，拟合一个回归树时称为梯度提升决策树(GBDT)。提升树模型提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法。以决策树为基函数的提升方法称为提升树（boosting tr。
逻辑回归，即Logistic Regression，简写为LR。逻辑回归就是这样的一个过程：面对一个回归或者分类问题，选择合适的目标函数（即预测函数，模型），建立代价函数（即损失函数，策略），然后通过优化方法求解出最优的模型参数（算法），然后测试验证我们这个求解模型的好坏。逻辑回归虽然名字里带了"回归"，但是它实际上是一种分类方法，主要用于二分类（即输出只有两种0或1，分别代表两个类别）。算法标。