10.4 多元线性回归技术的实践应用和注意事项

之所以本章在最后才介绍线性回归模型,主要的原因在于线性回归是逻辑回归的基础,同时,线性回归也是数据挖掘中常用的处理预测问题的有效方法。线性回归与逻辑回归最大的区别,也是最直观的区别在于目标变量的类型,线性回归所针对的目标变量是区间型的(Interval),而逻辑回归所针对的目标变量是类别型的(Category)。另外,线性回归模型与逻辑回归模型的主要区别如下:

❑线性回归模型的目标变量与自变量之间的关系假设是线性关系的,而逻辑回归模型中目标变量与自变量之间的关系是非线性的。

❑在线性回归中通常会假设,对应于自变量X的某个值,目标变量Y的观察值是服从正态分布的;但是,在逻辑回归中,目标变量Y是服从二项分布0和1或者多项分布的。

❑在逻辑回归中,不存在线性回归里常见的残差。

❑在参数的估值上,线性回归通常采用的是最小平方法,而逻辑回归通常采用的是最大似然法。

10.4.1 线性回归的原理和核心要素

线性回归包括一元线性回归和多元线性回归,在数据分析挖掘的业务实践中,用得更多的是多元线性回归。

“多元线性回归”是描述一个区间型目标变量(Interval Variable)Y是如何随着一组自变量X1,X2,…,Xp的变化而变化。把目标变量Y与自变量X1,X2,…,Xp联系起来的公式就是多元线性回归方程。

在目标变量Y的变化中包括两个部分:系统性变化和随机变化。系统性变化是由自变量引起的;而自变量不能解释的那部分变化就是所谓的残差,该部分可以认为是随机变化。

在多元线性回归方程中,目标变量Y与一组自变量之间的线性函数关系,可以用如下公式表示:

Y=β0+β1x1+β2x2+…+βpxp+ε

其中,Y是目标变量,X1,X2,…,Xp是自变量,β0是常数(截距),β0,β2,…,βp,是每个自变量的系数(权重),ε是随机误差。

常用来估算多元线性回归方程中自变量系数的方法就是最小平方法,即找出一组参数(与β1,β2,…,βp相对应),使得目标变量Y的实际观察值与回归方程的预测值之间总的方差最小。

对于多元线性回归方程的检验,一般从模型的解释程度、回归方程的总体显著性和回归系数的显著性等方面进行检验。

❑模型的解释程度,又称回归方程的拟合度检验。R的平方(R-Square),也叫做R2或Coefficient of Multiple Determination表示拟合度的优劣,其取值范围为[0,1]。关于R2的详细介绍,请参考本书8.6.4节。需要强调的是,R2的数值与自变量的个数有关,自变量的个数越多,R2越大,这在一定程度上削弱了R2的评价能力,因此在实践中通常要考虑剔除自变量数目影响后的R2,即修正的R2(Adjustable R2)。

❑回归方程的总体显著性检验。主要是检验目标变量与自变量之间的线性关系是否显著,也就是自变量的系数是否不全为0,其原假设为:H0:β1=β2=…=βp=0;而其备选假设为:H1:βp不全为0。该检验利用F检验完成。

❑回归方程系数的显著性检验。回归方程系数的显著性检验要求对所有的回归系数分别进行检验。如果某个系数对应的P值小于理论显著性水平α值,则可认为在显著性水平α条件下,该回归系数是显著的。

10.4.2 线性回归的应用优势

线性回归模型作为应用最为广泛的算法,其主要的优势如下:

❑通俗易懂。多元线性回归模型非常容易被解读,其自变量的系数直接跟权重挂钩,因此很容易解释每个自变量对于目标变量的预测价值大小(贡献大小),解读出的这些信息可以为数据化运营提供有效的思考方向。

❑速度快,效率高。相比于其他的建模算法而言,多元线性回归的计算速度是最快的。

❑可以作为查找异常值的有效工具。那些与多元线性回归方程的预测值相差太大的观察值通常值得进一步考察,确定其是否是异常值。

10.4.3 线性回归应用中的注意事项

线性回归应用中的注意事项如下:

❑算法对于噪声和异常值比较敏感。因此,在实践应用中,回归之前应该努力消除噪声和异常值,确保模型的稳定和准确度。

❑该算法只适合处理线性关系,如果自变量与目标变量之间有比较强烈的非线性关系,直接利用多元线性回归是不合适的。不过,在这种情况下,可以尝试对自变量进行一定的转换,比如取对数、开平方、取平方根等,尝试用多种不同的运算进行转换。

❑多元线性回归的应用还有一些前提假设:自变量是确定的变量,而不是随机变量,并且自变量之间是没有线性相关性的;随机误差项具有均值为0和等方差性;随机误差呈正态分布等。