※ 您的位置
首页王教授专栏正文:

  市场研究基础知识讲座
 
第133讲:多重共线性的处理方法(摘)
 

我们在做客户满意度研究的时候,可以通过各指标对整体满意度的线型回归,求出指标对于整体满意度的贡献率,进而可以获得cox指数。然而我们通常会遇到指标之间具有高度相关或者说多重共线性的情形。这时候,便要求我们进行线性回归的时候,应当有所改进,不能仅仅简单地将各指标直接插入回归。以下是几种常用的多重共线性处理办法,可供大家参考。
一、逐步回归法(Stepwise Regression)
处理多重共线性的常规方法是通过筛选,从模型中去除不太重要的变量。通常采用的方法是逐步回归法。其算法如下:
(1)实施顾客满意度y对每一个解释变量 Xi的一元回归。选择F检验值最大的那个解释变量进入模型。
(2)对剩下的P-1个解释变量做偏F检验,在通过偏F检验的变量中选择检验值最大的那个进入模型。
(3)再对剩下P-2个解释变量做偏F检验,在通过偏F检验的变量中选择检验值最大的那个进入模型。接着对已进入模型的三个解释变量分别进行偏F检验,如果三个解释变量都通过了偏F检验,则接着选择第四个进入模型的变量。如果有变量没有通过偏F检验,则将其删除出模型。
(4)重复步骤(3),直到所有模型外的变量都不能通过偏F检验。

二、岭回归法(Ridge Regression)
岭回归分析法,是通过牺牲估计的无偏性来换取估计方差的大幅减小,以修正最小二乘法在多重共线性情况下的估计效果。其基本原理如下:
假设变量已经过标准化,对于最小二乘法的正规方程1,引入有偏常数c(c≥0),得到新的正规方程:2=3
从而模型参数的估计量:6
可以证明,总存在着一个c值,使得岭估计的均方误差小于最小二乘估计的均方误差。C的引入使得岭回归估计不再是无偏的,但却有效解决了矩阵4在多重共线性下求逆的不稳定问题,降低了估计方差,提高了估计的稳定性。目前,比较常用的选择C的方法包括岭迹法、方差膨胀因子法和Hoed—Kennard公式法等。

三、成分回归法(Principal Component Regression)
主成分回归法是另外一种常用的处理多重共线性的有偏估计方法,它通过提取主成分,将解释变量集合转化为相互正交的少数几个主成分变量,试图通过降维消除解释变量之间的多重共线性,然后再实施最小二乘回归 J。其步骤一般如下:
① 假设设计阵 已经标准化,求矩阵5的特征根所对应的标准正交化特征向量8
② 对解释变量集合做正交转换Z=X9, 为矩阵得到新的解释变量集合,称为主成分;
③ 剔除对应的特征根比较小的那些主成分;
④ 将剩下的主成分对Y,做最小二乘回归,再返回原来的参数,得到因变量对原始解释变量的回归系数。

四、偏最小二乘回归法(Partial Least Squares Regression)
偏最小二乘回归法最早由瑞典的H.Wold教授提出,最早应用在化学分析领域,用以解决样本量不足所导致的最小二乘法失效问题,后来在心理学和经济学领域中也得到了广泛应用。其原理也是通过提取主成分方式来降维以消除多重共线性。在提取主成分过程中,偏最小二乘法不同于主成分回归,它要求所提取的主成分满足两个原则:(1)尽可能大地代表设计阵X中的变异信息;(2)提取出的主成分对因变量Y的解释能力达到最强。

 

  相关文章:
  上一讲:
  下一讲:
Copyright © www.cmmrchina.com All Right Reserved  
明镜市场研究咨询有限公司 版权所有 
未经书面特别授权,请勿转载或建立镜像