半参数回归

统计学中，半参数回归包括结合了参数模型和非参数模型的回归模型。它们通常用于完全非参数模型可能表现不佳的情况，或者研究人员希望使用参数模型，但与回归子集有关的函数形式或误差密度不为人知的情况。半参数回归模型是半参数建模的一种特殊类型。半参数模型包含参数成分，依赖于参数假设，可能会出现规范误差与不一致的情况。

方法

目前已有许多不同的半参数回归方法。最流行的方法是部分线性模型、指数模型和变系数模型。

部分线性模型

部分线性模型如下

$Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,$

其中$Y_{i}$是因变量，$X_{i}$是解释变量的$p\times 1$向量，$\beta$是未知参数的$p\times 1$向量，$Z_{i}\in \operatorname {R} ^{q}$。部分线性模型的参数部分由参数向量$\beta$给出，而非参数部分是未知函数$g\left(Z_{i}\right)$。假设数据与$E\left(u_{i}|X_{i},Z_{i}\right)=0$独立同分布，模型允许未知形式的条件异方差误差过程$E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)$。这类模型由Robinson (1988)提出，并由Racine & Li (2007)扩展到处理分类协变量。

这种方法先获得$\beta$的${\sqrt {n}}$一致估计量，然后用适当的非参数回归方法，从$Y_{i}-X'_{i}{\hat {\beta }}$对$z$的非参数回归中推出$g\left(Z_{i}\right)$的估计量。

指数模型

单一指数模型的形式是

$Y=g\left(X'\beta _{0}\right)+u,\,$

其中$Y$、$X$、$\beta _{0}$的定义与上文相同，误差项$u$满足$E\left(u|X\right)=0$。单一指数模型得名于模型的参数部分$x'\beta$，是标量单指数。非参数部分是未知函数$g\left(\cdot \right)$。

市村法

市村(1993)提出的单一指数模型法如下。考虑$y$连续情形，给定函数$g\left(\cdot \right)$的已知形式，$\beta _{0}$可用非线性最小二乘法估计，使函数

$\sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.$

最小化。$g\left(\cdot \right)$的函数形式未知，需要估计。对给定$\beta$值，函数估计值可用核密度估计得到，为

$G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]$

市村(1993)建议用下式估计$g\left(X'_{i}\beta \right)$：

${\hat {G}}_{-i}\left(X'_{i}\beta \right),\,$

为$G\left(X'_{i}\beta \right)$的留一非参数核估计量.

Klein与Spady估计量

Klein & Spady (1993)提出，若因变量$y$是二元的，并假设$X_{i}$、$u_{i}$独立，则可用最大似然估计法估计$\beta$。对数似然函数为

$L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),$

其中${\hat {g}}_{-i}\left(X'_{i}\beta \right)$是留一估计量。

平滑系数/变系数模型

Hastie & Tibshirani (1993)提出了一种平滑系数模型

$Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},$

其中$X_{i}$是$k\times 1$向量，$\beta \left(z\right)$是$z$的未定平滑函数向量。

$\gamma \left(\cdot \right)$可表为

$\gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].$

另见

• 非参数回归

参考文献

• Robinson, P.M. Root-n Consistent Semiparametric Regression. Econometrica (The Econometric Society). 1988, 56 (4): 931–954. JSTOR 1912705. doi:10.2307/1912705. 
• Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice. Princeton University Press. 2007. ISBN 978-0-691-12161-1. 
• Racine, J.S.; Qui, L. A Partially Linear Kernel Estimator for Categorical Data. Unpublished Manuscript, Mcmaster University. 2007. 
• Ichimura, H. Semiparametric Least Squares (SLS) and Weighted SLS Estimation of Single Index Models. Journal of Econometrics. 1993, 58 (1–2): 71–120. doi:10.1016/0304-4076(93)90114-K. 
• Klein, R. W.; R. H. Spady. An Efficient Semiparametric Estimator for Binary Response Models. Econometrica (The Econometric Society). 1993, 61 (2): 387–421. CiteSeerX 10.1.1.318.4925 . JSTOR 2951556. doi:10.2307/2951556. 
• Hastie, T.; R. Tibshirani. Varying-Coefficient Models. Journal of the Royal Statistical Society, Series B. 1993, 55: 757–796.