核回歸

核回歸（又稱局部加權線性回歸）是統計學中用於估計隨機變量的條件期望的非參數方法。目的是找到一對隨機變量X和Y之間的非線性關係。

在任何非參數回歸中，變量的條件期望 $Y$ 相對於變量 $X$ 可以寫成：

$\operatorname {E} (Y|X)=m(X)$

m為一個未知函數。

Nadaraya–Watson核回歸

1964年， Nadaraya和Watson都提出了估算 $m$ 作為局部加權平均值，使用內核作為加權函數的方法。 ^[1] ^[2] ^[3] Nadaraya–Watson估計量為：

${\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}$

$K_{h}$ 是一個帶寬為 $h$ 的核。分母是一個總和為1的加權項。

推導

$\operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy$

將內核密度估計用於具有內核K的聯合分布f（x，y）和f（x） ，

${\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)$ , ${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ,

我們得到

${\begin{aligned}\operatorname {\hat {E}} (Y|X=x)&=\int {\frac {y\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}}dy,\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\end{aligned}}$

這便是Nadaraya–Watson估計量。

Priestley–Chao核估計函數

${\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}$

此處 $h$ 為帶寬（或平滑參數）。

Gasser–Müller核估計函數

${\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)du\right]y_{i}$

此處 $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$

示例

此示例基於加拿大截面工資數據，該數據由1971年加拿大人口普查公用帶中的隨機樣本組成，這些樣本適用於受過普通教育的男性（13年級）。共有205個觀測值。

右圖顯示了使用二階高斯核以及漸近變化範圍的估計回歸函數

程序實例

以下R語言命令使用npreg()函數提供最佳平滑效果並創建上面給出的圖形。這些命令可以通過剪切和粘貼在命令提示符下輸入。

 install.packages("np")
 library(np) # non parametric library
 data(cps71)
 attach(cps71)

 m <- npreg(logwage~age)

 plot(m,plot.errors.method="asymptotic",
   plot.errors.style="band",
   ylim=c(11,15.2))

 points(age,logwage,cex=.25)

統計實現

MATLAB 這些頁面（頁面存檔備份，存於網際網路檔案館）上提供了免費的MATLAB工具箱，其中包括內核回歸，內核密度估計，危險函數的內核估計以及許多其他工具的實現（此工具箱是本書的一部分^[5] ）。
Stata npregress ， kernreg2 （頁面存檔備份，存於網際網路檔案館）
R ： np package的函數npreg可以執行內核回歸。 ^[6] ^[7]
Python ：所述KernelReg在混合數據類型類statsmodels.nonparametric子包（包括其他內核密度相關的類），封裝kernel_regression （頁面存檔備份，存於網際網路檔案館）作為的延伸sklearn （低效存儲器明智的，有用的，只有對於小數據集）
GNU Octave數學程序包：

參考文獻

^ Nadaraya, E. A. On Estimating Regression. Theory of Probability and Its Applications. 1964, 9 (1): 141–2. doi:10.1137/1109020.
^ Watson, G. S. Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A. 1964, 26 (4): 359–372. JSTOR 25049340.
^ Bierens, Herman J. https://books.google.com/books?id=M5QBuJVtbWQC&pg=PA212 |chapterurl=缺少標題 (幫助). The Nadaraya–Watson kernel regression function estimator. New York: Cambridge University Press. 1994: 212–247. ISBN 0-521-41900-X.
^ Salsburg, D. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. 2002: 290–91. ISBN 0-8050-7134-2.
^ Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. 2012. ISBN 978-981-4405-48-5.
^ np: Nonparametric kernel smoothing methods for mixed data types. [2019-10-14]. （原始內容存檔於2020-08-17）.
^ Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R. CRC Press. 2014: 98–106. ISBN 978-1-4398-7343-4.

延申閱讀

Henderson, Daniel J.; Parmeter, Christopher F. Applied Nonparametric Econometrics. Cambridge University Press. 2015 [2019-10-14]. ISBN 978-1-107-01025-3. （原始內容存檔於2020-08-06）.
Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice. Princeton University Press. 2007. ISBN 0-691-12161-3.
Pagan, A.; Ullah, A. Nonparametric Econometrics. Cambridge University Press. 1999 [2019-10-14]. ISBN 0-521-35564-8. （原始內容存檔於2016-06-24）.
Simonoff, Jeffrey S. Smoothing Methods in Statistics. Springer. 1996. ISBN 0-387-94716-7.

外部連結

可縮放比例的內核回歸（頁面存檔備份，存於網際網路檔案館）（使用Matlab軟件）。
使用電子表格（使用Microsoft Excel ）進行內核回歸的教程。
在線內核回歸演示（頁面存檔備份，存於網際網路檔案館） Requires。 NET 3.0或更高版本。
具有自動帶寬選擇功能的內核回歸（頁面存檔備份，存於網際網路檔案館）（使用Python）

[1] Nadaraya, E. A. On Estimating Regression. Theory of Probability and Its Applications. 1964, 9 (1): 141–2. doi:10.1137/1109020.

[2] Watson, G. S. Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A. 1964, 26 (4): 359–372. JSTOR 25049340.

[3] Bierens, Herman J. https://books.google.com/books?id=M5QBuJVtbWQC&pg=PA212 |chapterurl=缺少標題 (幫助). The Nadaraya–Watson kernel regression function estimator. New York: Cambridge University Press. 1994: 212–247. ISBN 0-521-41900-X.

[4] Salsburg, D. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. 2002: 290–91. ISBN 0-8050-7134-2.

[HorKolZel-5] Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. 2012. ISBN 978-981-4405-48-5.

[6] : Nonparametric kernel smoothing methods for mixed data types. [2019-10-14]. （原始內容存檔於2020-08-17）.

[7] Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R. CRC Press. 2014: 98–106. ISBN 978-1-4398-7343-4.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

核回歸