[TOC]
3.1 线性回归
$$ f(x_i) = wx_i + b \quad \text{使得} \quad f(x_i) \simeq y_i $$离散属性的处理：若有"序"（order），则连续化；否则，转化为 $k$ 维向量
令均方误差最小化，有：
$$ (w^*, b^*) = \arg\min_{(w, b)} \sum_{i=1}^m (f(x_i) - y_i)^2 = \arg\min_{(w, b)} \sum_{i=1}^m (y_i - wx_i - b)^2 $$$$ E(w, b) = \sum_{i=1}^m (y_i - wx_i - b)^2 $$进行最小二乘参数估计
3.2 最小二乘解
$$ E_{(w,b)} = \sum_{i=1}^m (y_i - wx_i - b)^2 $$分别对 $w$ 和 $b$ 求导：
$$ \frac{\partial E_{(w,b)}}{\partial w} = 2 \left( w \sum_{i=1}^m x_i^2 - \sum_{i=1}^m (y_i - b)x_i \right) $$$$ \frac{\partial E_{(w,b)}}{\partial b} = 2 \left( mb - \sum_{i=1}^m (y_i - wx_i) \right) $$令导数为 0，得到闭式(closed-form)解：
$$ w = \frac{\sum_{i=1}^m y_i (x_i - \bar{x})}{\sum_{i=1}^m x_i^2 - \frac{1}{m} \left( \sum_{i=1}^m x_i \right)^2} \quad b = \frac{1}{m} \sum_{i=1}^m (y_i - wx_i) $$3.3 多元线性回归
同样采用最小二乘法求解，有
$$ w^* = \arg\min_{w} (y - Xw)^T (y - Xw) $$$$ E_w = (y - Xw)^T (y - Xw) $$，对 $w$ 求导：
$$ \frac{\partial E_w}{\partial w} = 2X^T (Xw - y) $$令其为零可得 $w$
然而，麻烦来了：涉及矩阵求逆！
- 若 $X^T X$ 满秩或正定，则 $$ w^* = (X^T X)^{-1} X^T y $$
- 若 $X^T X$ 不满秩，则可解出多个 $w$
若可解出多个解，可以引入正则化得到唯一解