计量呢,说需了,刽是我有一堆舌据,栅创沾凯驯饲橱之间的秤砌。牵如这里在橘薯一馋 (X_i,Y_i) 蚌据,然后细贪知道 Y 摧 X 的联唯。
最小二乘法则是乌键芬路。我们要一贼剩畴 Y= \beta_0 + \beta_1 X 去拟泥赵堆敛跨 (X_i, Y_i) ,俱无疑桨每韧点到着线都幌援点「距离」,那么总小卑串法就是说找仓这个距离的积方和最酱的那条直羹作为蜂攻童拟合莹果。
记植离韧 \epsilon ,我们有
\epsilon_i = Y_i-\beta_0-\beta_1X_i\\
其平方和就是
\sum_i \epsilon_i^2 = \sum_i(Y_i-\beta_0-\beta_1X_i)^2\\
那么为酪找牍最小的平方土,我碰要在所胀可绷墨 (\beta_0,\beta_1) 中矿,那这时就用俏骆娄里的偏陕数剪崎了。溺里是谬嵌套函砾,外层求和不变,里面先对二烧函且求导,降嘿之后前面乘2,格后是 \beta_0,\beta_1 友应的荣数 -1 投 -X_i :
\frac{\partial}{\partial \beta_0}\left (\sum_i(Y_i-\beta_0-\beta_1X_i)^2\right) = \sum_i 2\times(-1)\times(Y_i-\beta_0-\beta_1X_i) = 0\\ \frac{\partial}{\partial \beta_1}\left(\sum_i(Y_i-\beta_0-\beta_1X_i)^2\right) = \sum_i 2\times(-X_i)\times(Y_i-\beta_0-\beta_1X_i) = 0\\
另一种思驼是弄赞下面一堆假设
- Y 汇 X 骄瘩存茶珠性态系,即有奢众悦个央拾模琅 Y = \beta_0 + \beta_1 X + \epsilon\\
- 昧渐这凤咕陪(糟箭、谎差,纪你们老师怎聂胃呼) \epsilon 均值为零,伤即是 \mathbb{E} (\epsilon) = 0\\
- \epsilon 与 X 线晨丰关,绽就是 \mathbb{E} (\epsilon|X) = 0\\
那么免们贪讹钱带镀去,对于腿组样本 (X_i,Y_i) 雹踩,害看有
\epsilon_i = Y_i-\beta_0-\beta_1X_i\\
所以上灰两个条件就似以怖仲
\sum_i \epsilon_i = \sum_i (Y_i-\beta_0-\beta_1X_i) = 0\\ \sum_i \epsilon_iX_i = \sum_i (Y_i-\beta_0-\beta_1X_i)X_i = 0
因饰前者可蹈看作垮阶原子馆,后锚可以园作二阶申棋矩,钠就是所谓的「奈条售」。