在看《統(tǒng)計(jì)學(xué)習(xí)方法》時(shí)，對(duì)超平面有些地方不理解，這篇文章就記錄一下疑問(wèn)和答案。

疑問(wèn)

點(diǎn)乘公式怎么會(huì)成立
超平面怎么可以有多個(gè)函數(shù)表達(dá)式
點(diǎn)到超平面的距離怎么算

定義

超平面將n維空間分為兩部分的線性子空間，它的維度會(huì)比空間維度少1，以盤(pán)古開(kāi)天辟地為例，混沌是個(gè)3維空間，斧子的運(yùn)動(dòng)軌跡就是超平面，它是二維的，平的，并且將混沌分成天和地兩個(gè)部分。超平面的公式是

$w^Tx+b=0$

點(diǎn)乘

$w^Tx$ 是兩個(gè)向量的點(diǎn)乘，計(jì)算公式是 $\|w\|\dot\|x\|cos\theta$ ，可以看出結(jié)果是一個(gè)標(biāo)量，也就是一個(gè)數(shù)字，其中 $\|\|$ 表示向量的模，即向量的長(zhǎng)度。

image.png

（圖1來(lái)自：此處）

以二維空間為例，令 $\overrightarrow{a}=(x_1, y_1), \overrightarrow=(x_2, y_2)$

$a$ 與 $b$ 點(diǎn)乘的計(jì)算公式有兩個(gè)

$\|a\|\|b\|cos\theta$
$x_1x_2 + y_1y_2$

它們計(jì)算結(jié)果相等證明如下：

令 $\overrightarrow{c}=\overrightarrow{a} - \overrightarrow = (x_1 - x_2, y_1 - y_2)$

按照勾股定理計(jì)算 $c$ 的模

$\begin{aligned}\|c\|^2 &= (x_1 - x_2)^2 + (y_1 - y_2)^2\\ &= x_1^2 + x_2^2 + y_1^2 + y_2^2 - 2x_1x_2 - 2y_1y_2\\ &= \|a\|^2 + \|b\|^2 - 2(x_1x_2+y_1y_2)\end{aligned}$

同時(shí)根據(jù)余弦定理計(jì)算

$\|c\|^2 = \|a\|^2 + \|b\|^2 - 2\|a\|\|b\|cos\theta$

上面兩式去除重復(fù)項(xiàng)，即可得到 $\|a\|\|b\|cos\theta = x_1x_2 + y_1y_2$

擴(kuò)展到n維空間上面這個(gè)等式依然成立，向量是對(duì)有向線段的描述，在二維空間需要兩個(gè)值描述，在n維空間需要n個(gè)值描述，憑直覺(jué)就可以知道向量的運(yùn)算是獨(dú)立與空間的，如果這種運(yùn)算在二維空間成立，那么在n維空間也應(yīng)該成立。就像某個(gè)溫度的攝氏計(jì)數(shù)和華氏計(jì)數(shù)不一樣，但它們是一樣熱的。

余弦定理

這里再證明一下余弦定理

image.png

（圖2來(lái)自https://blog.csdn.net/devout_/article/details/90924660）

三角形有三個(gè)角A、B、C和三條邊a，b，c

計(jì)算AD的長(zhǎng)度

使用直角三角形ABD計(jì)算

$\|AD\|^2=c^2-(ccosB)^2$
使用直角三角形ACD計(jì)算

$\begin{aligned} \|AD\|^2 &= b^2 - (a-ccosB)^2\\ &=b^2-a^2-cos^2B+2accosB \end{aligned}$

上面兩個(gè)算式移項(xiàng)整理一下得 $b^2 = a^2 + c^2 - 2accosB$

幾何意義

以二維空間為例，其超平面是一條直線。

image.png

（圖3 來(lái)自《統(tǒng)計(jì)學(xué)習(xí)方法第二版》）

設(shè)該線為 $x^{(1)} + x^{(2)} - 1 = 0$ ，注意這里看起有2個(gè)未知數(shù)，但是當(dāng)其中一個(gè)未知數(shù)固定以后，另一個(gè)未知數(shù)是確定的，其實(shí)是個(gè)一元函數(shù)，維度比空間的維度數(shù)少1。

其中 $w = \begin{bmatrix} 1 & 1 \end{bmatrix}^T$ ，以向量方式表示為

$\begin{bmatrix} 1 & 1 \end{bmatrix} \times \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} - 1 = 0$

這個(gè)超平面可以有多個(gè)函數(shù)表示，比如 $2x^{(1)} + 2x^{(2)} - 2 = 0$ 。只要 $w$ 和 $b$ 同比例放大，就表示同一個(gè)超平面，因此有時(shí)會(huì)要求 $w$ 是單位向量，這樣超平面的函數(shù)表達(dá)式就會(huì)唯一的確定下來(lái)。此時(shí)候向量點(diǎn)乘的幾何意義就更加明確—就是 $x$ 在 $w$ 上投影的長(zhǎng)度。

$w$ 表示這條線的法向量，根據(jù)點(diǎn)乘的公式 $w^Tx=\|w\|\|x\|cos\theta$ ，就是 $x$ 在 $w$ 上的投影長(zhǎng)度（ $\|x\|cos\theta$ ）與 $w$ 長(zhǎng)度（ $\|w\|$ ）的積，由

$w^Tx + b =\|w\|\|x\|cos\theta + b = 0$

得到

$\|x\|cos\theta = - \frac {\|w\|}$

雖然超平面可以有多種函數(shù)表達(dá)式，但是 $- \frac {\|w\|}$ 始終是固定不變的，可以發(fā)現(xiàn)這條線是由所有在 $w$ 上投影長(zhǎng)度為 $- \frac {\|w\|}$ 的向量的終點(diǎn)構(gòu)成，而這條線到原點(diǎn)的距離就是 $- \frac {\|w\|}$ 。

觀察坐標(biāo)系右上角的 $\circ$ ，他們?cè)?img class="math-inline" src="https://math.jianshu.com/math?formula=w" alt="w" mathimg="1">上的投影長(zhǎng)度都超過(guò) $- \frac {\|w\|}$ ，因此它們都滿足 $w^Tx+b>0$ ，同理左下角的 x 都滿足 $w^Tx+b<0$ 。