主要摘錄一些深度學(xué)習(xí)過程中所需的線性代數(shù)概念。

標(biāo)量（scalar）、向量（vector）、矩陣（matrix）、張量（tensor）

矩陣的轉(zhuǎn)置（transpose）、廣播（broadcasting）

矩陣乘積（matrix product）、元素對應(yīng)乘積（element-wise product）

向量點積（dot product）

矩陣逆（matrix inversion）：逆矩陣主要是作為理論工具使用的，并不會在大多數(shù)軟件應(yīng)用程序中實際使用，因為逆矩陣在數(shù)字計算機(jī)上只能表現(xiàn)出有限的精度，有效使用向量b的算法通常可以得到更精確的x。

單位矩陣（identity matrix）

線性組合（linear combination）、生成子空間（span）

列空間（column space）、值域（range）

線性相關(guān)（linear dependence）、線性無關(guān)（linearly independent）

滿秩矩陣（non-singular matrix）、奇異矩陣（singular matrix）、對角矩陣（diagonal matrix）

對稱（symmetric）、正交（orthogonal）、標(biāo)準(zhǔn)正交（orthonormal）

特征分解（eigendecomposition）、特征向量（eigenvector）、特征值（eigenvalue）

正定（positive definite）、半正定（positive semidefinite）、負(fù)定（negative definite）、半負(fù)定（negative semidefinite）

奇異值分解（singular value decomposition SVD）：每個實數(shù)矩陣都有一個奇異值分解，但不一定都有特征分解

Moore-Penrose偽逆（Moore-Penrose pseudoinverse）

行列式（det（A））

主成分分析（principal components analysis）