1. 跡的定義

矩陣的跡$tr(A)$定義如下: 一個(gè)$n \times n$方陣$A$的跡是指:$A$的主對(duì)角線上各元素的總和，即
$$tr(A) = \sum_{i=1}^n a_{ii}$$
只有方陣才有跡.

2. 跡的性質(zhì)

$A \in R^{n\times m}$, $B \in R^{m \times n}$, $AB \in R^{n\times n}$, $BA \in R^{m \times m}$

定理1： $tr(AB)=tr(BA)$
證明： 由于$tr(AB)$跡為矩陣$AB$主對(duì)角線的元素和，而矩陣$AB$的第$i$個(gè)主對(duì)角線元素可表示為: $(AB){ii} = \sum{j=1}^m a_{ij}b_{ji}$. 即$A$的$i$行元素與$B$的$i$列元素的向量積。 因此，由如下結(jié)論:
$$tr(AB) = \sum_{i=1}^n (AB){ii} = \sum{i=1}^n \sum_{j=1}^m a_{ij}b_{ji}$$
$$= \sum_{j=1}^m \sum_{i=1}^n b_{ji}*a_{ij} = \sum_{j=1}^m (BA)_{jj} = tr(BA) $$

定理2： $tr(ABC) = tr(BCA) = tr(CAB)$
證明： $AB$或$BC$當(dāng)作整體，證明與定理1相同.

定理3： $\frac{\partial tr(AB)}{\partial A} = \frac{\partial tr(BA)}{\partial A} = {B'}$
證明： 由于 $tr(AB) =\sum_{i=1}^n \sum_{j=1}^m a_{ij}b_{ji} = \sum_{j=1}^m \sum_{i=1}^n b_{ji}a_{ij} $
那么，$\frac{\partial tr(AB)}{\partial a_{ij}} = b_{ji}$. 因此，$\frac{\partial tr(AB)}{\partial A} = B'$

定理4： $\frac{\partial tr(A'B)}{\partial A} = \frac{\partial tr(B'A)}{\partial A} = {B}$

定理5： $\frac{\partial tr(ABA'C)}{\partial A} = {C'AB'} + {CAB}$
證明： 對(duì)于$A$存在多處情況，利用分步求導(dǎo)公式
$\frac{{d{x^2}}}{{dx}} = \frac{{dxx}}{{dx}} = x\frac{{dx}}{{dx}} + x\frac{{dx}}{{dx}} = 2x$
并基于定理1、定理3和4，可得，
$\frac{\partial tr(ABA'C)}{\partial A} = \frac{\partial tr(ABA'C)}{\partial A} + \frac{\partial tr(A'CAB)}{\partial A} = {C'AB'} + {CAB}$

3. 跡與范數(shù)的關(guān)系

$A \in R^{n \times m}$
定理6： 一個(gè)矩陣$A$的$F$范數(shù)是$||A||_F^2$ 等價(jià)于 $A$的所有元素的平方和 等價(jià)于 $tr(A'A)=tr(AA’)$

證明：$||A||F^2 = \sum_i^n \sum_j^m {a{ij}^2}$

而$A′A$的第$i$個(gè)主對(duì)角線元素為$A′$的第i行與$A$的第$i$列的向量積，因此$(A'A){ii} = \sum_j^m a'{ij}*a_{ji}$，而 $a'{ij} = a{ji}$，因此，$(A'A){ii} = \sum_j^m a^2{ji} $。
進(jìn)而，$||A||F^2 = \sum_i^n \sum_j^m a^2{ji} = \sum_i^n (A'A){ii} = tr(A'A)$。
又得，$||A||F^2 = \sum_i^n \sum_j^m a^2{ji} = \sum_j^m \sum_i^n a^2{ij} = \sum_j^m (AA')_{ii} = tr(AA') $。