线性（向量）空间

最基本的空间是线性空间，或者称为向量空间，它满足八条公理，在该空间上定义了两种运算，向量加法和数乘运算。

内积空间

然后根据线性空间，我们可以找出它的一些具有更好性质的子空间，包括度量空间、赋范空间和内积空间。 引入度量空间的动机，简要概括就是希望对几何空间中的两个向量的距离进行度量。引入赋范空间是对几何空间中的向量的长度进行度量，从而两个向量之间可以根据长度来进行大小比较。而最厉害的内积空间就是对空间中的两个向量之间的角度进行度量，并且内积可以诱导出范数，范数可以诱导出度量，所以内积空间可以对空间中的元素其他方面进行更充分的度量和描述。 我们知道在线性空间中，线性结构使得我们可以进行加法和标量乘法的运算，然而向量的其他特性也是很重要的，比如单个向量的长度，两个向量之间的距离和角度。

由内积引出范数和正交：定义了内积之后，我们可以构造一些数学工具方便向量空间中的度量。这里不过多介绍范数，知道范数是用来度量向量长度(大小)的即可。除了范数之外还有正交的概念。正交性在许多之后定理的证明中都有非常重要的作用，比如说需要证明一个向量是零向量，那么只要证明其和自身做内积等于零（即和自身正交）即可。正交用非常简洁的数学语言描述了 “不相干” 这种状态，是几何中垂直这个概念在更高维度上的推广。

接下来我们了解一下，在定义了内积的向量空间中，我们能做哪些事情。前面通过内积，我们引入了正交的概念，有了正交的概念之后，我们就可以对线性空间的一组“基”进行标准正交化了。我们希望这组“基”成为一组标准正交基，即向量之间互相正交，且向量长度为1。具体构造方法即为熟知的Gram-Schmidt正交化方法。这个正交化的过程说明了，每个有限维内积空间都有规范正交基，换句话说，Gram-Schmidt正交化过程保证了规范正交基在内积空间的存在性。

除了规范正交基之外，有了正交之后，还可以讨论线性空间的子空间的正交补、正交投影，向量的最佳逼近等问题。

Hilbert空间

然后在内积空间的基础上，我们可以找出它的一些具有更好性质的子空间，包括希尔伯特空间（具有完备性）。通过对内积空间做完备化处理，我们可以得到一个Hilbert空间。Hilbert空间在极限意义下具有封闭性，任意一列向量序列的极限不会跑出该空间外。

再生核Hilbert空间

然后在希尔伯特空间上，我们还可以进一步定义再生核希尔伯特空间，它一类特殊的希尔伯特空间，具有许多良好的性质。

这里有一点需要注意，这里向量的概念不局限于数组向量，还可以是矩阵、多项式
和函数等更抽象更广义层面上的“向量”。

我们可以看到，定义了内积之后，就会多很多数学工具，比如范数，比如内积空
间最重要的特点：正交性，当然内积空间可以继续拓展，比如加入完备性成为
Hilbert空间，这一部分将在泛函分析中讨论。

线性算子

最常用的一类算子是线性算子。

定义：设\(W,V\)是定义于数域\(F\)上的两个向量空间，称一个映射\(A:W \rightarrow V\)是线性算子，如果满足 \[A(\alpha x+ \beta y)=\alpha Ax + \beta Ay\] 对\(\forall ~x,y \in W,\forall \alpha,\beta \in F\)成立。

在有限维向量空间的情形下（即\(W, V\)都为有限维空间），线性算子可以用一个矩阵来表示。在无限维向量空间的情形下，线性算子的研究被称为泛函分析。

特殊的线性算子：有界算子

定义：假设\(U\)和\(V\)是定义在相同数域（比如\(R\)）上的两个赋范空间，若一个从\(U\)到\(V\)的线性算子\(A\)满足：存在一个常数\(C>0\)使得 \[\|Ax\|_V \leq C \|x\|_U\] 对\(\forall~x\in U\)成立，则称线性算子\(A\)是有界的。

所有的有界算子能够形成一个向量空间。在该向量空间上，我们能引入一个范数，它与\(U,V\)上的范数是相容的。 \[\|A\| = \inf \{C:\|Ax\|_V \leq C \|x\|_U \}.\] 特别地，当\(U=V\)时，可以证明： \[\|AB\|\leq \|A\|\|B\|.\] 我们可以想象\(A,B\)为同阶的方阵，矩阵的范数满足相容性，对应上面的式子。

伴随算子

伴随算子\(A^*\)在规范正交基下的矩阵是\(A\)的共轭转置，其定义如下：

定义：设\(A \in \mathcal{L}(V,W),A\) 的伴随是满足如下条件的算子\(A^*:W\rightarrow V:\)对所有\(v\in V\)和所有\(w\in W\)均有\(\langle Av, w\rangle = \langle v, A^* w\rangle\)。

问题：已知算子$A$的具体形式，如何计算伴随算子的具体形式呢？

定义完伴随后，我们可以开始正式探讨内积空间中的算子了，这一部分我们引入两个算子：自伴算子和正规算子。那么引入这两个算子是为了讨论什么问题呢？

当\(W=V\)时，记\(\mathcal{L}(V,W)\equiv \mathcal{L}(V)\)。在线性空间中对于可对角化的讨论中有这么一个结论：可对角化的充要条件是存在由特征向量所构成的一组基。而现在，在内积空间中，我们还想问：你这样的由特征向量所构成的一组基，什么时候是规范正交基。

注：在矩阵分析中，也只有对称矩阵的特征向量之间是相互正交的。
对于一般方阵，特征向量的正交性不成立。

一般的算子\(A \in \mathcal{L}(V)\)不一定能够满足这一点（\(V\)有一个由\(A\)的特征向量构成的规范正交基），而接下来讨论的谱定理将表明，在复数域上，正规算子可以满足此要求；在实数域上，自伴算子可以满足此要求。它们就是我们所希望寻找的“好的算子”。我们可以想象：对称矩阵就可以对角化，并且它是一类特殊的算子（定义在有限维向量空间上的算子）。

注：如果V是一个可数无限维的空间，那么他的一组正交基中的向量个数也是可数无穷个；
再生核希尔伯特空间就是一个可数无限维的空间，因为它的任意一个元素都可以由核的线性组合得到。

定义：算子\(A \in \mathcal{L}(V)\)是自伴的当且仅当\(A=A^*\)。

定义：算子\(A \in \mathcal{L}(V)\)是正规的当且仅当\(AA^*=A^*A\)。

显然，自伴的条件比正规更强，自伴一定正规。从矩阵的角度讲，实数域上的自伴矩阵是对称阵，复数域上的自伴矩阵是Hermite阵；而实数域上的正规矩阵可以是对称阵、反对称征、正交阵等，但是复数域上的对称阵确不一定是正规的（思考一下反例，反例很好想）。

接下来看一下自伴和正规的一些特征性质。如果一个算子是正规的，则有： 1)对所有\(v\in V\)均有\(\|A v\|=\|A^* v\|\)；2)\(A\)与\(A^*\)有共轭的特征值和相同的特征向量(即\(Av=\lambda v\Rightarrow A^* v= \bar \lambda v\))；3)\(A\)的不同特征值对应的特征向量是正交的。

我们可以从中看到正规算子所带来的一些“好的性质”： 性质1说明了\(A\)和\(A^*\)有相同的零空间；性质2加强了一般算子的结论，如果\(v\)是\(A\)相应于特征值\(\lambda\)的特征向量，那么这个\(v\)（而不是别的什么向量）也是\(A^*\)相应于\(\bar \lambda\)的特征向量；性质3说明了，在正规的条件下，不同特征值相应的特征向量不只是线性无关了，而是加强成了正交。

如果算子再好一点，变成自伴的，那么除了以上全部，我们还能得到： 4)算子的每个特征值都是实数；5)对所有\(v\in V\)均有\(\langle Av,v\rangle =0\)则\(A=0\)。

注：性质4在实数域上自然是定义，然而在复数域上如果是自伴算子，那么仍然能够保持这个结论；在复数域上性质5自然成立，但是在实数域上，只有\(A\)是自伴的才能有\(A=0\)，这个性质可以理解为“0和任何向量正交”。

谱定理

前面说了那么多，终于讲到了这一章最核心最有趣的内容了，自伴和正规算子的引入也是为谱定理做准备。

谱定理是干啥的呢？在这里只需要记住一件事情，谱定理讨论的是规范正交基下的对角化。

对角化已经有这个结论了：\(V\)上的算子关于某个基有对角矩阵当且仅当这个基是由该算子的特征向量组成的。

于是，前面也提到过，我们做这件事情的motivation就是，在特征基的基础上，试图找一组更好的基去刻画线性变换，即特征向量组成的规范正交基。（事实上，关于\(V\)的某个规范正交基具有对角矩阵的算子已经是\(V\)上最好的算子了）有了这些准备我们就可以正式来看谱定理了。

定理（复谱定理）： 设\(F=C\)(复数域)且\(A \in \mathcal{L}(V)\)，则以下条件等价： (a) \(A\)是正规的。 (b) \(V\)有一个由\(A\)的特征向量构成的规范正交基。 (c) \(A\)关于\(V\)的某个规范正交基具有对角矩阵。

其他算子

定义1(迹类算子).若线性算子\(A: \mathcal{H} \rightarrow \mathcal{H}\)满足 \[\|A\|_1\equiv Tr(|A|)=\sum_k \langle (A^* A)^{1/2} e_k, e_k \rangle_{\mathcal{H}}< \infty,\] 其中\(A^*\)为\(A\)的伴随算子，\(|A|=\sqrt{A^*A}\)，\(\{e_k\}\)为\(\mathcal{H}\)的一组正交基，并有 \[Tr(A)=\sum_k \langle A e_k, e_k \rangle_{\mathcal{H}}\] 绝对收敛且其值独立于正交基的选择，我们称\(A\)为迹类算子。 当\(A\)为非负自伴算子时，即使该和发散，我们仍然定义其迹为 \[Tr(A)=\sum_k \langle A e_k, e_k \rangle_{\mathcal{H}}.\] 于是，当\(A\)为非负自伴算子时，\(A\)为迹类算子的充要条件为\(Tr(A)< \infty\)。迹是迹类算子空间\(\mathcal{T}\)上的泛函，即\(Tr: \mathcal{T} \rightarrow R\)，并满足线性性质 \[Tr(aA+bB)=a Tr(A) + b Tr(B),\] 也就是说，迹是一个线性泛函；并且 \[\langle A, B \rangle_{HS}=Tr(A^* B).\]

性质1. 若\(A\)为有界算子，\(B\)为迹类算子，则\(AB\)和\(BA\)也是迹类算子，且满足 \(\|AB\|_1=Tr(|AB|) \leq \|A\| \|B\|_1,\|BA\|_1=Tr(|BA|) \leq \|B\| \|A\|_1\)和\(Tr(AB)=Tr(BA)\)。

若\(A\)是迹类算子，则可关于\(I+A\)定义Fredholm行列式， \[det(I+A)\hat= \Pi_{n\geq 1}\{1 + \lambda_n(A)\},\] 其中\(\{\lambda_n(A)\}\)是\(A\)的谱，\(A\)为迹类算子保证无限乘积为有限的且\(det(I+A)\leq e^{\|A\|_1}\)，也意味着\(det(I+A)\neq 0 \Rightarrow (I+A)\)是可逆的。