深入理解计算机系统（CSAPP）读书笔记第一章

第1章计算机系统漫游

1.1 信息就是位+上下文

系统中所有的信息——包括磁盘文件、内存中的程序、内存中存放的用户数据以及网络上传送的数据，都是由一串比特表示的。区分不同数据对象的唯一方法是我们读到这些数据对象时的上下文 。比如，在不同的上下文中，一个同样的字节序列可能表示一个整数、浮点数、字符串或者机器指令。

C编程语言的起源: 贝尔实验室的Dennis Ritchie于1969~1973年创建。

C语言和Unix操作系统关系密切，C语言一开始就是作为用于Unix程序的语言所开发；

C语言小而简单；

C语言是为实践目的设计的；

1.2 程序被其他的程序翻译成不同的格式

#include<stdio.h>int main()
{printf("Hello,world\n");return 0;
}

在Unix系统中，从源文件到目标文件的格式转换是由编译驱动程序完成的：

linux>gcc -o hello hello.c

GCC 编译驱动程序读取源程序文件hello.c,并将其翻译成一个可执行目标文件hello。翻译过程分为四个阶段完成，执行这四个过程的程序（预编译器、编译器、汇编器和链接器）一起构成了编译系统。

**预处理阶段：**预处理器(cpp)根据以字符#开头的命令，修改原始的C程序。例如：hello.c中的第1行#include<stdio.h> 命令告知处理器读取系统头文件stdio.h的内容，并将它直接插入程序文本中。结果得到了另一个C程序，通常以.i为文件拓展名。

编译阶段： 编译器(ccl)将文本文件hello.i翻译成文本文件hello.s,它包含一个汇编语言程序。汇编语言为不同的高级语言的不同编译器提供可通用的输出语句。

汇编阶段： 汇编器(as)将hello.s翻译成机器语言指令，把这些指令打包成可重定位目标程序的格式，并将结果保存在hello.o文件中。hello.o是一个二进制文件。

链接阶段： hello程序调用了printf函数，它是C标准库中的一个函数。printf函数存在于一个名为printf.o的单独的预编译好了的目标文件，必须将其合并入hello.o程序中。链接器(ld)就负责处理这种合并。结果得到了可执行目标文件（简称可执行文件），可以被加载到内存中，由系统执行。

1.3 了解编译系统如何工作是大有益处的

优化程序性能
理解链接时出现的错误
避免安全漏洞

1.4 处理器读取并解释存储在内存中的指令

1.4.1 系统的硬件组成

总线

贯穿整个系统的一组电子管道，它携带信息字节并负责在各个部件间传递。通常总线被设计成传送定长的字节块，一个定长为字（word）。
I/O设备

I/O(输入/输出)设备是系统与外界的联系通道。每个I/O设备都通过一个控制器或适配器与I/O总线相连。控制器和适配器的区别在于他们的封装方式。控制器是I/O设备本身或者系统的主印制电路板（通常称做主板）上的芯片组。适配器是一块插在主板卡槽上的卡。他们的功能都是在I/O总线和I/O设备之间传递信息。

CPU：中央处理单元

ALU：算术/逻辑单元

PC：程序计数器

USB：通用串行消息总线
主存

主存是一个临时存储设备，在处理器执行程序时，用来存放程序和程序处理的数据。从物理上说，主存是由一组**动态随机存储器(DRAM)**芯片组成。从逻辑上来说，存储器是一个线性的字节数组，每一个字节都有唯一的地址(数组索引)，这些地址从零开始。
处理器

中央处理单元(CPU),简称处理器，是解释(或执行)存储在主存中指令的引擎。处理器的核心是一个大小为一个word的存储设备(或寄存器)，称为程序计数器(PC)。在任何时候，PC都指向主存中的某条机器语言指令(含有该条指令的地址)。

CPU的操作模型由指令集架构决定，操作围绕着主存、寄存器文件和算术/逻辑单元(ALU)进行。

寄存器文件是一个小的存储设备，有一些单个字长（word）的寄存器组成。

CPU在指令的要求下可能会执行以下操作：
- 加载：从主存复制一个字节或者一个word到寄存器，已覆盖寄存器原来的内容
- 存储：从寄存器复制一个字节或者一个word到主存的某个位置，以覆盖这个位置上元来的内容
- 操作：将两个寄存器的内容复制到ALU，ALU对这两个字做算术运算，并将结果存放到一个寄存器中，以覆盖寄存器原来的内容
- 跳转：从指令本身抽取一个字（word）,并将这个字复制到程序计数器（PC）中，以覆盖PC中原来的值

1.4.2 运行hello程序

初始时，shell程序执行它的指令，等待我们输入一个命令。当我们在键盘上输入字符串 "./hello"后，shell程序将字符串逐一读入寄存器，再把它存放到内存中，如下图所示：

当我们在键盘上敲回车键时，shell程序就知道我们已经结束了命令的输入。然后shell执行一系列的指令来加载可执行的hello文件，这些指令将hello目标文件中的代码和数据从磁盘中复制到主存。数据包括最终会被输出的字符串"hello,world\n"。

利用直接存储器存取(DMA)技术，数据可以不通过处理器而直接从磁盘到达主存。步骤如下图：

一旦目标文件hello中的代码和数据被加载到主存，处理器就开始执行hello程序的main程序中的机器语言指令。这些指令将"hello，world\n"字符串中的字节从主存复制到寄存器文件，再从寄存器文件中复制到显示设备，最终展示在屏幕上。这个步骤如下图：

1.5 高速缓存至关重要

上述示例揭示了一个重要的问题，系统花费了大量的时间把信息从一个地方挪到（复制）另一个地方。这些复制就是开销。

一个典型系统上的磁盘驱动器可能比主存大 1000 倍，但是对处理器而言，从磁盘驱动器上读取一个字的时间开销要比从主存中读取的开销大 1000 万倍。针对这种处理器与主存之间的差异，系统设计者采用了更小更快的存储设备，称为高速缓存存储器（cache memory,简称cache或高速缓存），存放CPU近期可能会需要的信息。高速缓存通过静态随机访问存储器（SRAM）的硬件技术实现。利用高速缓存的局部性原理，即程序具有访问局部区域内的数据和代码的趋势。通过让高速缓存里存放可能经常访问的数据，大部分内存操作都能在高速缓存中完成。

1.6 存储设备形成层次结构

在处理器和一个较大较慢的设备（例如主存）之间插入更快更小的存储设备（如：高速缓存）的想法已称为一个普遍的观念。实际上，每个计算机系统中的存储设备都被组织成了一个存储器层次结构。如下图所示：

如图所示，在这个层次结构中，从上至下，设备的访问速度越来越慢、容量越来越大，且每字节的造价也越来越便宜。

存储器的主要思想是上一层的存储器作为低一层存储器的高速缓存。因此寄存器文件就是L1的高速缓存，L1是L2的高速缓存，以此类推，本地磁盘就是存储在其他系统中磁盘上数据的高速缓存。

1.7 操作系统管理硬件

当shell加载和运行hello程序时，以及hello程序输出自己的消息时，shell和hello程序都没有直接访问键盘、显示器、磁盘或者主存。取而代之，它们依靠操作系统提供的服务。操作系统可以看做是应用程序和硬件之间插入的一层软件。如下图所示，所有应用程序对硬件的操作尝试都必须通过操作系统。

操作系统有两个基本功能：

防止硬件被失控的应用程序滥用；
向应用程序提供简单一致的机制来控制复杂而又通常大不相同的低级硬件设备。

操作系统通过几个基本的抽象概念（进程、虚拟内存和文件）来实现这两个功能。

文件是对I/O设备的抽象表示，虚拟内存是对主存和磁盘I/O设备的抽象表示，进程则是对处理器、主存和I/O设备的抽象表示。

1.7.1 进程

进程是操作系统对于一个正在运行的程序的一种抽象。在一个系统上可以同时运行多个进程，而每个进程都好像在独占的使用硬件。

并发运行：一个进程的指令和另一个进程的指令是交错执行的。无论在单核还是多核系统中，一个CPU看上去都像是在并发的执行多个进程，这是通过处理器在进程间切换来实现的。操作系统实现这种交错执行的机制称为上下文切换。

上下文：操作系统保持跟踪进程运行所需的所有状态信息。包括许多信息，例如：PC和寄存器文件的当前值，以及主存的内容。

单处理器系统在同一时间只能执行一个进程的代码，当操作系统决定要把控制权从当前进程转移到某个新进程时，就会进行上下文切换，即保存当前进程的上下文、恢复新进程的上下文，然后将控制权传递到新进程，新进程就会从上次停止的地方开始执行。

如上图所示，从一个进程到另一个进程的上下文切换是由操作系统内核（kernel）管理的。内核是操作系统代码常驻主存的部分。当应用程序需要操作系统的某些操作时，比如读写文件，它就执行一条特殊的系统调用（system call）指令，将控制权传递给内核。然后内核执行被请求的操作并返回应用程序。

注意：内核不是一个独立的进程。相反，它是系统管理全部进程所用代码和数据结构的集合。

实现进程这个抽象概念需要低级硬件和操作系统软件之间的紧密合作。

1.7.2 线程

在现在系统中，一个进程实际上可以有多个称为线程的执行单元组成，每个线程都运行在进程的上下文中，并共享同样的代码和全局数据。多线程之间比多进程之间更容易共享数据，一般来说，线程比进程更高效。当有多处理器可用时，多线程也是一种使得程序可以运行的更快的方法。

1.7.3 虚拟内存

虚拟内存是一个抽象概念，它为每个进程提供了一个假象，即每个进程都在独占的使用主存。每个进程看到的内存都是一致的，称为虚拟地址空间。

下图所示为Linux进程的虚拟地址空间（其他Unix系统的设计也与此类似）。在Linux中，地址空间最上面的区域是保留给操作系统的代码和数据的，对于所有进程来说都是一样的。地址空间的底部区域存放用户进程定义的代码和数据。请注意，图中的地址从下往上增大。

每个进程看到的虚拟地址空间由大量的准确定义的区构成，每个区都有专门的功能。从最低的地址往上依次是：

程序代码和数据。对于所有进程来说，代码是从同一固定地址开始，紧接着的是和C全局变量相对应的数据位置。代码和数据区是直接按照可执行目标文件的内容初始化的。
堆。代码和数据区后紧随着的是运行时堆。代码和数据区在进程一开始运行时就被指定了大小，而当调用像malloc和free这样的C标准库函数时，堆可以在运行时动态拓展和收缩。
共享库。大约在地址空间的中间部分是一块用来存放像C标准库和数学库这样的共享库的代码和数据的区域。
栈。位于用户虚拟地址空间顶部的是用户栈，编译器用它来实现函数调用。与堆一样，用户栈在程序执行期间可以动态的拓展和收缩。当每次调用一个函数时，栈就会增长；从一个函数返回时，栈就会收缩。
内核虚拟内存。地址空间顶部的区域是为内核保留的。不允许应用程序读写这个区域的内容或者直接调用内核代码定义的函数。相反，它们必须调用内核来执行这些操作。

虚拟内存的运作需要硬件和操作系统软件之间精密复杂的交互，包括对处理器生成的每个地址的硬件翻译。基本思想是把一个进程虚拟内存的内容存储在磁盘上，然后用主存作为磁盘的高速缓存。

1.7.4 文件

文件就是字节序列。每个I/O设备，包括磁盘、键盘、显示器，甚至网络，都可以看成是文件。系统中的所有输入、输出都是通过使用一小组称为Unix I/O的系统函数调用读写文件来实现的。

文件这个简单而精致的概念是非常强大的，因为它向应用程序提供了一个统一的视图，来看待系统中可能含有的所有各种各样的I/O设备。

linux一切皆文件

1.8 系统之间利用网络通信

现代系统经常通过网络和其他系统连接到一起。从一个单独的系统来看，网络可视为一个I/O设备。如下图所示：

当系统从主存复制一串字节到网络适配器时，数据流经过网络到达另一台机器，而不是比如说到达本地磁盘驱动器。系统也可以读取从其他机器打来的数据，并把数据复制到自己的主存。

随着Internet这样的全球网络的出现，从一台主机复制到另外一台已经成为计算机系统的重要用途之一。

回到hello示例，可以使用telnet应用在一个远程主机上运行hello程序。假设用本地主机上的telnet客户端连接远程主机上的internat服务器，此后在远端运行hello程序。基本步骤如下图所示：

当我们在 telnet 客户端键入 “hello” 字符串并敲下回车键后，客户端软件就会将这个字符串发送到 telnet 的服务器。 telnet 服务器从网络上接收到这个字符串后，会把它传递给远端 shell 程序。接下来，远端 shell 运行 hello 程序，并将输出行返回给 telnet 服务器。最后， telnet 服务器通过网络把输出串转发给 telnet 客户端，客户端就将输出串输出到我们的本地终端上。

1.9 重要主题

总结：系统不仅只是硬件，而是硬件和系统软件相互交织的集合体。它们共同协作以达到运行程序的最终目的。

1.9.1 Amdahl定律(阿姆达尔定律)

Gene Amdahl, 计算领域的早期先锋之一，对提升系统某部分性能所带来的效果做出简单却有见地的观察。这个观察被称为 Amdahl 定律 (Amdahl’s law) 。该定律的主要思想是，当我们对系统的某个部分加速时，其对系统整体性能的影响取决于该部分的重要性和加速程度。若系统执行某应用程序需要时间为 T_old 假设系统某部分所需执行时间与该时间的比例为 α, 而该部分性能提升比例为 k。即该部分初始所需时间为 αT_old , 现在所需时间为 (α T_old / k) 。因此，总的执行时间应为：
Tnew=(1−α)Told+(αTold)/k=Told[(1−α)+α/k]T~new ~ = (1-α)T~old~ + (α T~old~) /k = T~old~[(1-α)+α/k] T new =(1−α)T old +(αT old )/k=T old [(1−α)+α/k]
由此，可以计算出加速比S = T_old / T _new 为：
S=1(1−α)+α/kS= \frac{1}{(1-α)+α/k} S=(1−α)+α/k1
举个例子，考虑这样一种情况，系统的某个部分初始耗时比例为 60% (α = 0.6), 其加速比例因子为 3(k=3) 。则我们可以获得的加速比为 1/[0. 4+0. 6/3]=1. 67 倍。虽然我们对系统的一个主要部分做出了重大改进，但是获得的系统加速比却明显小于这部分的加速比。这就是Amdahl 定律的主要观点——要想显著加速整个系统，必须提升全系统中相当大的部分的速度。

旁注：表示相对性能：

性能提升最好的表示方法是用比例的形式T_old/T_new ，其中，*T_old*为原始系统所需时间，*T_new*为修改后的系统所需时间。如果有所改进，则比值应大于1。我们用后缀"X"来表示比例，因此， “2.2X”读作 “2.2倍”。

表示相对变化更传统的方法是用百分比，这种方法适用于变化小的情况，但其定义是模糊的应该等于 100* ( T_old - T_new) / T_new, 还是 100* ( T_old -T_new) / T_old, 还是其他的值。此外，它对较大的变化也没有太大意义。与简单地说性能提升2.2X相比，“性能提升了 120%”更难理解

练习题1.1

假设你是一个卡车司机，要将土豆从爱达荷州的Boise运送到明尼苏达州的Minneapolis,全程2500公里。在限速范围内，你估计平均速度为100km/h，整个行程需要25小时。

A.你听到新闻说蒙大拿州刚刚取消了限速，这使得行程中有 1500 公里卡车的速度可以为 150 公里／小时那么这对整个行程的加速比是多少？(1.25)

B. 你可以在 www. fasttrucks. com 网站上为自己的卡车买个新的涡轮增压器。网站现货供应各种型号，不过速度越快，价格越高。如果想要让整个行程的加速比为1.67 X, 那么你必须以多快的速度通过蒙大拿州？(300km/h)

练习题1.2

公司的市场部向你的客户承诺，下一个版本的软件性能将改进 2X 。这项任务被分配给你。你巳经确认只有 80% 的系统能够被改进，那么，这部分需要被改进多少（即k取何值）才能达到整体性能目标？(2.67)

Amdahl 定律一个有趣的特殊情况是考虑趋向千～时的效果。这就意味着，我们可以取系统的某部分将其加速到一个点，在这个点上，这部分花费的时间可以忽略不计。于是我们得到：
S∞=1(1−α)S~\infty~ = \frac{1}{(1-α)} S ∞ =(1−α)1
举个例子，如果 60% 的系统能够加速到不花时间的程度，我们获得的净加速比将仍只有1/ 0. 4=2. 5 X。Amdahl 定律描述了改善任何过程的一般原则。除了可以用在加速计算机系统方面之外，它还可以用在公司试图降低刀片制造成本，或学生想要提高自己的绩点平均值等方面。也许它在计算机世界里是最有意义的，在这里我们常常把性能提升2倍或更高的比例因子。这么高的比例因子只有通过优化系统的大部分组件才能获得。

1.9.2 并发和并行

数字计算机的整个历史中，有两个需求是驱动进步的持续动力：一个是我们想要计算机做得更多，另一个是我们想要计算机运行得更快。当处理器能够同时做更多的事情时，这两个因素都会改进。我们用的术语并发 (concurrency) 个通用的概念，指一个同时具有多个活动的系统；而术语并行 (parallelism) 指的是用并发来使一个系统运行得更快。并行可以在计算机系统的多个抽象层次上运用。在此，我们按照系统层次结构中由高到低的顺序重点强调三个层次。

1. 线程级并发

构建在进程这个抽象之上，我们能够设计出同时有多个程序执行的系统，这就导致了并发。使用线程，我们甚至能够在一个进程中执行多个控制流。

在以前，即使处理器必须在多个任务间切换，大多数实际的计算也都是由一个处理器来完成的这种配置称为单处理器系统。当构建一个由单操作系统内核控制的多处理器组成的系统时，我们就得到了一个多处理器系统。随着多核处理器和超线程 (hyperthreading) 的出现，这种系统才变得常见。

不同处理器的分类：

多核处理器是将多个 CPU( 称为“核")集成到一个集成电路芯片上。一个典型的多核处理器组织结构如下图：

其中微处理器芯片有 4个CPU 核，每个核都有自己的 L1，L2 高速缓存，其中的 L1 高速缓存分为两个部分一个保存最近取到的指令，另一个存放数据。这些核共享更高层次的高速缓存，以及到主存的接口。工业界的专家预言他们能够将几十个、最终会是上百个核做到一个芯片上。

超线程，有时称为同时多线程 (simultaneous multi-threading), 是一项允许一个 CPU执行多个控制流的技术。它涉及 CPU 某些硬件有多个备份，比如程序计数器和寄存器文件，而其他的硬件部分只有一份，比如执行浮点算术运算的单元。常规的处理器需要大约20 000 个时钟周期做不同线程间的转换，而超线程的处理器可以在单个周期的基础上决定要执行哪一个线程。这使得 CPU 能够更好地利用它的处理资源。比如，假设一个线程必须等到某些数据被装载到高速缓存中，那 CPU 就可以继续去执行另一个线程。举例来说，Intel Core i7 处理器可以让每个核执行两个线程，所以一个4核的系统实际上可以并行地执行8个线程。

多处理器的使用可以从两方面提高系统性能。

首先，它减少了在执行多个任务时模拟。
其次，它可以使应用程序运行得更快，当然，这必须要求程序是以多线程方式来书写的，这些线程可以并行地高效执行。

2. 指令级并行

在较低的抽象层次上，现代处理器可以同时执行多条指令的属性称为指令级并行。早期的微处理器，如 1978 年的 Intel 8086, 需要多个（通常是 3~10 个）时钟周期来执行一条指令。最近的处理器可以保持每个时钟周期 2~4 条指令的执行速率。

其实每条指令从开始到结束需要长得多的时间，大约 20 个或者更多周期，但是处理器使用了非常多的聪明技巧来同时处理多达 100 条指令。通过流水线 (pipelining)，将执行一条指令所需要的活动划分成不同的步骤，将处理器的硬件组织成一系列的阶段，每个阶段执行一个步骤。这些阶段可以并行地操作，用来处理不同指令的不同部分。我们会看到一个相当简单的硬件设计，它能够达到接近于个时钟周期一条指令的执行速率。

如果处理器可以达到比一个周期一条指令更快的执行速率，就称之为超标量 (super-scalar) 处理器。大多数现代处理器都支持超标量操作。

3. 单指令、多数据并行

在最低层次上，许多现代处理器拥有特殊的硬件，允许一条指令产生多个可以并行执行的操作，这种方式称为单指令、多数据，即 SIMD 并行。

提供这些 SIMD 指令多是为了提高处理影像、声音和视频数据应用的执行速度。虽然有些编译器会试图从程序中自动抽取 SIMD 并行性，但是更可靠的方法是用编译器支持的特殊的向量数据类型来写程序，比如 GCC 就支持向量数据类型。

1.9.3 计算机系统中抽象的重要性

抽象的使用是计算机科学中最为重要的概念之一。例如，为一组函数规定一个简单的应用程序接口 (API) 就是一个很好的编程习惯，程序员无须了解它内部的工作便可以使用这些代码。不同的编程语言提供不同形式和等级的抽象支持，例如 Java 类的声明和C语言的函数原型。

在处理器里，指令集架构提供了对实际处理器硬件的抽象。使用这个抽象，机器代码程序表现得就好像运行在一个一次只执行一条指令的处理器上。底层的硬件远比抽象描述的要复杂精细，它并行地执行多条指令，但又总是与那个简单有序的模型保持一致。只要执行模型一样，不同的处理器实现也能执行同样的机器代码，而又提供不同的开销和性能。

文件：对I/O设备的抽象

虚拟内存：对程序存储器的抽象

进程：对一个正在运行的程序的抽象

虚拟机：提供对整个计算机的抽象，包括操作系统、处理器和程序。

1.10 小结

计算机系统由硬件和系统软件组成，它们共同协作以运行应用程序。计算机内部的信息被表示为一组组的位，它们依据上下文有不同的解释方式。程序被其他程序翻译成不同的形式，开始时是ASCII 文本，然后被编译器和链接器翻译成二进制可执行文件。

处理器读取并解释存放在主存里的二进制指令。因为计算机花费了大量的时间在内存、 I/O设备和CPU 寄存器之间复制数据，所以将系统中的存储设备划分成层次结构—— CPU 寄存器在顶部，接着是多层的硬件高速缓存存储器、 DRAM 主存和磁盘存储器。在层次模型中，位于更高层的存储设备比低层的存储设备要更快，单位比特造价也更高。层次结构中较高层次的存储设备可以作为较低层次设备的高速缓存。通过理解和运用这种存储层次结构的知识，程序员可以优化C程序的性能。

操作系统内核是应用程序和硬件之间的媒介。它提供三个基本的抽象：

文件是对 I/O 设备的抽象；
虚拟内存是对主存和磁盘的抽象；
进程是处理器、主存和 I/0 设备的抽象。

最后，网络提供了计算机系统之间通信的手段。从特殊系统的角度来看，网络就是一种 I/O设备。