UINX环境高级编程笔记 第3章 文件I/O
UNIX环境高级编程
- 第三章 文件I/O
- 3.1 引言
- 3.2 文件描述符
- 3.3 函数open和openat
- 3.4 函数creat
- 3.5 函数close
- 3.6 函数lseek
- 3.7 函数read
- 3.8 函数write
- 3.9 I/O的效率
- 3.10 文件共享
- 3.11 原子操作
- 3.12 函数dup和dup2
- 3.13函数sync、fsync和fdatasync
- 3.14 函数fcntl
- 3.15 函数ioctl
第三章 文件I/O
3.1 引言
UNIX系统中的大多数文件I/O只需要用到5个函数：open、read、write、lseek以及close。本章描述的函数经常被称为不带缓冲的I/O。术语不带缓冲指的是每个read和write都调用内核中的一个系统调用。
3.2 文件描述符
对内核而言，所有打开的文件都通过文件描述符引用。文件描述符是一个非负整数。
- 文件描述符0：进程的标准输入
- 文件描述符1：进程的标准输入
- 文件描述符2：进程的标准错误
在头文件<unistd.h>将幻数0、1、2定义成符号常量STDIN_FILENO、STDOUT_FILENO和STDERR_FILENO。
文件描述符的变化范围是0~OPEN_MAX - 1。
3.3 函数open和openat
#include <fcntl.h>/*** \brief 打开或创建一个文件.** \param fd 1.path参数指定的是绝对路径名，fd参数被忽略，openat相当于open函数；* 2.path参数指定的是相对路径名，fd参数指出相对路径名在文件系统中的开始地址（通过打开相* 对路径名所在的目录来获取）；* 3.path参数指定了相对路径名，fd参数具有特殊值AT_FDCWD。路径名在当前工作目录获取。* \param path 要打开或创建文件的名字.* \param oflag 用来说明此函数的多个选项.可用下列一个或多个常量进行“或”运算构成.* O_RDONLY 只读打开。* O_WRONLY 只写打开。* O_RDWR 读、写打开* O_EXEC 只执行打开。* O_SEARCH 只搜索打开（应用于目录）本书涉及的操作系统目前不支持O_SEARCH。* O_APPEND 每次写时都追加到文件的尾端。* O_CLOEXEC 把FD_CLOEXEC常量设置为文件描述符标准。* O_CREAT 若此文件不存在则创建它。使用此选项时，需要用mode指定文件的访问权限位。* O_DIRECTORY 如果path引用的不是目录，则出错。* O_EXCL 测试一个文件是否存在，如果同时指定了O_CREAT，而文件已经存在，则出错。* O_NOCTTY 如果path引用的是终端设备，则不将该设备分配作为此进程的控制终端。* O_TRUNC 如果此文件存在，而且为只读或读-写成功打开，则将其长度截断为0。** \return 若成功，返回文件描述符.* \return 若出错，返回-1.*/
int open(const char *path, int oflag, ... /* mode_t mode */);
int openat(int fd, const char *path, int oflag, ... /* mode_t mode */);
将最后一个参数写为…，ISO C用这种方法表明余下的参数的数量及其类型是可变的。对于open函数而言，仅当创建新文件时才使用最后这个参数。
3.4 函数creat
#include <fcntl.h>/*** \brief 创建一个文件.** \param path 要打开或创建文件的名字.* \param mode 指定文件访问权限.** \return 若成功，返回只写打开的文件描述符.* \return 若出错，返回-1.*/
int creat(const char *path, mode_t mode);
// 等效于：
open(path, O_WRONLY | O_CREAT | O_TRUNC, mode);
3.5 函数close
#include <unistd.h>/*** \brief 关闭一个打开文件.** \param fd 文件描述符.** \return 若成功，返回0.* \return 若出错，返回-1.*/
int close(int fd);
关闭一个文件时还会释放该进程加在该文件上的所有记录锁。
当一个进程终止时，内核自动关闭它所有的打开文件。
3.6 函数lseek
#include <unistd.h>/*** \brief 显式地为一个打开文件设置偏移量.** \param fd 文件描述符.* \param offset 该文件的偏移量.* \param whence 偏移量设置的起始位置.* SEEK_SET：文件的开始处.* SEEK_CUR：文件的当前位置.* SEEK_END：文件的末尾处，offset可正可负.** \return 若成功，返回新的文件偏移量.* \return 若出错，返回-1.*/
off_t lseek(int fd, off_t offset, whence);/* 可以用下列方式确定打开文件的当前偏移量，也可以用来确定文件是否可以设置偏移量。如果文件描述符指向的是一个* 管道、FIFO或网络套接字，则lseek返回-1，并将errno设置为ESPIPE。*/
off_t currpos；
currpos = lseek(fd, 0, SEEK_CUR);
通常，文件的当前偏移量应当是一个非负整数，但是，某些设备也可能允许负的偏移量。所以在比较lseek的返回值时，不要测试它是否小于0，而要测试它是否等于-1。
文件偏移量可以大于文件的当前长度，在这种情况下，对该文件的下一次写将加长该文件，并在文件中构成一个空洞，这一点是允许的。位于文件中但没有写过的字节都被读为0。
文件中的空洞并不要求在磁盘上占用存储区。当定位到超出文件尾端之后写时，对于新写的数据需要分配磁盘块，但是对于原文件尾端和新开始写位置之间的部分则不需要分配磁盘块。
3.7 函数read
#include <unistd.h>/*** \brief 从打开文件中读数据.* \param fd 文件描述符.* \param buf 读到的数据的缓冲区.* \param nbytes 想要读的字节数.* \return 读到的字节数，若已到文件尾，返回0.* \return 若出错，返回-1.*/
ssize_t read(int fd, void *buf, size_t nbytes);
以下情况可使实际读到的字节数少于要求读的字节数：
- 读普通文件时，在读到要求字节数之前已到达了文件尾端。
- 当从终端设备读时，通常一次最多读一行。
- 当从网络读时，网络中的缓冲机制可能造成返回值小于所要求读的字节数。
- 当从管道或FIFO读时，如若管道包含的字节少于所需的数量，那么read将只返回实际可用的字节数。
- 当从某些面向记录的设备（如磁带）读时，一次最多返回一个记录。
- 当一信号造成中断，而已经读了部分数据量时。
3.8 函数write
#include <unistd.h>
/*** \brief 向打开文件写数据.* * \param fd 文件描述符.* \param buf 要写数据的缓冲区.* \param nbytes 想写的字节数.* * \return 如成功，返回已写的字节数.* \return 如出错，返回-1.*/
ssize_t write(int fd, const void *buf, size_t nbytes);
3.9 I/O的效率
- Linux探秘之I/O效率：
https://www.cnblogs.com/bakari/p/5532810.html
关于read和write的执行效率问题还存在一些疑问，先将此问题搁置，后续再进行说明。
3.10 文件共享
内核使用3种数据结构表示打开文件：
- 每个进程在进程表中都有一个记录项，记录项包含：
a. 文件描述符标志；
b. 指向一个文件表项的指针。 - 内核为所有打开文件维持一张文件表，每个文件表项包含：
a. 文件状态标志（读、写、添写，同步和非阻塞等）；
b. 当前文件偏移量；
c. 指向该文件v节点表项的指针。 - 每个打开文件都有一个v节点结构。v节点包含：
a. 文件类型；
b. 对此文件进行各种操作的指针；
c. i节点（i-node，索引节点），i节点包含文件所有者、文件长度、指向文件实际数据块在磁盘上所在位置的指针。
注：v节点结构的目的是对在一个计算机系统上的多个文件系统类型提供支持，Linux没有使用v节点，而是使用了通用i节点结构，采用一个与文件系统相关的i节点和一个与文件系统无关的i节点。
- 在完成每个write后，在文件表项中的当前文件偏移量即为增加所写入的字节数。如果当前文件偏移量超出了当前文件长度，则将i节点表项中的当前文件长度设置为当前文件偏移量（也就是该文件加长了）。
- 如果用O_APPEND标志打开一个文件，则相应标志也被设置到文件表项的文件状态标志中。每次对这种具有追加写标志的文件执行写操作时，文件表项中的当前文件偏移量首先会被设置为i节点表项中的文件长度。这就使得每次写入的数据都追加到文件的当前尾端处。
- 若一个文件用lseek定位到文件当前的尾端，则文件表项中的当前文件偏移量被设置为i节点表项中的当前文件长度。
- lseek函数只修改文件表项中的当前文件偏移量，不进行任何I/O操作。
- 可能有多个文件描述符项指向同一个文件表项。
3.11 原子操作
一般而言，原子操作指的是由多步组成的一个操作。如果该操作原子地执行，则要么执行完所有步骤，要么一步也不执行，不可能只执行所有步骤的一个子集。任何要求多余一个函数调用的操作都不是原子操作，因为在两个函数调用之间，内核有可能会临时挂起进程。
pread和pwrite是两个原子操作，调用pread相当于调用lseek后调用read，但是pread又与这种顺序调用有重要的区别：
- 调用pread时，无法中断其定位和读操作。
- 不更新当前文件偏移量。
#include <unistd.h>/*** \brief 原子性地定位并执行读操作.* \param fd 文件描述符.* \param buf 读到的数据的缓冲区.* \param nbytes 想要读的字节数.* \param offset 文件偏移量.* * \return 读到的字节数，若已到文件尾，返回0.* \return 若出错，返回-1.*/
ssize_t pread(int fd, void *buf, size_t nbytes, off_t offset);
#include <unistd.h>
/*** \brief 原子性地定位并执行写操作.* * \param fd 文件描述符.* \param buf 要写数据的缓冲区.* \param nbytes 想写的字节数.* \param offset 文件偏移量.* * \return 如成功，返回已写的字节数.* \return 如出错，返回-1.*/
ssize_t pwrite(int fd, const void *buf, size_t nbytes, off_t offset);
open函数的O_CREAT和O_EXCL选项是一个原子操作。当同时指定这两个选项，而该文件又已经存在时，open将失败。将检查文件是否存在和创建文件这两个操作作为一个原子操作来执行。如果没有这样一个原子操作，那么可能会编写下列程序段：
if ((fd = open(pathname, O_WRONLY)) < 0)
{if (errno == ENOENT){if ((fd = creat(path, mode)) < 0)err_sys("creat error");elseerr_sys("open error");}
}
如果在open和creat之间，另一个进程创建了该文件，就会出现问题。
3.12 函数dup和dup2
#include <unistd.h>
/*** \brief 复制一个现有的文件描述符.* * \param fd 要复制的文件描述符.* \param fd2 指定新描述符的值.* * \return 如成功，返回新的文件描述符.* \return 如出错，返回-1.*/
int dup(int fd);
int dup2(int fd, int fd2);
由dup返回的新文件描述符一定是当前可用文件描述符中的最小数值。对于dup2，可以用fd2参数指定新描述符的值。如果fd2已经打开，则先将其关闭。如若fd等于fd2，则dup2返回fd2，而不关闭它。否则，fd2的FD_CLOEXEC文件描述符标志就被清除，这样fd2在进程调用exec时是打开状态。
3.13函数sync、fsync和fdatasync
传统的UNIX系统实现在内核中设有缓冲区或页高速缓存，大多数磁盘I/O都通过缓冲区进行。当我们向文件写入数据时，内核通常先将数据复制到缓冲区中，然后排入队列，晚些时候再写入磁盘。这种方式被称为延迟写。
通常，当内核需要重用缓冲区来存放其他磁盘块数据时，它会把所有延迟写数据块写入磁盘。为了保证磁盘上实际文件系统与缓冲区中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。
#include <unistd.h>
/*** \brief 将缓冲区的数据写入磁盘.* * \param fd 要复制的文件描述符.* * \return 如成功，返回0.* \return 如出错，返回-1.*/
int fsync(int fd);
int fdatasync(int fd);void sync(void);
sync只是将所有修改过的块缓冲区排队写入队列，然后就返回，它并不等待实际写磁盘操作结束。
fsync函数只对由文件描述符fd指定的一个文件起作用，并且等待写磁盘操作结束才返回。
fdatasync函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。
3.14 函数fcntl
#include <fcntl.h>/*** \brief 1.复制一个已有的描述符（cmd=F_DUPFD或F_DUPFD_CLOEXEC）.* 2.获取/设置文件描述符标志（cmd=F_GETFD或F_SETFD）.* 3.获取/设置文件状态标志（cmd=F_GETFL或F_SETFL）.* 4.获取/设置异步I/O所有权（cmd=F_GETOWN或F_SETOWN）.* 5.获取/设置记录锁（cmd=F_GETLK、F_SETLK或F_SETLKW）.** \param fd 文件描述符.* \param cmd 要打开或创建文件的名字.* \param oflag F_DUPFD 复制文件描述符fd，新文件描述符作为函数值返回，它是尚未打开的各描述符中>=第3个参数值中各值的最小值.* F_DUPFD_CLOEXC 复制文件描述符，设置与新描述符关联的FD_CLOEXEC文件描述符标志的值，返回新文件描述符.* F_GETFD 对应于fd的文件描述符标志作为函数值返回.* F_SETFD 对于fd设置文件描述符标志。新标志值按第3个参数设置.* F_GETFL 对应于fd的文件状态标志作为函数值返回.* F_SETFL 将文件状态标志设置为第3个参数的值.* F_GETOWN 获取当前接收SIGIO和SIGURG信号的进程ID或进程组ID.* F_SETOWN 设置接收SIGIO和SIGURG信号的进程ID或进程组ID.** \return 若成功，则依赖于cmd.* \return 若出错，返回-1.*/
int fcntl(int fd, int cmd, ... /* int arg */);
3.15 函数ioctl
#include <unistd.h> /* System V */
#include <sys/ioctl.h> /* BSD and Linux *//*** \brief 标准IO扩展的操作.* * \param fd 文件描述符.* \param request 指向一个变量或结构体的指针* * \return 如成功，返回其他值.* \return 如出错，返回-1.*/int ioctl(int fd, int request, ...);
UINX环境高级编程笔记 第3章 文件I/O相关推荐
- linux环境编程 学习,学习linux环境高级编程首先学习的是文件的操作。因为有.pdf...
学习linux环境高级编程首先学习的是文件的操作.因为有 学习 Linux 环境高级编程,首先学习的是文件的操作.因为有一句很有趣的话"Linux 下一切皆文件".所以掌握了文件操 ...
- Unix环境高级编程 笔记
Unix环境高级编程(第二版)学习笔记 这是一次较长时间的整理,然而跳跃了一些章节和很多知识点,仍然是很不完善很不全面的. 前言 操作系统某些问题 严格意义上,可将操作系统定义为一种软件,它控制计算机 ...
- UNIX环境高级编程笔记之文件I/O
一.总结 在写之前,先唠几句,<UNIX环境高级编程>,简称APUE,这本书简直是本神书,像我这种小白,基本上每看完一章都是"哇"这种很吃惊的表情.其实大概三年前,那会 ...
- UNIX环境高级编程笔记
1.setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, &opt, len); SO_REUSEADDR套接口选项允许为以下四个不同的目的提供服务: ...
- UNIX环境高级编程笔记（2）- STDIN_FILENO、STDOUT_FILENO和stdin、stdout的区别
目录 前言 一.STDIN_FILENO.STDOUT_FILENO介绍 二.stdin.stdout介绍 三.代码例程 1.文件描述符的使用 2.流的使用 3.代码标记 总结 前言 本章主要通过UN ...
- UNIX环境高级编程笔记之进程控制
本章重点介绍了进程控制的几个函数:fork.exec族._exit.wait和waitpid等,主要需要掌握的是父进程和子进程之间的运行机制,怎么处理进程的正常和异常终止.以及怎么让进程执行不同的程序 ...
- UNIX环境高级编程笔记（14）- 函数sigsuspend 实现父进程子进程同步
前言 本章主要介绍sigsuspend函数以及实现父进程子进程通过信号的同步. 一.函数sigsuspend #include<signal.h> int sigsuspend(const ...
- UNIX 环境高级编程总结——第五章 标准I/O 库
5.1 流和 FILE 对象 对于标准 I/O 库,它们的操作则是围绕流(stream)进行的. 当打开一个流时,标准 I/O 函数 fopen 返回一个指向 FILE 对象的指针. 为了引用一个流, ...
- 《Unix环境高级编程》Note——第一章基础知识
文章目录 第一章 Unix基础知识 1.引言 2.Unix体系结构 3.登录 4.文件和目录 5.输入和输出 6.程序和进程 7.出错处理 8.用户标识 9.信号 10.时间值 11.系统调用和库函数 ...
最新文章
- NeurIPS 2021 | 视觉Transformer和CNN看到的特征是相同的吗？谷歌大脑新作
- torch中tensor的普通索引以及index_select()
- [CLR via C#]25. 线程基础
- 全球最大AI巨量模型，参数2457亿炼丹16天专注中文，打造者绝对让你意外
- WIFI 基本理论-2017
- muduo之BlockingQueue
- java实现红包要多少钱_java实现红包的分配算法
- html中的文本格式化标签+多媒体标签+关于IE浏览器兼容的问题（干货！）
- 页面文字请使用css进行控制,css控制页面文字不能被选中user-select:none;
- 回飞锅有哪些功能_回飞锅的精髓，只由原创者荷兰BK掌控
- 系统学习机器学习之神经网络（六） --GrossBerg网络
- Echarts带渐变色的折线图
- Deep Mind用AlphaZero开发国际象棋新规则-3！
- python怎么把ppt转成html,如何使用python把ppt转换成pdf
- iOS - 二维码生成、扫描及页面跳转
- Windows命令行查看文件的MD5
- 在职场，光有技术是不行的，18年老程序员职场宝贵经验分享
- 百度Java面试题前200页和答案
- 百度网盘搜索工具_2019
- 操作系统进程同步实验报告