引言本文是 Linux 系统编程系列的第四篇。在阅读本文之前强烈建议你先理解文件描述符和基础 IO 的相关概念。如果尚未阅读可以点击这里跳转至上一篇博客基础IO认知一、文件描述符分配的秘密遍历fd_array从小到大在上一篇博客中我们提到进程通过文件描述符来操作文件而每个进程在内核中都有一个task_struct其中files指针指向一个files_struct结构体该结构体里维护着一张数组——我们通常称之为fd_array。每一个打开的文件都在这张数组中占据一个位置下标就是文件描述符。当一个进程要打开新文件时内核会为该文件分配一个文件描述符。分配规则非常简单从fd_array的下标 0 开始遍历整个数组找到第一个未被使用的空位将其下标作为新的文件描述符返回。这个机制意味着文件描述符总是最小可用的整数。如果你关闭了某个文件描述符下一次open就极有可能复用这个编号。实战验证关闭 0 号描述符后open会得到什么我们写一段代码来验证#includestdio.h#includeunistd.h#includefcntl.hintmain(){close(0);// 关闭标准输入intfdopen(test.txt,O_RDONLY);printf(new fd %d\n,fd);close(fd);return0;}编译运行控制台输出new fd 0因为我们主动关闭了0当执行open时内核从 0 开始寻找可用空位发现 0 号位置刚好空出来于是返回0。验证了最小可用规则。二、输出重定向的诞生当printf不再打印到屏幕文件描述符分配的这一特性直接为“重定向”埋下了伏笔。来看一个更有趣的例子#includestdio.h#includeunistd.h#includefcntl.h#includesys/types.h#includesys/stat.hintmain(){close(1);// 关闭标准输出intfdopen(output.txt,O_WRONLY|O_CREAT|O_TRUNC,0644);// 此刻 fd 一定是 1printf(Hello, this goes to file!\n);fflush(stdout);// 强制刷新缓冲区确保数据写入close(fd);return0;}编译执行后屏幕上什么也没有打印。但是打开output.txt里面赫然写着Hello, this goes to file!这就是输出重定向原本写入stdout文件描述符1的内容因为1号描述符此时指向的是一个普通文件printf的输出就自然而然地落入了该文件中。我们没有修改printf的任何代码只是改变了文件描述符1所指向的内核对象。输入重定向同理输入重定向也是相同的道理#includestdio.h#includeunistd.h#includefcntl.hintmain(){close(0);// 关闭标准输入intfdopen(input.txt,O_RDONLY);// fd 必定为 0charbuf[128];fgets(buf,sizeof(buf),stdin);// 实际从 input.txt 读取printf(read from file: %s,buf);close(fd);return0;}如果input.txt中有一行I am redirected input程序就会输出read from file: I am redirected input这其实已经揭示了重定向的核心改变文件描述符表的内容从而改变进程默认数据流的方向。三、重定向的本质fd_array下标内容的拷贝上面我们用closeopen实现了重定向但这种方式是有局限的——你必须依赖于内核分配的最小可用规则而且原始的1号描述符被你“丢弃”了之后再想恢复到标准输出就很困难。真正标准的重定向本质上是这样的操作让fd_array中的某个位置例如 1直接拷贝另一个位置的“文件对象指针”使两个文件描述符指向同一个打开文件。内核中每个文件描述符对应的结构并不是文件本身而是一个“打开文件描述对象”struct file它记录了文件偏移量、访问模式、inode 指针等。重定向的本质就是让多个文件描述符共享这一个对象。标准接口dup2Linux 提供了dup2系统调用来实现这个拷贝intdup2(intoldfd,intnewfd);dup2会做几件事如果newfd已经打开先关闭它close(newfd)。将newfd指向oldfd所指向的struct file也就是让fd_array[newfd] fd_array[oldfd]。增加struct file的引用计数。此后读写newfd和读写oldfd将操作同一个文件共享偏移量。注意我们并没有丢弃原始的文件描述符oldfd依然可用等不用时再关闭即可。用dup2实现之前的例子#includestdio.h#includeunistd.h#includefcntl.hintmain(){intfdopen(dup2_output.txt,O_WRONLY|O_CREAT|O_TRUNC,0644);if(fd0){perror(open);return1;}dup2(fd,1);// 让 1 指向 fd 所指向的文件close(fd);// 现在可以关闭 fd 了因为 1 仍然持有该文件对象printf(Hello via dup2!\n);fflush(stdout);return0;}程序运行后dup2_output.txt中写入了Hello via dup2!。显然这种方式比先close(1)再open更加优雅、可控且不依赖于“恰好分配到 1”的投机行为。四、Shell 中的重定向符号、、的原理理解了dup2就很容易明白 Linux 命令行中那些重定向符号的底层实现了。以command file为例Shell 首先fork()出一个子进程。在子进程里执行command之前先open(file, O_WRONLY | O_CREAT | O_TRUNC, 0644)得到一个文件描述符fd。调用dup2(fd, 1)把标准输出重定向到file。关闭fd。最后exec执行command。命令内部的任何printf或write(1, ...)都会写入file。同理唯一的区别在于打开文件时加上了O_APPEND标志以保证数据追加到文件末尾。输入重定向commandinput.txtShell 会open(input.txt, O_RDONLY)然后dup2(fd, 0)这样命令再从stdin读取时实际从input.txt读取。其他重定向如2错误输出重定向本质也是dup2(fd, 2)。命令command 21则是dup2(1, 2)把标准错误重定向到标准输出当前所指向的地方。所有重定向符号本质上都是 Shell 在用户态用opendup2close这组系统调用来实现的。五、如何理解“一切皆文件”前面我们反复提到struct file它是内核中用来表示一个“已打开文件”的对象。每当我们open一个东西——无论是一个普通文本文件、一个管道、一个 socket还是一个硬件设备比如/dev/sda——内核都会为它创建一个struct file实例。在这个结构体里除了有文件偏移量、访问标志等信息外还有一个至关重要的成员一个指向struct file_operations的指针通常叫f_op。struct file_operations是什么它就是一张函数指针表里面定义了对这个“文件”进行操作的各种方法比如structfile_operations{ssize_t(*read)(structfile*,char__user*,size_t,loff_t*);ssize_t(*write)(structfile*,constchar__user*,size_t,loff_t*);int(*open)(structinode*,structfile*);int(*release)(structinode*,structfile*);// ... 还有很多其他操作};正是这些函数指针将“文件”这个抽象概念与千差万别的硬件联系在了一起。拿硬盘设备/dev/sda来举例当进程调用open(/dev/sda, O_RDONLY)时内核会根据路径找到该设备对应的特殊节点并创建一个struct file对象。内核将这个struct file的f_op指针设置为硬盘驱动程序提供的file_operations结构体。在这个结构体里read函数指针指向驱动里真正读取硬盘的代码write函数指针指向驱动里真正写入硬盘的代码open和release则可能负责设备的初始化和清理工作。open最终返回一个文件描述符fd它与这个装配好函数指针的struct file关联起来。此后当程序执行read(fd, buf, 1024)时内核是这样做的通过fd在fd_array中找到对应的struct file调用file-f_op-read(file, buf, 1024, offset)此时实际执行的是硬盘驱动程序中的read代码它会直接和硬盘控制器打交道把数据从硬件搬到用户提供的缓冲区。整个过程对上层程序是完全透明的。程序员根本不需要知道硬盘的寄存器地址、中断号或者 DMA 细节只需要面对统一的read/write接口就够了。更妙的是如果换成/dev/null这个“黑洞”设备它的驱动中write函数什么也不干直接返回成功于是写进去的数据就被悄无声息地丢弃了。所以“一切皆文件”的本质就是Linux 通过struct filefile_operations函数表为所有可以操作的对象提供了一套完全统一的接口。不管背后是真实的磁盘、内存中的管道还是各种复杂的硬件设备只要它能实现open、read、write等基本操作就可以被抽象成一个“文件描述符”无缝接入整个系统的输入输出体系。回到我们重定向的主题正因如此重定向的能力才如此强大。当我们改变一个文件描述符所指向的struct file时底层的read/write函数指针也随之改变——数据就会自动流向完全不同的目的地。你可以把本该写到终端的日志重定向到磁盘文件也可以把本该从键盘读入的指令重定向到/dev/zero产生无限空字符。一切衔接得天衣无缝这正是 UNIX/Linux 设计中最优雅的地方。总结文件描述符按“最小可用”原则分配由fd_array从 0 遍历找到空位。通过close(1)open可以“碰巧”实现重定向揭示了数据流的本质。重定向的本质是fd_array中文件对象指针的拷贝dup2是这一机制的正式 API。Shell 重定向符号、、背后都是forkopendup2的组合。“一切皆文件”的核心在于struct file内嵌的函数指针表让硬件和普通文件拥有一致的操作接口这也正是重定向能够灵活作用于所有设备类型的根本原因。希望这篇博客能帮助你彻底看透重定向的内部机制。如果觉得有收获欢迎点赞、收藏我们下一篇再见
引言本文是 Linux 系统编程系列的第四篇。在阅读本文之前强烈建议你先理解文件描述符和基础 IO 的相关概念。如果尚未阅读可以点击这里跳转至上一篇博客基础IO认知一、文件描述符分配的秘密遍历fd_array从小到大在上一篇博客中我们提到进程通过文件描述符来操作文件而每个进程在内核中都有一个task_struct其中files指针指向一个files_struct结构体该结构体里维护着一张数组——我们通常称之为fd_array。每一个打开的文件都在这张数组中占据一个位置下标就是文件描述符。当一个进程要打开新文件时内核会为该文件分配一个文件描述符。分配规则非常简单从fd_array的下标 0 开始遍历整个数组找到第一个未被使用的空位将其下标作为新的文件描述符返回。这个机制意味着文件描述符总是最小可用的整数。如果你关闭了某个文件描述符下一次open就极有可能复用这个编号。实战验证关闭 0 号描述符后open会得到什么我们写一段代码来验证#includestdio.h#includeunistd.h#includefcntl.hintmain(){close(0);// 关闭标准输入intfdopen(test.txt,O_RDONLY);printf(new fd %d\n,fd);close(fd);return0;}编译运行控制台输出new fd 0因为我们主动关闭了0当执行open时内核从 0 开始寻找可用空位发现 0 号位置刚好空出来于是返回0。验证了最小可用规则。二、输出重定向的诞生当printf不再打印到屏幕文件描述符分配的这一特性直接为“重定向”埋下了伏笔。来看一个更有趣的例子#includestdio.h#includeunistd.h#includefcntl.h#includesys/types.h#includesys/stat.hintmain(){close(1);// 关闭标准输出intfdopen(output.txt,O_WRONLY|O_CREAT|O_TRUNC,0644);// 此刻 fd 一定是 1printf(Hello, this goes to file!\n);fflush(stdout);// 强制刷新缓冲区确保数据写入close(fd);return0;}编译执行后屏幕上什么也没有打印。但是打开output.txt里面赫然写着Hello, this goes to file!这就是输出重定向原本写入stdout文件描述符1的内容因为1号描述符此时指向的是一个普通文件printf的输出就自然而然地落入了该文件中。我们没有修改printf的任何代码只是改变了文件描述符1所指向的内核对象。输入重定向同理输入重定向也是相同的道理#includestdio.h#includeunistd.h#includefcntl.hintmain(){close(0);// 关闭标准输入intfdopen(input.txt,O_RDONLY);// fd 必定为 0charbuf[128];fgets(buf,sizeof(buf),stdin);// 实际从 input.txt 读取printf(read from file: %s,buf);close(fd);return0;}如果input.txt中有一行I am redirected input程序就会输出read from file: I am redirected input这其实已经揭示了重定向的核心改变文件描述符表的内容从而改变进程默认数据流的方向。三、重定向的本质fd_array下标内容的拷贝上面我们用closeopen实现了重定向但这种方式是有局限的——你必须依赖于内核分配的最小可用规则而且原始的1号描述符被你“丢弃”了之后再想恢复到标准输出就很困难。真正标准的重定向本质上是这样的操作让fd_array中的某个位置例如 1直接拷贝另一个位置的“文件对象指针”使两个文件描述符指向同一个打开文件。内核中每个文件描述符对应的结构并不是文件本身而是一个“打开文件描述对象”struct file它记录了文件偏移量、访问模式、inode 指针等。重定向的本质就是让多个文件描述符共享这一个对象。标准接口dup2Linux 提供了dup2系统调用来实现这个拷贝intdup2(intoldfd,intnewfd);dup2会做几件事如果newfd已经打开先关闭它close(newfd)。将newfd指向oldfd所指向的struct file也就是让fd_array[newfd] fd_array[oldfd]。增加struct file的引用计数。此后读写newfd和读写oldfd将操作同一个文件共享偏移量。注意我们并没有丢弃原始的文件描述符oldfd依然可用等不用时再关闭即可。用dup2实现之前的例子#includestdio.h#includeunistd.h#includefcntl.hintmain(){intfdopen(dup2_output.txt,O_WRONLY|O_CREAT|O_TRUNC,0644);if(fd0){perror(open);return1;}dup2(fd,1);// 让 1 指向 fd 所指向的文件close(fd);// 现在可以关闭 fd 了因为 1 仍然持有该文件对象printf(Hello via dup2!\n);fflush(stdout);return0;}程序运行后dup2_output.txt中写入了Hello via dup2!。显然这种方式比先close(1)再open更加优雅、可控且不依赖于“恰好分配到 1”的投机行为。四、Shell 中的重定向符号、、的原理理解了dup2就很容易明白 Linux 命令行中那些重定向符号的底层实现了。以command file为例Shell 首先fork()出一个子进程。在子进程里执行command之前先open(file, O_WRONLY | O_CREAT | O_TRUNC, 0644)得到一个文件描述符fd。调用dup2(fd, 1)把标准输出重定向到file。关闭fd。最后exec执行command。命令内部的任何printf或write(1, ...)都会写入file。同理唯一的区别在于打开文件时加上了O_APPEND标志以保证数据追加到文件末尾。输入重定向commandinput.txtShell 会open(input.txt, O_RDONLY)然后dup2(fd, 0)这样命令再从stdin读取时实际从input.txt读取。其他重定向如2错误输出重定向本质也是dup2(fd, 2)。命令command 21则是dup2(1, 2)把标准错误重定向到标准输出当前所指向的地方。所有重定向符号本质上都是 Shell 在用户态用opendup2close这组系统调用来实现的。五、如何理解“一切皆文件”前面我们反复提到struct file它是内核中用来表示一个“已打开文件”的对象。每当我们open一个东西——无论是一个普通文本文件、一个管道、一个 socket还是一个硬件设备比如/dev/sda——内核都会为它创建一个struct file实例。在这个结构体里除了有文件偏移量、访问标志等信息外还有一个至关重要的成员一个指向struct file_operations的指针通常叫f_op。struct file_operations是什么它就是一张函数指针表里面定义了对这个“文件”进行操作的各种方法比如structfile_operations{ssize_t(*read)(structfile*,char__user*,size_t,loff_t*);ssize_t(*write)(structfile*,constchar__user*,size_t,loff_t*);int(*open)(structinode*,structfile*);int(*release)(structinode*,structfile*);// ... 还有很多其他操作};正是这些函数指针将“文件”这个抽象概念与千差万别的硬件联系在了一起。拿硬盘设备/dev/sda来举例当进程调用open(/dev/sda, O_RDONLY)时内核会根据路径找到该设备对应的特殊节点并创建一个struct file对象。内核将这个struct file的f_op指针设置为硬盘驱动程序提供的file_operations结构体。在这个结构体里read函数指针指向驱动里真正读取硬盘的代码write函数指针指向驱动里真正写入硬盘的代码open和release则可能负责设备的初始化和清理工作。open最终返回一个文件描述符fd它与这个装配好函数指针的struct file关联起来。此后当程序执行read(fd, buf, 1024)时内核是这样做的通过fd在fd_array中找到对应的struct file调用file-f_op-read(file, buf, 1024, offset)此时实际执行的是硬盘驱动程序中的read代码它会直接和硬盘控制器打交道把数据从硬件搬到用户提供的缓冲区。整个过程对上层程序是完全透明的。程序员根本不需要知道硬盘的寄存器地址、中断号或者 DMA 细节只需要面对统一的read/write接口就够了。更妙的是如果换成/dev/null这个“黑洞”设备它的驱动中write函数什么也不干直接返回成功于是写进去的数据就被悄无声息地丢弃了。所以“一切皆文件”的本质就是Linux 通过struct filefile_operations函数表为所有可以操作的对象提供了一套完全统一的接口。不管背后是真实的磁盘、内存中的管道还是各种复杂的硬件设备只要它能实现open、read、write等基本操作就可以被抽象成一个“文件描述符”无缝接入整个系统的输入输出体系。回到我们重定向的主题正因如此重定向的能力才如此强大。当我们改变一个文件描述符所指向的struct file时底层的read/write函数指针也随之改变——数据就会自动流向完全不同的目的地。你可以把本该写到终端的日志重定向到磁盘文件也可以把本该从键盘读入的指令重定向到/dev/zero产生无限空字符。一切衔接得天衣无缝这正是 UNIX/Linux 设计中最优雅的地方。总结文件描述符按“最小可用”原则分配由fd_array从 0 遍历找到空位。通过close(1)open可以“碰巧”实现重定向揭示了数据流的本质。重定向的本质是fd_array中文件对象指针的拷贝dup2是这一机制的正式 API。Shell 重定向符号、、背后都是forkopendup2的组合。“一切皆文件”的核心在于struct file内嵌的函数指针表让硬件和普通文件拥有一致的操作接口这也正是重定向能够灵活作用于所有设备类型的根本原因。希望这篇博客能帮助你彻底看透重定向的内部机制。如果觉得有收获欢迎点赞、收藏我们下一篇再见
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
