Linux I/O模型整理

liang @ 2017年01月01日

Linux的内核将所有外部设备都看做一个文件来操作,对一个文件的读写操作会调用内核提供的系统命令,返回一个file description(fd,文件描述符)。而对一个socket的读写也会有相应的描述符,称为socketfd(socket描述符),描述符就是一个数字,它指向内核中的一个结构体(文件路径,数据区等一些属性)。

Linux文件类型

Linux操作系统定义了七种文件,对这些文件的操作都属于I/O操作。其中,操作TCP套接字文件时会产生网络I/O。

  • d: 目录文件(directory file)

这种文件包含了其他文件的名字以及指向与这些文件有关信息的指针。对一个目录文件具有读权限的任一进程都可以读该目录的内容,但只有内核可以直接写目录文件。

  • l: 符号链接文件(symbolic link)

这种类型的文件指向另一个文件。

  • s: 套接字文件(socket)

这种类型的文件用于进程间的网络通信。套接字也可用于在一台宿主机上进程之间的非网络通信。

  • b: 块设备文件,二进制文件(block special file)

这种为类型的文件提供对设备(如磁盘)带缓冲的访问,每次访问以固定长度为单位进行。

  • c: 字符设备文件(character special file)

这种类型的文件提供对设备不带缓冲的访问,每次访问长度可变。系统中的所有设备要么是字符特殊文件,要么是块特殊文件。

  • p: 命名管道文件(FIFO)

这种类型的文件用于进程间通信,有时被称为命名管道(named pipe)。

  • -: 普通文件(regular file)

这是最常用的文件类型,这种文件包含了某种形式的数据。至于这种数据是文本还是二进制数据,对于UNIX内核而言并无区别。对普通文件内容的解释由处理该文件的应用程序进行。

一个值得注意的例外是二进制可执行文件。为了执行程序,内核必须理解其格式。所有二进制可执行文件都遵循一种标准化的格式,这种格式使内核能够确定程序文本和数据的加载位置。

Linux网络I/O模型

根据UNIX网络编程对I/O模型的分类,UNIX提供了五种I/O模型,服务器会根据自己的类型定位,使用其中一种或者多种I/O模型来处理网络请求。

阻塞I/O模型

最常用的I/O模型就是阻塞I/O模型,缺省情形下,所有文件操作都是阻塞的。我们以套接字借口为例来讲解此模型:在进程空间中调用recvfrom,其系统调用直到数据包到达且被复制到应用进程的缓冲区中或者发生错误时才返回,在此期间一直会等待,进程在从调用recvfrom开始到它返回的整段时间内都是被阻塞的,因此被称为阻塞I/O模型,如图1-1所示:

阻塞I/O模型

非阻塞I/O模型

recvfrom从应用层到内核的时候,如果该缓冲区没有数据的话,就直接返回一个EWORLDBLOCK错误,一般都对非阻塞I/O模型进行轮询检查这个状态,看内核是不是有数据到来,如图1-2所示:

非阻塞I/O模型

I/O复用模型

Linux提供select/poll,进程通过将一个或者多个fd传递给select或者poll系统调用,阻塞在select操作上,这样select/poll可以帮我们侦测多个fd是否处于就绪状态。select/poll是顺序扫描fd是否就绪,而且支持的fd数量有限,因此它的使用受到了一些制约。

Linux还提供了一个epoll系统调用,epoll使用基于事件驱动方法代替顺序扫描,因此性能更高。当有fd就绪时,立即回调函数rollback,如图1-3所示:

I/O复用模型

信号驱动I/O模型

首先开启套接字接口信号驱动I/O功能,并通过系统调用sigaction执行一个信号处理函数(此系统调用立即返回,进程继续工作,它是非阻塞的)。当数据准备就绪时,就为该进程生成一个SIGIO信号,通过信号回调通知应用程序调用recvfrom来读取数据,并通知主循环函数处理数据,如图1-4所示:

信号驱动I/O模型

异步I/O模型

告知内核启动某个操作,并让内核在整个操作完成后(包括将数据从内核复制到用户自己的缓冲区)通知我们。这种模型与信号驱动模型的主要区别是:信号驱动I/O由内核通过我们何时可以开始一个I/O操作;异步I/O模型由内核通知我们I/O操作何时已经完成,如图1-5所示:

异步I/O模型

常用服务器

目前流行的服务器大致分为普通应用服务器和高性能服务器两种。

应用服务器通常会运行具体的业务代码,比如:订单交易,网站管理等。这些业务通常使用基于MVC模式的框架,并进行数据库操作。应用服务器往往跟编程语言和应用框架绑定,提供上下文管理能力,单次业务的处理时间比较长,业务逻辑比较复杂。因此,应用服务器往往采用阻塞式I/O模型或者非阻塞I/O模型。基于请求/响应的方式工作。

高性能服务器往往需要面对极高的并发网络连接,并对内存分配、CPU使用提出更加苛刻的要求,比如:适用于反向代理的负载均衡服务器Nignx。因此,高性能服务器往往采用I/O复用模型或信号驱动I/O模型,有些对性能要求更高得服务器会采用纯异步I/O模型。相比较请求/响应的工作方式,使用后面三种I/O模型的服务器的处理方式更多样,也更复杂。

使用阻塞I/O模型或非阻塞I/O模型的服务器

  • Apache
  • Tomcat
  • Resin
  • Caddy

使用多路复用I/O模型的服务器

  • Nginx
  • Netty
  • Mina

参考资料

1, 《Netty权威指南 第二版》,李林峰