TCP/IP在linux下的具体实现(初稿,未整理)杭州和利时软件开发部刘小树2005-2-25目录TCP/IP在linux下的具体实现(初稿,未整理) (1)目录 (1)1 通用TCP/IP逻辑结构; (2)2 .TCP/IP协议栈在linux下的层次 (3)2.2跟实现tcp/ip有关的linux基础知识: (3)2.3 各层之间的关系; (6)3基本数据结构 (7)3.1 msghdr结构 (7)3.2.sk_buff_head{}结构 (7)3 .3socket{}类型; (10)3.4.INET Socket: sock{} (11)3.5以上个结构的跳转及函数指针集合 (15)3.6 struct net_device{ (15)4实例:收发数据包流程图 (15)4.2数据接收过程：以下以图表说明(大致原理类似接受过程): (17)1 通用TCP/IP逻辑结构;与ISO提出的OSI定义网络层次(7层)不同,tcp/ip就定义了五层.各层的主要功能及对应的硬件:物理层:定义传输的电平及硬件接口标准..数据链路层:对应的是网卡的驱动(在这层调用具体的read/write函数把包通过网卡发出去)网络层:用来路由的,负责把一个包发到指定的网络机器等;传输层:把收到的包传给具体的进程(根据端口号)等;应用层:把有用的数据进行重新组装,定义要传输的端口等等;2 .TCP/IP协议栈在linux下的层次LINUX下tcp/ip协议栈是以4.4 BSD为模板,估计目前大多数操作系统都是以此为模板的,支持BSD Socket 编程,即常用的网络编程模型;在服务器端:1.调用socket()创建一个socket;2.bind()3.listen()4.accept();5.read/write()在客户端1socket();2connect();3read/write();2.2跟实现tcp/ip有关的linux基础知识:在linux下,所有的设备都当作文件节点来管理,网络设备也不例外,即对一个进程中的socket 进行读写就相当于对进程中的已打开的文件读写,具体的不同体现在读写函数的不同;可以大致看看进程,文件系统及socket之间的关系;进程数据结构://只关心跟文件有关的那部分struct task_struct {…..//省略大部分内容/* filesystem information *///跟进程有关的文件;struct fs_struct *fs;/* open file information */struct files_struct *files;};省略了很多很多结构,跟文件有关就fs_struct *fs 跟files_struct *files两个结构;前者是关于文件信息的,后者关于已打开文件的信息;主要关注一下fisle_struct 结构如下定义:struct files_struct {atomic_t count;rwlock_t file_lock; /* Protects all the below members. Nests inside tsk->alloc_lock */int max_fds;int max_fdset;int next_fd;struct file ** fd; /* current fd array */fd_set *close_on_exec;fd_set *open_fds;fd_set close_on_exec_init;fd_set open_fds_init;struct file * fd_array[NR_OPEN_DEFAUL T];};fd_array[]数组为改进程打开的文件列表.file 对应的为每个具体的文件,file中有个inode结构体,对应着具体的文件系统类型(如常见的文件系统类型:ext2,ntfs,msdos,qnx4,socket_t),这个创建的socket对应的文件系统类型就属于socket_t类型;各结构之间的应用关系如下图示”进程结构文件该文件读写函数上面仅是稍微介绍一下tcp/ip实现有关的文件系统.大体上可以这么理解的:一个进程创建了一个socket进行网络传输,相当于打开了一个文件,文件类型是socket_t,在编程人员看来相当于是打开了一个普通文件,而后对该socket进行读写时就相当于对普通文件读写一样可以调用read/write了.至于socket的read/write(不同的文件系统实现都不一样,如fat32 跟ext2,ntfs之间都不一样)函数怎样实现属于操作系统的事情;这正是要重点讨论得; 在file结构里有个struct file_oprations;用于指向文件的操作函数指针集合,典型定义如下:不同文件系统对应到的具体函数不一样.如对socket操作时相应的函数集合为(应用层时): static struct file_operation socket_file_ops={llseek:sock_lseek;// 函数read:sock_read,write:sock_write;open:sock_no_open;//没有这个函数,网卡为特殊设备,通过系统调用socket() 来打开. Realse:sock_release;……….}以上介绍的是跟实现tcp/ip有关的一些linux基础知识,继续回到层次关系;Linux网络系统基本可分为硬件层/数据链路层,Ip(tcp,ip,arp等)层,INET Socket层,BSD Socket层和应用层五部分;其中linux内核中包含了前四部分,应用层和BSD SOCKET层之间的应用程序接口以4.4 BSD为模板.Inet socket 层在ip 协议层上一层,对ip 分组排序,控制网络效率等; Ip 层即tcp/ip 协议栈的互联网层实现部分,整个协议栈的核心部分; 硬件层跟数据链路层对应着网卡及其驱动程序;2.3 各层之间的关系;讨论的核心是图中的内核层及硬件设备层,主要关注在这些不同的逻辑层次上是通过什么样办法把数据包一层一层往下传递或上传的以及各层之间的接口;先简单介绍一个各层的关系: 应用层中操作的对象是socket 的文件描述符,通过文件系统定义的通用接口,使用系统调应用程序()硬件设备用从用户空间切换到内核空间,控制socket文件描述府对应的就是对BSD SOCKET的操作,从而进入到bsd socket层的操作,在BSD socket层中,操作的socket{}结构,每一个这样的结构对应的是一个网络连接,通过网络地址族的不同来区分不同的操作方法,判断是否该进入到INET socket层,这一层数据存放在msghdr{}结构中,在INET socket层,分成udp跟tcp两种连接.这一层操作的对象是sock{}类型的数据.数据存放在sk_buff{}结构中.从INET Socket层到IP层,主要是路由过程,发送时确定发送的下一个机器地址,接受时判断是转发该包还是传给INET socket层,ip层是整个网络协议的核心,基本上整个网络安全都是在这里实现的(在这一层,基于2.4版的内核,提供了五个钩子函数可用于防火墙的实现,基于linux的防火墙软件设计都是在这一层下的五个钩子函数里添加自己的防火墙策略(详细可参考:国防科大出版社编的<<基于linux的防火墙设计与实现>>).从ip层到硬件层,即调用网卡驱动程序.现面介绍以下核心的数据结构3基本数据结构整个网络实现中,数据包(在有效数据前加上包头及一些控制信息)是最重要的部分,影响网络速率和效率的关键就在于在内存中对数据包的管理.在内核中,分不同的层次,使用两种数据结构来保存数据.在BSD Socket层内用msghdr{}结构保存数据,在INET Socket层以下用sk_buff{}保存数据.前者是为了跟BSD 4.4兼容而定义的.sk_buff{}是INET Socket及以下层次中存放数据的结构,在不同层次进行数据包传递,就是通过它进行的(有效数据是通过指针指向的,在不同层次间传递包仅需添加改层次上的相应信息到skb_buff{}里)3.1 msghdr结构struct msghdr {//在bsd socket层使用此数据结构void * msg_name; /* Socket name */int msg_namelen; /* Length of name */struct iovec * msg_iov; /* Data blocks *///从应用层传下来的数据,通过指针指向,不是把数据拷贝过来,__kernel_size_t msg_iovlen; /* Number of blocks *///从应用层传下的数据包个数void * msg_control; /* Per protocol magic (eg BSD file descriptor passing) */__kernel_size_t msg_controllen; /* Length of cmsg list */unsigned msg_flags;};3.2.sk_buff_head{}结构此数据结构很重要,在整个tcp/ip实现中,都要用到它,删除了一些不重要的元素struct sk_buff {/* These two members must be first. */struct sk_buff * next; /* Next buffer in list */struct sk_buff * prev; /* Previous buffer in list */struct sk_buff_head * list; /* List we are on */struct sock *sk; /* Socket we are owned by 跟一个读写此包的sock 关联*/struct timeval stamp; /* Time we arrived */struct net_device *dev; /* Device we arrived on/are leaving by 该包即将要通过网卡设备或已通过的网卡设备*//* Transport layer header */union{struct tcphdr *th;struct udphdr *uh;struct icmphdr *icmph;struct igmphdr *igmph;struct iphdr *ipiph;struct spxhdr *spxh;unsigned char *raw;} h;//tcp/udp层的协议头,在INET Socket层时会填充;/* Network layer header */union{struct iphdr *iph;struct ipv6hdr *ipv6h;struct arphdr *arph;struct ipxhdr *ipxh;unsigned char *raw;} nh//ip层协议头,在ip层时填充;/* Link layer header */union{struct ethhdr *ethernet;unsigned char *raw;} mac//链路层协议头,在链路层填充;struct dst_entry *dst;//路由信息表,下一个要到达机器地址,此结构里有个output函数,在发包时调用此output把包传给硬件层.整个网络路由表初始化过程不讨论了,/** This is the control buffer. It is free to use for every* layer. Please put your private variables there. If you* want to keep them across layers you have to do a skb_clone()* first. This is owned by whoever has the skb queued A TM.*/char cb[48]; //存放控制命令与控制数据,每层都可自由使用.unsigned int len; /* Length of actual data 实际数据长度,即tial-data */unsigned int data_len;unsigned int csum; /* Checksum */unsigned char __unused, /* Dead field, may be reused */ cloned, /* head may be cloned (check refcnt to be sure). */pkt_type, /* Packet class */ip_summed; /* Driver fed us an IP checksum */ __u32 priority; /* Packet queueing priority */atomic_tusers; /* User count - see datagram.c,tcp.c */unsigned short protocol; /* Packet protocol from driver. 以太网协议*/ //常见的有x.25,arp,以太网ipunsigned short security; /* Security level of packet 包优先级*/ unsigned int truesize; /* Buffer size 缓冲区长度,不是)*/unsigned char *head; /* Head of buffer */unsigned char *data; /* Data head pointer */unsigned char *tail; /* Tail pointer */unsigned char *end; /* End pointer *///指向实际有效数据(从应用层传下来的数据)的指针void (*destructor)(struct sk_buff *); /* Destruct function */#ifdef CONFIG_NETFIL TER/* Can be used for communication between hooks. */unsigned long nfmark;/* Cache info */__u32 nfcache;/* Associated connection, if any */struct nf_ct_info *nfct;#ifdef CONFIG_NETFIL TER_DEBUGunsigned int nf_debug;#endif#endif /*CONFIG_NETFILTER*/#if defined(CONFIG_HIPPI)union{__u32 ifield;} private;#endif#ifdef CONFIG_NET_SCHED__u32 tc_index; /* traffic control index */#endif};从这个结构可以看出,skb_buff{}主要工作在INET Socket层,ip层和硬件层.内核中有很多对此结构操作的函数,由于时间问题,不作进一步讨论.3 .3socket{}类型;struct socket{socket_state state;//连接状态,如SS_CONNECTTED和SS_UNCONNECTED两种,unsigned long flags;struct proto_ops *ops;//指向不同地址族的操作函数集合,对INET 地址族值为inet_proto_ops.为一系列函数指针集合.如下示/*static struct file_operation socket_file_ops={//在应用层时,即文件系统socket_I对应的方法llseek:sock_lseek;// 函数read:sock_read,write:sock_write;open:sock_no_open;//没有这个函数,网卡为特殊设备,通过系统调用socket() 来打开. Realse:sock_release;……以后在此socket上read/write系统调用都会转到sock_read/sock_write函数上;}*/在BSD SOCKET层时,以连接方式SOCK_STREAM为例此时ops初始化为inet_dgram_ops,此结构下的具体函数指针集合如下:/*PF_INET;Inet_release(),inet_bind,inet_stram_connect(),sock_no_sockpair(),inet_accept(),inet_getname(), Tcp_poll(),inet_ioctl(),inet_listen(),inet_shutdown(),inet_setsockopt,inet_sendmsg(),inet_recvmsg ();*///linux支持的地址族类型:UNIX:用于本机进程间通讯的,类似与共享内存及消息队列INET:INET套接字,建立在TCP/IP实现上的.是这次要讨论的AX.25:/以下几种属于别的网络通讯协议Nowell IPX:AppkeTalk:DDP:struct inode *inode;//文件节点,inode.socket_I成员指向对应的socket{}结构指针struct fasync_struct *fasync_list; /* Asynchronous wake up list */struct file *file; /* File back pointer for gc *///struct sock *sk;//很重要的一个数据结构,在INET Socket层中用到,二者互相指向.wait_queue_head_t wait;short type;unsigned char passcred;};代表BSD Socket层中的socket控制结构.注意在应用层socket()是个函数,用于创建一个socket结构.3.4.INET Socket: sock{}在INET Socket数据结构中,管理数据包存放和调度的数据结构示sock,在INET Socket层以下都使用sock{}定义如下://删除了一些次要的元素struct sock {/* Socket demultiplex comparisons on incoming packets. */__u32 daddr; /* Foreign IPv4 addr */__u32 rcv_saddr; /* Bound local IPv4 addr */__u16 dport; /* Destination port */unsigned short num; /* Local port */int bound_dev_if; /* Bound device index if != 0 *//* Main hash linkage for various protocol lookup tables. */struct sock *next;struct sock **pprev;struct sock *bind_next;struct sock **bind_pprev;volatile unsigned char state, /* Connection state */zapped; /* In ax25 & ipx means not linked */__u16 sport; /* Source port */unsigned short family; /* Address family */unsigned char reuse; /* SO_REUSEADDR setting */ unsigned char shutdown;atomic_t refcnt; /* Reference count */socket_lock_t lock; /* Synchronizer... */int rcvbuf; /* Size of receive buffer in bytes最大接受缓冲区大小*/ wait_queue_head_t *sleep; /* Sock wait queue */struct dst_entry *dst_cache; /* Destination cache */rwlock_t dst_lock;atomic_t rmem_alloc; /* Receive queue bytes committed 已用的收缓冲区*/ struct sk_buff_head receive_queue;/* Incoming packets收到的包放在此队里*/ atomic_t wmem_alloc;/* Transmit queue bytes committed已用的写缓冲区*/ struct sk_buff_head write_queue; /* Packet sending queue */atomic_t omem_alloc; /* "o" is "option" or "other" */int wmem_queued; /* Persistent queue size */int forward_alloc; /* Space allocated forward. */__u32 saddr; /* Sending source */unsigned int allocation; /* Allocation mode */int sndbuf; /* Size of send buffer in bytes最大发送缓冲区大小*/ */struct sock *prev;/* Not all are volatile, but some are, so we might as well say they all are.* XXX Make this a flag word -DaveM*/volatile char dead,done,urginline,keepopen,linger,destroy,no_check,broadcast,bsdism;unsigned char debug;unsigned char rcvtstamp;unsigned char use_write_queue;unsigned char userlocks;/* Hole of 3 bytes. Try to pack. */int route_caps;int proc;unsigned long lingertime;int hashent;struct sock *pair;/* The backlog queue is special, it is always used with* the per-socket spinlock held and requires low latency* access. Therefore we special case it's implementation.*/struct {struct sk_buff *head;struct sk_buff *tail;} backlog;//在此sock在读写时,如有数据到达,新的数据包保存在此结构中,读包时如果receive_queue;没有数据,在看此结构中有无.rwlock_t callback_lock;/* Error queue, rarely used. */struct sk_buff_head error_queue;struct proto *prot;#if defined(CONFIG_IPV6) || defined (CONFIG_IPV6_MODULE)union {struct ipv6_pinfo af_inet6;} net_pinfo;#endifunion {struct tcp_opt af_tcp;#if defined(CONFIG_INET) || defined (CONFIG_INET_MODULE)struct raw_opt tp_raw4;#endif#if defined(CONFIG_IPV6) || defined (CONFIG_IPV6_MODULE)struct raw6_opt tp_raw;#endif /* CONFIG_IPV6 */#if defined(CONFIG_SPX) || defined (CONFIG_SPX_MODULE)struct spx_opt af_spx;#endif /* CONFIG_SPX */} tp_pinfo;int err, err_soft; /* Soft holds errors that don'tcause failure but are the causeof a persistent failure not just'timed out' */unsigned short ack_backlog;unsigned short max_ack_backlog;__u32 priority;unsigned short type;unsigned char localroute; /* Route locally only */unsigned char protocol;struct ucred peercred;int rcvlowat;long rcvtimeo;long sndtimeo;#ifdef CONFIG_FIL TER/* Socket Filtering Instructions */struct sk_filter *filter;#endif /* CONFIG_FILTER *//* This is where all the private (optional) areas that don't* overlap will eventually live.*/union {除了tcp/ip/udp之外的一些协议的私有数据,} protinfo;/* This part is used for the timeout functions. */struct timer_list timer; /* This is the sock cleanup timer. */ struct timeval stamp;//时间信息./* Identd and reporting IO signals */struct socket *socket;/* RPC and TUX layer private data */void *user_data;/* Callbacks */void (*state_change)(struct sock *sk);void (*data_ready)(struct sock *sk,int bytes);void (*write_space)(struct sock *sk);void (*error_report)(struct sock *sk);int (*backlog_rcv) (struct sock *sk,struct sk_buff *skb);void (*create_child)(struct sock *sk, struct sock *newsk);void (*destruct)(struct sock *sk);};3.5以上个结构的跳转及函数指针集合.BSD Socket:proto_ops{}INET Socket:proto{},通过BSD Socket的proto_ops结构将操作对象从socket{}切换到sock{};INET Socket的proto{}函数指针集合成员如下(以tcp为例,udp也类似){TCP,tcp_close,tcp_v4_connect,tcp_disconnect,tcp_accept,tcp_ioctl,tcp_v4_init_sock Tcp_sendmsg,tcp_recvmsg,tcp_v4_do_rcv,….//相当于对tcp协议的实现就是对这些函数的实现,}考虑到这四个结构的重要性及相互引用的复杂性,归纳一下这四个结构之间的关系及应用的层次:msghdr{}及socket{}结构在bsd socket层用到,往下转到inet socket及以下层时就改用sock{}跟skb_buff{}结构.在socket中有一个指向sock及inode的指针,但是没有指向msghdr的指针,msghdr中没有任何指向剩下三个的指针.在bsd socket 层会把buf数据的指针付给msghd->iov;注意仅仅是指针赋值,不涉及数据拷贝.让iov与buf指向同一数据区.3.6 struct net_device{//省略大部分内容void *priv;初始化时指向pci-dev[];用于读取一些端口资源。
