关于URL

URL(Uniform Resource Locator) 地址用于描述一个网络上的资源， 基本格式如下

schema://host[:port#]/path/.../[;url-params][?query-string][#anchor]

• scheme 指定低层使用的协议(例如：http, https, ftp)
• host HTTP服务器的IP地址或者域名
• port# HTTP服务器的默认端口是80，这种情况下端口号可以省略。如果使用了别的端口，必须指明，例如 http://www.cnblogs.com:8080/
• path 访问资源的路径
• url-params
• query-string 发送给http服务器的数据
• anchor- 锚

URL实例

http://www.mywebsite.com/sj/test;id=8079?name=sviergn&x=true#stuffSchema: http
host: www.mywebsite.com
path: /sj/test
URL params: id=8079
Query String: name=sviergn&x=true
Anchor: stuff

http消息的结构

HTTP Request 消息分为3部分

request line实例

GET http://cn.bing.com/sa/8_01_0_000000/HpbHeaderPopup.js HTTP/1.1

http header实例

Host: cn.bing.com
Proxy-Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36
Accept: */*
Referer: http://cn.bing.com/
Accept-Encoding: gzip, deflate, sdch
Accept-Language: zh-CN,zh;q=0.8

body实例

{"id":130970,"cateId":"1002"} 注：GET方法是没有body的

关于METHOD中POST和GET方法的区别

1. GET提交的数据会放在URL之后，以?分割URL和传输数据，参数之间以&相连，如EditPosts.aspx?name=test1&id=123456. POST方法是把提交的数据放在HTTP包的Body中.
2. GET提交的数据大小有限制(因为浏览器对URL的长度有限制),而POST方法提交的数据没有限制.
3. GET方式需要使用Request.QueryString来取得变量的值,而POST方式通过Request.Form来获取变量的值.
4. GET方式提交数据,会带来安全问题,比如一个登录页面,通过GET方式提交数据时，用户名和密码将出现在URL上,如果页面可以被缓存或者其他人可以访问这台机器,就可以从历史记录获得该用户的账号和密码.

HTTP Response消息也分为三部分

Response 消息中的第一行叫做状态行，由HTTP协议版本号， 状态码， 状态消息 三部分组成。状态码用来告诉HTTP客户端，HTTP服务器是否产生了预期的Response.

• HTTP/1.1中定义了5类状态码， 状态码由三位数字组成，第一个数字定义了响应的类别
  • 1XX 提示信息 - 表示请求已被成功接收，继续处理
  • 2XX 成功 - 表示请求已被成功接收，理解，接受
  • 3XX 重定向 - 要完成请求必须进行更进一步的处理
  • 4XX 客户端错误 - 请求有语法错误或请求无法实现
  • 5XX 服务器端错误 - 服务器未能实现合法的请求

关于getopt getopt_long参数处理函数

简述

在程序中一般都会用到命令行选项，我们可以使用getopt和getopt_long函数来解析命令行参数

getopt

getopt主要用于处理短命令行选项，例如 ./test -v 中-v就是一个短命令行选项。
使用该函数需要引入头文件<unistd.h>,以下是getopt函数的定义

#include <unistd.h>
extern char *optarg;  //选项的参数指针，存放选项对应的输入参数
extern int optind;   //下一次调用getopt时，从optind存储的位置处重新开始检查选项。
extern int opterr;  //当opterr=0时，getopt不向stderr输出错误信息。
extern int optopt;  //当命令行选项字符不包括在optstring中或者最后一个选项缺少必要的参数时，该选项存储在optopt中，getopt返回'？’int getopt(int argc, char * const argv[], const char * optstring);

其中argc和argv是main函数中传递参数和内容，optstring用来指定可以处理哪些选项，
字符串optstring可以下列元素

1. 单个字符，表示选项，没有参数，optarg=NULL.
2. 单个字符后接一个冒号：表示该选项后必须跟一个参数。参数紧跟在选项后或者以空格隔开。该参数的指针赋给optarg。

3. 单个字符后跟两个冒号，表示该选项后必须跟一个参数。参数必须紧跟在选项后不能以空格隔开。该参数的指针赋给optarg。（这个特性是GNU的扩张）。
   下面是optstring的一个实例：

   "a:bc::"

该示例表明程序可以接受三个选项：-a -b -c，其中a后面的:表示该选项后面要跟一个参数，例如./test -a text的形式，c后面的::表示该选项后面要跟一个参数且中间不准有空格，例如./test -ctext，选项后面跟的参数会被保存到optarg变量中。下面一段代码是该函数的使用实例

#include <stdio.h>
#include <unistd.h>int main(int argc,char * argv[])
{int ch;while((ch = getopt(argc, argv, "a:bc::")) != -1){switch (ch) {case 'a':printf("option a: %s\n",optarg);break;case 'b':printf("option b: %s\n",optarg);break;case 'c':printf("option c: %s\n",optarg);break;case 'd':printf("unknown option\n");break;default:printf("unknown option\n");break;}}return 0;
}

getopt_long

getopt_long() 是同时支持长选项和短选项的 getopt() 版本。它可以根据输入的option是单横线还是双横线开头来区分是短选项还是长选项。
以下是getopt_long的声明：

#include <getopt.h>
struct option{    //长选项表const char *name; //选项名，前面没有短横线，help,verbose之类int has_arg;      //描述选项是否需要选项参数，no_argument 0 表示选项没有参数，required_argument 1 表示需要参数，optional_argument 2 选项参数可选int *flag;  //如果这个指针为NULL，那么getopt_long()返回该结构val字段中的数值。如果该指针不为NULL，getopt_long()会使得它所指向的变量中填入val字段中的数值，并且getopt_long()返回0int val;
};
// 每个长选项在长选项表中都有一个单独条目，该条目里需要填入正确的数值。数组中最后的元素的值应该全是0。数组不需要排序，getopt_long()会进行线性搜索。
int getopt_long(int argc, char * const argv[], const char *optstring, const struct option *longopts, int *longindex);

在webbench.c中充分体现了对getopt_long的使用

#include <stdio.h>
#include <unistd.h>
#include <getopt.h>
#include <stdlib.h>#define METHOD_GET 0
#define METHOD_POST 1
#define METHOD_OPTIONS 2
#define METHOD_TRACE 3
#define PROGRAM_VERSION "0.1"int port = 80;
int benchtime = 0;
int http10 = 0;
int clients = 0;
int method = 0;
int force = 0;
int force_reload = 0;static const struct option longopts[]=
{{"force",no_argument,&force,1},{"reload",no_argument,&force_reload,1},{"time",required_argument,NULL,'t'},{"help",no_argument,NULL,'?'},{"http09",no_argument,NULL,'9'},{"http10",no_argument,NULL,'1'},{"http11",no_argument,NULL,'2'},{"get",no_argument,&method,METHOD_GET},{"post",no_argument,&method,METHOD_POST},{"options",no_argument,&method,METHOD_OPTIONS},{"trace",no_argument,&method,METHOD_TRACE},{"version",no_argument,NULL,'V'},{"port",required_argument,NULL,'p'},{"clients",required_argument,NULL,'c'},{"NULL",0,NULL,0}
};static void usage()
{fprintf(stderr,"damo [option]... URL\n""  -f|--force              Don't wait for reply from server.\n""  -r|--reload             Send reload request - Pragma: no-cache.\n""  -t|--time <sec>         Run benchmark for <sec> seconds.Default 30.\n""  -p|--port <server:port> Set server port for request.\n""  -c|--clients <n>        Run <n> HTTP clients at once.Default one.\n""  -9|--http09             Use HTTP/0.9 style requests.\n""  -1|--http10             Use HTTP/1.0 protocol.\n""  -2|--http11             Use HTTP/1.1 protocol.\n""  --get                   Use GET request method.\n""  --head                  Use HEAD request method.\n""  --options               Use OPTIONS request method.\n""  --trace                 Use TRACE request method.\n""  -?|-h|--help            This information.\n""  -V|--version            Display program version.\n");
}int main(int argc,char *argv[])
{int options_index = 0;int opt = 0;if(argc == 1){usage();return 2;}while((opt = getopt_long(argc,argv,"912Vfrt:p:c:?h",longopts,&options_index)) != EOF){switch(opt){case  0 :  break;case 'f':  force = 1; printf("I choose f\n");break;case 'r':  force_reload = 1;break;case '9':  http10 = 0;break;case '1':  http10 = 1;break;case '2':  http10 = 2;break;case 'V':printf(PROGRAM_VERSION"\n");exit(0);case 't':benchtime = atoi(optarg);break;case 'h':case '?':usage();return 2;break;case 'c':  clients = atoi(optarg);break;case 'p':  port = atoi(optarg);break;}}
}

关于网络IPC:套接字

此部分基本参考APUE，有兴趣可以看看这本书

网络进程间通信：socket API简介

不同计算机（通过网络相连）上运行的进程相互通信机制称为网络进程间通信（network IPC）。

在本地可以通过进程PID来唯一标识一个进程，但是在网络中这是行不通的。其实TCP/IP协议族已经帮我们解决了这个问题，网络层的“ip地址”可以唯一标识网络中的主机，而传输层的“协议+端口”可以唯一标识主机中的应用程序（进程）。这样利用三元组（ip地址，协议，端口）构成套接字，就可以标识网络的进程了，网络中的进程通信就可以利用这个标志与其它进程进行交互。

几个定义

1. IP地址：即依照TCP/IP协议分配给本地主机的网络地址，两个进程要通讯，任一进程首先要知道通讯对方的位置，即对方的IP。
2. 端口号：用来辨别本地通讯进程，一个本地的进程在通讯时均会占用一个端口号，不同的进程端口号不同，因此在通讯前必须要分配一个没有被访问的端口号。
3. 连接：指两个进程间的通讯链路。
4. 半相关：网络中用一个三元组可以在全局唯一标志一个进程：（协议，本地地址，本地端口号）这样一个三元组，叫做一个半相关,它指定连接的每半部分。
5. 全相关：一个完整的网间进程通信需要由两个进程组成，并且只能使用同一种高层协议。也就是说，不可能通信的一端用TCP协议，而另一端用UDP协议。因此一个完整的网间通信需要一个五元组来标识：（协议，本地地址，本地端口号，远地地址，远地端口号），这样一个五元组，叫做一个相关（association），即两个协议相同的半相关才能组合成一个合适的相关，或完全指定组成一连接。

套接字描述符

套接字是端点的抽象。与应用进程要使用文件描述符访问文件一样，访问套接字也需要用套接字描述符。套接字描述符在UNIX系统中是用文件描述符实现的。

要创建一个套接字，可以调用socket函数。

#include <sys/socket.h>
int socket(int domain, int type, int protocol);

地址格式

#include <netinet/in.h>
struct in_addr {in_addr_t       s_addr; //IPV4 address
};struct sockaddr_in {sa_family_t     sin_family; // address familyin_port_t       sin_port;   // port numberstruct in_addr  sin_addr;   // IPV4 address
};

将套接字和地址绑定

此段内容与源码关系不大，仅作了解即可
与客户端的套接字关联的地址意义不大，可以让系统选择一个默认的地址。然而，对于服务器，需要给一个接收客户端请求的套接字绑定一个众所周知的地址。客户端应有一种方法用以连接服务器的地址，最简单的方法就是为服务器保留一个地址并且在/etc/services或某个名字服务（name service）中注册。

#include <sys/types.h>
#include <sys/socket.h>
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

参数：

• 第一个参数：bind()函数把一个地址族中的特定地址赋给该sockfd（套接字描述字）。例如对应AF_INET、AF_INET6就是把一个ipv4或ipv6地址和端口号组合赋给socket。
• struct sockaddr * 指针，指向要绑定给sockfd的协议地址。这个地址结构根据地址创建socket时的地址协议族的不同而不同，上面给出了AF_INET的地址结构struct sockaddr_in
• 第三个参数：addrlen 对应的是地址的长度
  返回值：
• 成功返回0，出错返回-1
  作用：
• 将套接字与端口号绑定，即把一个ip地址和端口号组合赋给socket

字节序转换

同一台计算机上的进程通信时不需要考虑字节序的问题，因为同一台计算机的内部架构都是一样的，处理器支持的字节序有大端字节序，还有小端字节序。大端字节序表示最大字节地址出现在最低有效字节，小端则相反。

#include <arpa/inet.h>
uint32_t htonl(uint32_t hostint32);    //返回值：以网络字节序表示的32位整数
uint32_t htons(uint16_t hostint16);    //返回值：以网络字节序表示的16位整数
uint32_t ntohl(uint32_t hostint32);    //返回值：以主机字节序表示的32位整数
uint32_t ntohs(uint16_t hostint16);    //返回值：以主机字节序表示的32位整数

连接

如果是面向连接的网络服务，在开始交换数据前，都要在请求服务的进程套接字（客户端）和提供服务的进程套接字（服务器）之间建立一个连接，使用connect函数：

#include <sys/types.h>
#include <sys/socket.h>
int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

参数：

• 第一个参数sockfd为客户端的socket描述字
• 第二参数为服务器的socket地址
• 第三个参数为socket地址的长度。　

返回值：

• 成功返回0，出错返回-1

作用：

• 客户端通过调用connect函数来建立与TCP服务器的连接

注意：在connect中所指定的地址是想与之通信的服务器地址。如果sockfd没有绑定到一个地址，connect会给调用者绑定一个默认地址！

数据传输

既然套接字端点表示文件描述符，那么只要建立连接，就可以使用write和read来通过套接字通信了。

#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count);
ssize_t read(int fd, void *buf, size_t count);

• write()会把指针buf所指的内存写入count个字节到参数fd所指的文件内（文件读写位置也会随之移动），如果顺利write()会返回实际写入的字节数。当有错误发生时则返回-1，错误代码存入errno中！

• read()会把参数fd所指的文件传送nbyte个字节到buf指针所指的内存中，成功返回读取的字节数，出错返回-1并设置errno，如果在调read之前已到达文件末尾，则这次read返回0 。

关闭套接字描述符

close函数用于关闭文件描述符

#include <unistd.h>
int close(int fd);

注意：close操作只是让相应socket描述符的引用计数-1，只有引用计数为0的时候，才会触发TCP客户端向服务器端发送终止连接请求

基于TCP的socket通信的基本流程

1. TCP服务器端依次调用socket(),bind(),listen()之后，就会监听指定的socket地址了
2. TCP客户端依次调用socket(),connect()之后就向TCP服务器端发送一个连接请求
3. TCP服务器监听到这个请求后，就会调用accept()函数去接受请求，这样连接就建立好了
4. 之后就可以开始网络IO操作了，类似普通文件的读写IO操作
   

基于UDP的socket通信的基本流程

UDP协议面对无连接的通信，所以UDP没有建立连接的过程！
创建一个基于udp通信协议的套接字，使用socket函数时第二个参数不能传递SOCK_STREAM,而是传递SOCK_DGRAM
比如创建一个基于IPV4地址族的UDP套接字：socket(AF_INET,SOCK_DGRAM,0);
通常用于基于UDP协议的IO一般使用recvfrom()和sendto()两个函数进行数据收发。

部分参考： http://www.cnblogs.com/Lynn-Zhang/p/5716078.html