从零开始自制实现WebServer（一）---- 万丈高楼平地起步子得一步一步慢慢走

文章目录

全流程实现博客链接
前引
(一) 万丈高楼平地起步子得一步一步慢慢走
- 1、simple echo server 0.01
- - 1、熟悉基本工具
  - 2、simple echo server 0.01 came out
  - 3、simple server 0.0.1 test
- 2、simple echo server 0.05
- - 1、simple echo server 0.05 came out
  - 2、simple server 0.0.5 test
结束语

全流程实现博客链接

从零开始自制实现C++ High-Performance WebServer 全流程记录（基于muduo网络库）

前引

鉴于笔者走的路线是 Linux后端开发而且现在处于正在起步的阶段
而且发现网上对于 linux后端开发的项目真的如何从零开始起步的文章太少了所以笔者打算就从这篇开始写一个后端刚起步的小白慢慢一步步成长学习的路吧

当然这肯定是会写一个系列的最后的完结目标是实现一个底层实现思路类似于陈硕大佬的muduo网络库基于基层网络库的框架之上再实现出一个高性能静态http并发的服务器这个也会是作为之后实习的项目而做的

毕竟后端开发一个高性能的WebServer 感觉应该是必须要去选择做的项目这里的话就先推荐两本书籍吧也是我由这两本书为基础 + muduo网络库源码作为之后实现webserver的参考

《Linux高性能服务器编程》- 游双
《Linux多线程服务器编程》（基于muduo C++网络库）- 陈硕

第一本基本上是读完了第二本目前在笔者写的时候读到了第八章 muduo网络库设计与实现
很明显第一本书就更偏向于linux服务器最基础的介绍作为入门书籍我觉得最合适不过了如果一刚开始就来啃这本《linux多线程服务器编程》的话肯定会是相当痛苦的

正如笔者现在的状态一样阅读这本书的时候揣着太多太多的疑惑与不解如同在冰面上行走一样稍有不慎便会一下子摔在地上因为感觉看的时候确实太多疑惑与不解了

所以正是因为这样笔者才会来写下这篇博客并由此作为起点来记录到最后由一个网络库实现出一个高性能静态web服务器

(一) 万丈高楼平地起步子得一步一步慢慢走

何以取这个标题
哈哈因为笔者打算先暂时停止看第二本《Linux高性能服务器编程》而是先去把第一本书中最后的具有比较高的耦合性线程池 + one loop per thread给实现出来再继续去看那本书了

个人以为作为初学者直接上手这本书只会是心中徒有疑惑原本我的计划是第一本书的源码放着直接来看第二本书网络库不需要有前置的铺垫直接来就好了结果发现确实不行

所以这一篇标题取名为万丈高楼平地起啊先把一个有着雏形的webserver给写出来捣鼓捣鼓出来了整明白了我们再说之后建立网络库套模板去改良吧

顺带呢再把第一本书里面的 HTTP 状态转移机给弄懂整出来吧因为后面反正也用得到说到状态转移我就想到了之前我做正则引擎的时候最后用跳转表前面的NFA DFA的状态转移哈哈所以这里看到这个词心里面就觉得倍感亲切啊哈哈

废话也不多说了我先去把源代码一行行给看懂了然后凭借着自己的印象多少给捣鼓捣鼓出来再说吧

1、simple echo server 0.01

为什么笔者打算先从一个最简单的能够响应的echo 服务器开始下手呢说来惭愧看了看Aupe和Unp 自己一行代码也没敲过包括看完第一本推荐的书的时候也是一行代码也没敲过

尽管很多框架零零碎碎的晓得了吧但是没有自己上手过的东西总是虚的那不妨先从一个有基本功能的echo server开始写起然后支持并发啊各种细节开始扣然后最后再向http server开始写毕竟http server呢也只不过就是多了一个协议报头需要处理还要一些其他的细节就要处理高复用性的框架写出来了那把服务器往里面套就完了

1、熟悉基本工具

所有的项目东西都是一步一步积累起来的本来想先写一下进程/线程池的算了先把一个最基本没有协议能够支持单行发送消息最简单的发送消息的服务器写出来吧

其实刚开始尝试开头我便感觉很多东西已经开始了写一段这样简单的simple的代码建议的话呢别先去copy 每一行代码每一个命令都先自己根据书里面讲的函数去写到后面g++ 编译的时候就可以发现自己哪里写错了哪里有问题需要改

也是从这里开始我也打算正式的以后把vim作为我在Linux上面敲代码正式的编辑器而不是那种文本编辑器了在我写完一个simple server时我才真的明白就强迫自己去用这些快捷键用多了之后发现真的很方便很便捷用完vim后呢对于客户端也可以用用nc这样的瑞士军刀来充当客户端用用这些实用的工具不管之前很多东西用的多顺去尝试用这些实用熟悉了能够大幅度提高生产力的小工具还是相当不错的之后的话如果服务器出错了也可以尝试用tcpdump去抓抓包反正这里写的意义呢就是仅仅在于希望各位笔者能够自己先开始用这些好用的tools了

2、simple echo server 0.01 came out

这里就不多介绍了也就从这里正式开始一步步拓宽一步步开始进阶的改善这个echo server了最后再测试一下效果

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <unistd.h>
#include <netinet/in.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>int main(int argc,char* argv[])
{if (argc <= 2){printf( "Usage: %s ip_address portname\n", argv[0] );return 0;}const char* ip = argv[1];int port = atoi( argv[2] );int listenfd = socket( PF_INET, SOCK_STREAM, 0 );assert( listenfd >= 1 );struct sockaddr_in address;memset( &address, 0, sizeof( address ) );address.sin_family = AF_INET;address.sin_port = htons( port );inet_pton( AF_INET, ip, &address.sin_addr );int ret = 0;ret = bind( listenfd, (struct sockaddr*)( &address ), sizeof( address ) );assert( ret != -1 );ret = listen( listenfd, 5 );assert( ret != -1 );struct sockaddr_in client;socklen_t client_addrlength = sizeof( client );int sockfd = accept( listenfd, (struct sockaddr*)( &address ), &client_addrlength );char buf_size[1024] = {0};int recv_size = 0;recv_size = recv( sockfd, buf_size, sizeof( buf_size ) , 0);int send_size = 0;send_size = send( sockfd, buf_size , recv_size , 0 );close( sockfd );close( listenfd );return 0;
}

3、simple server 0.0.1 test

用一下实用的nc

服务器端先打开服务器端然后输入ip地址选择回流的本地地址然后端口选择2022

客户端由于懒得写就用nc命令来充当客户端了用了才发现确实好用哈哈有尝试才有收获光说不做假把式

结果发现输入完第一条消息确实回弹了第一条消息但是客户端没有关闭服务器由于笔者写的只返回第一条消息直接关闭服务器所以后面

2、simple echo server 0.05

莫想要一步登天一口气吃成个胖子
一步步熟悉好每个函数每个作用一步布把脚步放踏实点自己走上去才觉得心安嘛嘿嘿
这里的话就要引入出单线程echo server 服务器了只不过现在可以并发啦能够处理并发但不是多线程的话是因为我们用了I/O复用 Epoll函数
这种最基本的模型的话在第二本书里面介绍过应该是单线程Reactor了
epoll触发呢采用的边沿ET触发而不是LT触发这一版本较上面一版本的话肯定还是需要去再扣一下echo server的细节

话也不多说走起吧

1、simple echo server 0.05 came out

写了一会代码也都自己分析了一遍自己开了几个端口
其实也就是用了一下 epoll原本我以为很快就写完了结果还是花了一点时间把写错的代码改回来 - - 下面直接放代码了

其实仔细想一下就会很简单的发现下面代码有可能是有问题的
是因为有可能echo返回的字符串不完整不是一整行
所以应该是需要前面加个每一行的字节数才能确定是否send了一个完整的行既没有多也没有少

这部分就留到之后再完成吧

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <unistd.h>
#include <netinet/in.h>
#include <fcntl.h>
#include <errno.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>#define MAX_EVENTS_NUMBER 5int set_non_blocking( int fd )
{int old_state = fcntl( fd, F_GETFL );int new_state = old_state | O_NONBLOCK;fcntl( fd, F_SETFL, new_state );return old_state;
}void addfd( int epollfd , int fd )
{epoll_event event;event.events = EPOLLIN | EPOLLET;event.data.fd = fd;epoll_ctl( epollfd, EPOLL_CTL_ADD, fd, &event );set_non_blocking( fd );
}int main( int argc , char* argv[] )
{if (argc <= 2){printf( "Usage: %s ip_address portname\n", argv[0] );return 0;}const char* ip = argv[1];int port = atoi( argv[2] );int listenfd = socket( PF_INET, SOCK_STREAM, 0 );assert( listenfd >= 1 );struct sockaddr_in address;memset( &address, 0, sizeof( address ) );address.sin_family = AF_INET;address.sin_port = htons( port );inet_pton( AF_INET, ip, &address.sin_addr );int ret = 0;ret = bind( listenfd, (struct sockaddr*)( &address ), sizeof( address ) );assert( ret != -1 );ret = listen( listenfd, 5 );assert( ret != -1 );epoll_event events[ MAX_EVENTS_NUMBER ];int epollfd = epoll_create( 5 );assert( epollfd != -1);addfd( epollfd, listenfd );while(1){int number = epoll_wait( epollfd, events, MAX_EVENTS_NUMBER, -1 );if( number < 0 ){printf( "epoll_wait failed\n" );return -1;}for( int i = 0; i < number; ++i ){const auto& event = events[i];const auto eventfd = event.data.fd;if( eventfd == listenfd ){struct sockaddr_in client;socklen_t client_addrlength = sizeof( client );int sockfd = accept( listenfd, ( struct sockaddr* )( &address ),&client_addrlength );                    addfd( epollfd, sockfd );            }else if( event.events & EPOLLIN ){char buf[1024] = {0};while(1){memset( buf, '\0', sizeof( buf ) );int recv_size  = recv( eventfd, buf, sizeof( buf ), 0 );if( recv_size < 0 ){if( ( errno == EAGAIN ) || ( errno == EWOULDBLOCK ) ){break;}printf(" sockfd %d,recv msg failed\n", eventfd );close( eventfd );break;}else if( recv_size == 0){close( eventfd );break;  }else{send( eventfd, buf, recv_size, 0 );}  }}} }close( listenfd );return 0;
}

2、simple server 0.0.5 test

这里就简单的放一张图吧
下面就是两个client 一起发送消息的截图我设置的是10秒后自动断连
所以在10秒后回到了shell

这里算是简单的测试了一下想要继续测试的大家可以自己去尝试啦~

结束语

这部分算是最基础最基础的一些api的使用了
当然这也是我第一次在c++/c环境下用这些api 也是第一次用epoll
感觉使用起来还是非常的简单的哈哈

第一次感觉到了那句话入门简单精通难
确实是这样的但第一篇作为入门的目的已经做到了
第一篇中我们还是最后尝试去用了单线程Reactor的I/O复用

在这里呢我打算第二篇就开始前往线程池和陈硕介绍的
one loop per thread 方向走了其实这个one loop per thread呢就是在第一本书中介绍的那个高效的半同步/半异步I/O模型

下面还是贴一下图吧
遗憾的是什么呢用了one loop per thread 模型的代码是用的进程池
用了线程池的代码呢是用的全局队列的方式也就是每个线程在一个全局队列中争抢业务

但是作为第一篇个人感觉还是开了一个不错的好头的至少让人感觉到初初摸到了门路哈哈那这一篇就先写到这里我们下一篇见了