centos 并发请求数_Linux Shell多进程并发以及并发数控制
本文小编为大家详细的讲解shell多进程并发,在大部分用户眼中,所谓的多进程 只不过是将多个任务放到后台执行而已,一起来看看吧具体的内容吧。
1. 基础知识准备
1.1. linux后台进程
Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。
比如:
sh a.sh &
sh b.sh &
sh c.sh &
这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。
1.2. linux文件描述符
文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:
文件描述符
名称
0
Standard Input
1
Standard Output
2
Standard Error
每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。
在/proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如
#!/bin/bash
source /etc/profile;
# $表示当前进程的PID
PID=$
# 查看当前进程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo
# 文件描述符1与文件tempfd1进行绑定
( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1
# 查看当前进程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo;
[ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 1 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------
[ouyangyewei@localhost learn_linux]$ cat tempfd1
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------
上述的例子中第12行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。
1.3. linux管道
在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,
linux管道包含两种:
匿名管道命名管道
管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。
1.3.1. 匿名管道
在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。
例如:
cat file | less
为了执行上面的指令,Shell创建了两个进程来分别执行cat和less。下图展示了这两个进程是如何使用管道的:
有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。
1.3.2. 命名管道(FIFO,First In First Out)
命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:
在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;任何进程都可以通过FIFO共享数据;除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;匿名管道是单向的字节流,而FIFO则是双向的字节流;
比如,可以利用FIFO实现单服务器、多客户端的应用程序:
有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。
2. linux多进程并发数控制
最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
* 如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
* 如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!
既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。
#! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$.fifo # $表示当前执行文件的PID
begin_date=$1 # 开始时间
end_date=$2 # 结束时间
if [ $# -eq 2 ]
then
if [ "$begin_date" \> "$end_date" ]
then
echo "Error! $begin_date is greater than $end_date"
exit 1;
fi
else
echo "Error! Not enough params."
echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
exit 2;
fi
# -----------------------------
trap "exec 1000>&-;exec 1000
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo
for ((i=1; i<=8; i++))
do
echo >&1000
done
while [ $begin_date != $end_date ]
do
read -u1000
{
echo $begin_date
hive -f kpi_report.sql --hivevar date=$begin_date
echo >&1000
} &
begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done
wait
echo "done!!!!!!!!!!"
第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
$1表示脚本入参的第一个参数,等于2015-01-01
$2表示脚本入参的第二个参数,等于2015-12-01
$#表示脚本入参的个数,等于2
第13行用于比较传入的两个日期的大小,\>是转义
第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
exec 1000>&-;表示关闭文件描述符1000的写
exec 1000
trap是捕获中断命令
第27~29行:
第27行,创建一个管道文件
第28行,将文件描述符1000与FIFO进行绑定,写的绑定,<>则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
第37~42行:
第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。
centos 并发请求数_Linux Shell多进程并发以及并发数控制相关推荐
- 解秘 Node.js 单线程实现高并发请求原理,以及串联同步执行并发请求的方案
最近在做一个支持多进程请求的 Node 服务,要支持多并发请求,而且请求要按先后顺序串联同步执行返回结果. 对,这需求就是这么奇琶,业务场景也是那么奇琶. 需求是完成了,为了对 Node.js 高并发 ...
- 多CPU 多核CPU | 多进程 多线程 | 并行 并发
文章目录 区分 多CPU && 多核CPU CPU缓存 并行 && 并发 多CPU && 多核CPU | 多进程 && 多线程 | 并行 ...
- 微信团队分享:微信后台在海量并发请求下是如何做到不崩溃的
本文引用了文章"月活 12.8 亿的微信是如何防止崩溃的?"和论文"Overload Control for Scaling WeChat Microservices&q ...
- 探知 浏览器并发请求个数
起因:在工作中经常会发现浏览器请求过多,会很慢很卡,但我并不知道并发请求个数, 于是就写个例子,探知浏览器并发请求的个数. 思路:1.新建网站. 2.添加两个按钮,分别添加点击事件,请求不同接口. 3 ...
- Linux Shell多进程并发以及并发数控制
1. 基础知识准备 查看全文 http://www.taodudu.cc/news/show-7063078.html 相关文章: [Linux]shell脚本实现多并发 Snow Whisperin ...
- shell mysql并发_shell脚本中的多进程并发处理
在前面的篇章里面,我们已经介绍了常见的各种shell命令操作.然而,在实际工作中,我们经常会遇到多种任务需要在一定时间内都解决掉.如果这些任务是相互独立的,即不存在先后执行关系,那么我们完全可以让它们 ...
- 浏览器允许的并发请求资源数是有限制的-分析
2019独角兽企业重金招聘Python工程师标准>>> 开始之前,我们先看下各个浏览器公布的资源并发数限制个数,如下图 浏览器的并发请求数目限制是针对同一域名的. 意即,同一时间针对 ...
- 查看 并发请求数及其TCP连接状态
服务器上的一些统计数据: 1)统计80端口连接数 netstat -nat|grep -i "80"|wc -l 2)统计httpd协议连接数 ps -ef|grep httpd| ...
- 查看Apache的并发请求数及其TCP连接状态
查看Apache的并发请求数及其TCP连接状态: Linux命令: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a] ...
最新文章
- JAVA求是否为闰年,for-while循环,输出你好
- vue.js反编译_基于electron-vue开发的微信小程序反编译客户端
- 简单的动画函数封装(2)
- html之属性的应用
- ArcGIS 9.3安装流程(包括Desktop和Server)
- Fusion 360软件安装
- 用JS实现视频播放器
- 大数据入门书籍推荐以及Hive学习资料
- python爬虫--获取百度热榜
- 博客怎么推广才能达到最佳优化效果
- 【odoo15】odoo中的fa-xxx小图标
- 阿里企业邮箱的POP地址
- stl排序之sort函数
- 防火墙设计和部署解析
- 实例分割研究综述总结
- 全国计算机软件测试工程师,全国计算机等级考试软件测试工程师.doc
- rust前哨站_Rust
- 《菅销在移动互联网时代》智慧树知到章节测试答案
- Android病毒样本分析(1)
- 今日话题:朝鲜做了个山寨Facebook 立马就被黑
热门文章
- JavaScript观察者模式
- 3.2.4 迁移学习和多任务学习
- 计算机英语作文句子,英语作文经典句子
- hmaster和datanaode启动后很快停止_Oracle RAC自启动
- CF438E The Child and Binary Tree 生成函数、多项式开根
- Java基础:(五)Object通用方法
- PS插件cutterman快速切图
- java面向对象(类与对象,局部变量成员变量,基本类型和引用类型作为参数传递)...
- [剑指offer] 34. 第一个只出现一次的字符
- unity点击按钮换按钮图标