Shell多线程操作及线程数控制实例

所属分类: 脚本专栏 / linux shell 阅读数: 1922
收藏 0 赞 0 分享

前言

在业务开发过程中,经常会在后台写一些shell脚本处理数据,但估计很多人不知道shell脚本也可以支持多线程,而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

需求

为了更好的说明问题,我们结合例子讲解,假设需求就是扫描url.txt文件,然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL,如:

复制代码 代码如下:

http://www.baidu.com

http://www.google.com


https://www.jb51.net

单进程实现

那么shell脚本scanUrl.sh可以这样写:

复制代码 代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
}
done < $1
echo "执行结束"


那么可以执行下面的命令扫描:
复制代码 代码如下:

/bin/sh scanUrl.sh url.txt

但这样脚本执行非常慢,一万个URL几个小时都扫描不完。

多进程实现


改成多进程实现非常简单,只需要在do后面的大括号加 & 符号,在done后面加一个wait,表示父进程等待子进程退出后再退出

复制代码 代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    }
}&
done < $1
wait
echo "执行结束"


这样就能多进程并发执行了,但有个问题是进程会一下子非常多,几百上千,超过系统限制报错,下面我们就加上进程数控制。

多进程实现并控制进程数

复制代码 代码如下:

#!/bin/bash
#允许的进程数
THREAD_NUM=200
#定义描述符为9的管道
mkfifo tmp
exec 9<>tmp
#预先写入指定数量的换行符,一个换行符代表一个进程
for ((i=0;i<$THREAD_NUM;i++))
do
    echo -ne "\n" 1>&9
done

if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

while read line
do
{
    #进程控制
    read -u 9
    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        echo -ne "\n" 1>&9
    }&
}
done < $1
wait
echo "执行结束"
rm tmp


上面的代码就可以保证子进程在指定数量了,其进程控制原理是通过管道实现的,当管道无内容可读时就不会执行
复制代码 代码如下:

{
    #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    #写入一个换行符
    echo -ne "\n" 1>&9
}&

而且每个进程执行完成后都会向管道写入一个换行符,从而保证进程数是指定的。

这样就能达到我们的目的了。

更多精彩内容其他人还在看

Apache使用 .htaccess 来实现强制https访问的方法

下面小编就为大家带来一篇Apache使用 .htaccess 来实现强制https访问的方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

Linux shell 之 提取文件名和目录名的一些方法总结

本篇文章主要介绍了Linux shell 之 提取文件名和目录名的一些方法总结,具有一定的参考价值,有兴趣的可以了解一下。
收藏 0 赞 0 分享

详解shell 遍历文件夹内所有文件并打印绝对路径

本篇文章主要介绍了shell 遍历文件夹内所有文件并打印绝对路径,具有一定的参考价值,有兴趣的可以了解一下。
收藏 0 赞 0 分享

在linux的终端退出python命令行的方法

下面小编就为大家带来一篇在linux的终端退出python命令行的方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

Log4j 日志文件Linux/Mac/Windows通用存放位置设置方法

下面小编就为大家带来一篇Log4j 日志文件Linux/Mac/Windows通用存放位置设置方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

Linux shell命令帮助格式详解

最近看了一个教程,关于Linux命令的,本来以为当是复习随便看看的,结果看了不禁汗颜,这个真挺有学问的,很多东西都是我还不知道的,故此做总结。下面这篇文章主要介绍了Linux shell命令帮助格式的相关资料,需要的朋友可以参考借鉴。
收藏 0 赞 0 分享

linux shell发送Email邮件的方法详解

这篇文章主要介绍了linux shell发送Email邮件的方法,文中介绍的内容包括发送一封简单的邮件、邮件的格式、邮件标题使用中文以及邮件内容使用html等相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。
收藏 0 赞 0 分享

详解Linux命令中的正则表达式

正则表达式是一套由多个元字符组成的模糊查找模式,使用正则表达式可以快速查找和定位文本中指定的内容。接下来通过本文给大家介绍Linux命令中的正则表达式,需要的朋友参考下吧
收藏 0 赞 0 分享

linux下安装配置Memcache和PHP环境的实现

下面小编就为大家带来一篇linux下安装配置Memcache和PHP环境的实现。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

php在linux中可能用到的命令(推荐)

下面小编就为大家带来一篇php在linux中可能用到的命令(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享
查看更多