shell查找某字符串在某文件中出现行数的方法

所属分类: 脚本专栏 / linux shell 阅读数: 1261
收藏 0 赞 0 分享

一、简介

有的时候,我们需要分析日志来排查错误,但是日志文件特别大,打开肯定是很慢的,也是没法接受的,我们需要的是快速定位错误出现的位置,并定向取出错误信息。

快速定位某个字符串在某文件中出现的行数,可以使用 linux中grep命令

默认情况,grep命令只会输出匹配的字符串所在的行,如下:

 

要想同时输出行号,可以指定参数-n,关于-n参数描述如下:

-n, --line-number  print line number with output lines

 

现在,我们已经确定要查询的错误所在行数,就可以通过 tail和head或是sed命令输出特定的行

1、利用tail和head来输出特定的行

通过tail –help ,我们可以看到tail 默认显示最后10行,通过 -n参数可以指定从第n行数开始显示,或是显示最后n行,如下:

-n, --lines=K output the last K lines, instead of the last 10; or use -n +K to output lines starting with the Kth

也就是说:

tail -n 5 f.txt //显示f.txt最后5行
tail -n +5 f.txt //从第5行开始,显示f.txt

通过head –help ,我们可以看到head默认显示最前10行,通过 -n参数可以指定从倒数第n行开始,显示前面的所有,或是显示最前面的n行

-n, --lines=[-]K  print the first K lines instead of the first 10; with the leading `-', print all but the last

也就是说:

head -n 5 f.txt //显示f.txt最前面5行
tail -n -5 f.txt //从倒数第5行开始,显示前面的所有内容

比如,在上面我们定位到了8786830行,那么,我们就可以利用tail和head,查其附近的内容(即错误前20行,后10行内容),如下:

tail -n +8786810 err.log |head -n 30

2、利用sed来输出特定的行

通过sed来查看指定的行,就比较简单,格式如下:

sed -n "n1,n2p" f.txt //查看f.txt n1行到n2行之间的内容

比如,在上面我们定位到了8786830行,那么,我们就可以利用sed,查其附近的内容(即错误前20行,后10行内容),如下:

sed -n "8786810,8786840p" err.log

补充:shell 字符串出现的行数

1 查询字符串所在的行号

grep -n "xxx"  str.txt   # -n 打印字符 “xxx” 在文件 “str.txt” 所在的行数前缀

示例:

str.txt 

xxx
yyy
zzz
xxx

输入查找命令: grep  -n  "xxx"   str.txt  

结果如下: 

1:xxx
4:xxx

行号1,4在前,匹配字符串“xxx”在后,两者之间用冒号 “:” 隔开

2 查找字符串首次匹配的行号

grep -n "xxx"  str.txt | head -1

结果如下:

1:xxx

同理,查找最后一次匹配的行号

grep -n "xxx"  str.txt | tail -1

结果如下:

4:xxx

查找字符串第二次匹配的行号

grep -n "xxx"  str.txt | head -2 | tail -1      # 先取出前两行,然后取最后一行

结果如下:

4:xxx

3 提取字符串所在的行号

grep -n "xxx"  str.txt | cut -d ":" -f 1

先查询字符串 “xxx” 所在的全部行号,然后利用 cut 命令分割“:”字符,提取第一个字段,即行号

结果如下:

1
4

提取首次匹配的行号

grep -n "xxx"  str.txt | head -1 | cut -d ":" -f 1

结果如下:

1

4 比较两次字符串行号变化幅度

两个文件内容: str.txt 和 str2.txt

str.txt

xxx
yyy
zzz
xxx

str2.txt

yyy
xxx
www
zzz

比较行号脚本

catline.sh

#!/bin/bash

rm -rf ret.txt

total=`wc -l $1 | awk '{print $1}'`
echo "total = $total"

num=1
while read line
do
echo $line

ret=`grep -n $line $2 | head -1` 
echo $ret

if [ -z $ret ]; then
num2=$total
echo "null num2 = $total"
else
num2=`echo $ret | cut -d ":" -f 1`
echo "num2 = $num2"
fi

echo $num
change=`expr $num2 - $num`
echo "$num2 - $num = $change"

num=`expr $num + 1`

echo "$line=$change" >> ret.txt
done < $1


cat ret.txt

执行脚本命令: ./catline.sh    str2.txt   str.txt

运行结果如下:

total = 4
yyy
2:yyy
num2 = 2
1
2 - 1 = 1
xxx
1:xxx
num2 = 1
2
1 - 2 = -1
www

null num2 = 4
3
4 - 3 = 1
zzz
3:zzz
num2 = 3
4
3 - 4 = -1
yyy=1
xxx=-1
www=1
zzz=-1

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

更多精彩内容其他人还在看

linux whatis与whatis database 使用及查询方法(man使用实例)

在学习man命令时候,估计很多朋友都发现有man –f ,man –k 参数,可以查出很多数据。这些有的与man手册页相同,有些不是属于手册页的。它们数据怎么收集来的,并且whatis是怎么样工作的
收藏 0 赞 0 分享

linux dev 常见特殊设备介绍与应用(loop,null,zero,full,random)

这篇文章主要介绍了linux dev 常见特殊设备介绍与应用(loop,null,zero,full,random),需要的朋友可以参考下
收藏 0 赞 0 分享

linux shell命令快捷获得系统帮助(一)[man-pages定义规范]

linux命令帮助,一般有2种,命令自身代码里面带有使用帮助说明,这种一般很精简,太长了,程序自身的大小以及日常维护不方便。还有一种,就是带有帮助文件,类似windows的chm格式文件。下面我说下这2种怎么样查阅
收藏 0 赞 0 分享

linux shell实现随机数几种方法分享(date,random,uuid)

这篇文章主要介绍了linux shell实现随机数多种方法(date,random,uuid),需要的朋友可以参考下
收藏 0 赞 0 分享

linux shell 脚本实现tcp/upd协议通讯(重定向应用)

这篇文章主要介绍了linux shell 脚本实现tcp/upd协议通讯(重定向应用),需要的朋友可以参考下
收藏 0 赞 0 分享

linux shell数据重定向(输入重定向与输出重定向)详细分析

这篇文章主要介绍了linux shell数据重定向(输入重定向与输出重定向)详细分析,需要的朋友可以参考下
收藏 0 赞 0 分享

linux shell 管道命令(pipe)使用及与shell重定向区别

这篇文章主要介绍了linux shell 管道命令(pipe)使用及与shell重定向区别,需要的朋友可以参考下
收藏 0 赞 0 分享

Linux下使用tcpdump抓包的实现方法

tcpdump是Linux下面的一个开源的抓包工具,和Windows下面的wireshark抓包工具一样, 支持抓取指定网口、指定目的地址、指定源地址、指定端口、指定协议的数据。这篇文章主要介绍了Linux下使用tcpdump抓包的实现方法,需要的朋友可以参考下
收藏 0 赞 0 分享

零基础入门篇之Linux及Arm-Linux程序开发笔记

这篇文章主要介绍了零基础入门篇之Linux及Arm-Linux程序开发笔记,需要的朋友可以参考下
收藏 0 赞 0 分享

Linux 中 CURL常用命令详解

这篇文章主要介绍了Linux 中 CURL常用命令详解,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多