利用shell脚本遍历文件夹内所有的文件并作整理统计的方法

所属分类: 脚本专栏 / linux shell 阅读数: 587
收藏 0 赞 0 分享

环境: Ubuntu下采用shell脚本实现

案例简述: 文件夹内有许多子文件夹,这里需要自动读取所有的文件,包括他们的地址和文件名。通过观察文件名的规律,按照一定的规则裁剪出文件名的某一部分,该部分为数字,则根据数字的大小统计该文件夹内文件在各个数据段的数量。

1.这里写一个函数,实现对文件夹内所有文件名的读取,采用的方法是递归!

#!/bin/bash
#folder="./test"

function readfile ()
{
#这里`为esc下面的按键符号
 for file in `ls $1`
 do
#这里的-d表示是一个directory,即目录/子文件夹
 if [ -d $1"/"$file ]
 then
#如果子文件夹则递归
  readfile $1"/"$file
 else
#否则就能够读取该文件的地址
  echo $1"/"$file
#读取该文件的文件名,basename是提取文件名的关键字
 echo `basename $file`
 fi
 done
}
#函数定义结束,这里用来运行函数
folder="./test"
readfile $folder 

2.这里实验了初始化变量和变量赋值

#!/bin/bash
a=002
#打印a的值
echo $a
#注意这里赋初始值不能有空格
b=20
c=30
#注意这里[]和符号及字母之间一定要有空格,否则错误!
#这里shell脚本的逻辑运算-a表示与运算,-o表示或运算,!表示否运算
#-lt表示小于,-gt表示大于,-eq表示等于,-ne表示不等于,-le表示小于等于,-ge表示大于等于
if [ $a -lt $b -a $a -gt $c ]
then
#这里赋值注意两个括号,等号两边不能留有空隙
a=$(($a + 2))
a=$(($a + 1))
a=$(($a+ 4))
echo "hehe!"
elif [ $a -lt $b ]
then
echo $(($a + 100))
a=$(($a + 12))
echo "a is:"$a
echo "hello world!"
else
echo "i dont know"
fi  

3.综合实验

#!/bin/bash
#echo "start..."
#define a function to read all the files in the folder
#赋初始值
a10=0
a20=0
a30=0
a40=0
a50=0
a60=0
a70=0

#定义读取文件名的函数
function readfile ()
{
 for file in `ls $1`
 do
 if [ -d $1"/"$file ]
 then
#这里采用递归的方法来读取文件名
  readfile $1"/"$file
 else
#这一步使得temp变量获得文件名
  temp=`basename $file`
#echo $temp
#这里需要注意##*。。表示删除字符串最右边。。及其左边所有内容
var=${temp##*M}
#%。。*表示删除字符串左边的。。及其右边的内容!两个%%则表示最左边
var1=${var%.*}
var2=${var1%a*}
var3=${var2%b*}
var4=${var3%c*}
var5=${var4%d*}
var6=${var5%e*}
var7=${var6%f*}
var8=${var7%g*}
#echo $var8

#if 和括号之间必须有空格
if [ $var8 -le 10 ]
then
a10=$(($a10 + 1))
elif [ $var8 -gt 10 -a $var8 -le 20 ]
then
a20=$(($a20 + 1))
elif [ $var8 -gt 20 -a $var8 -le 30 ]
then
a30=$(($a30 + 1))
elif [ $var8 -gt 30 -a $var8 -le 40 ]
then
a40=$(($a40 + 1))
elif [ $var8 -gt 40 -a $var8 -le 50 ]
then
a50=$(($a50 + 1))
elif [ $var8 -gt 50 -a $var8 -le 60 ]
then
a60=$(($a60 + 1))
else 
a70=$(($a70 + 1))
fi
fi
#echo $var8
done
#echo $a40
}
folder="/home/cc/Age/data/MORPH"
readfile $folder 
#打印出每个数字段的个数
echo $a10
echo $a20
echo $a30
echo $a40
echo $a50
echo $a60
echo $a70 

这里将该脚本保存为1.sh,在执行的时候如果用指令sh 1.sh则会报里面内容或者语法出错。笔者为此迷惑了很久,最终查找资料找到的解决办法是:

a) 首先,使sh文件为可执行文件,命令: chmod +x 1.sh;

b) 然后在终端直接执行./1.sh就可以执行。

以上这篇利用shell脚本遍历文件夹内所有的文件并作整理统计的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

更多精彩内容其他人还在看

shell结合expect写的批量scp脚本工具

expect用于自动化地执行linux环境下的命令行交互任务,例如scp、ssh之类需要用户手动输入密码然后确认的任务。有了这个工具,定义在scp过程中可能遇到的情况,然后编写相应的处理语句,就可以自动地完成scp操作了
收藏 0 赞 0 分享

备份shell脚本实例代码

备份shell脚本一例,有需要的朋友可以参考下
收藏 0 赞 0 分享

shell中冒号的特殊用法分享

有关shell中冒号的特殊用法,供朋友们参考
收藏 0 赞 0 分享

Shell脚本学习指南之文本处理工具

Shell脚本学习指南之文本处理工具介绍,需要的朋友可以参考下
收藏 0 赞 0 分享

Shell脚本学习指南之查找与替换介绍

Shell脚本学习指南之查找与替换介绍,需要的朋友可以参考下
收藏 0 赞 0 分享

分享shell编程中的几个小技巧

分享shell编程中的几个小技巧,学习shell编程的朋友可以看下
收藏 0 赞 0 分享

linux中常用脚本和函数分享

这linux中经常需要用到的一些脚本与函数,这里简单的分享下,方便需要的朋友
收藏 0 赞 0 分享

关于Shell脚本效率优化的一些个人想法

很想像之前的一片Mysql全面优化详解那样子写一篇全面的优化文章,但是苦于没有相关书籍参考,也没有发现网络牛人有总结帖或文章之类的,所以就根据个人理解和经验写一些能优化程序效率的东西吧。这篇是不敢称全面的
收藏 0 赞 0 分享

shell 基本计算、逻辑运算、位运算详解

Shell 提供大量的基本运算操作,在脚本中非常有用。Shell 对您提供的算术表达式求值,执行运算展开式,此时使用得出的结果替换表达式
收藏 0 赞 0 分享

hbase shell基础和常用命令详解

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》
收藏 0 赞 0 分享
查看更多