-
Linux通过shell脚本将txt大文件切割成小文件的方法
- 时间:2024-11-23 13:13:08
大家好,今天Win10系统之家小编给大家分享「Linux通过shell脚本将txt大文件切割成小文件的方法」的知识,如果能碰巧解决你现在面临的问题,记得收藏本站或分享给你的好友们哟~,现在开始吧!
Linux系统下,有些txt文件比较大,转移到移动设备非常不方便,那么能不能将txt大文件变成多个小文件呢?其实可通过shell脚本实现,下面小编就给大家介绍下Linux通过shell脚本切割txt大文件的方法。
解决方法:
1. 先使用split命令切割大文件,每个小文件保存100万行
split 参数:
-b :后面可接欲分割成的档案大小,可加单位,例如 b, k, m 等;
-l :以行数来进行分割;
#按每个文件1000行来分割除
split -l 1000 httperr8007.log httperr
httpaa,httpab,httpac 。。。。。。。。
#按照每个文件100K来分割
split -b 100k httperr8007.log http
httpaa,httpab,httpac 。。。。。。。。
2. 遍历所有100万行文件,逐个新建目录再切割成1万行小文件
#!/bin/bash
bigfile=“1.txt”
split -l 1000000 $bigfile text
currdir=1
for smallfile in `ls | grep “text*”`
do
linenum=`wc -l $smallfile | awk ‘{print $1}’`
n1=1
file=1
savedir=“$smallfile$currdir”
if [ ! -d “$savedir” ]
then
mkdir $savedir
fi
while [ $n1 -lt $linenum ]
do
n2=`expr $n1 + 9999`
sed -n “${n1},${n2}p” $smallfile 》 $savedir/text$file.txt
n1=`expr $n2 + 1`
file=`expr $file + 1`
done
currdir=`expr $currdir + 1`
done
上面就是Linux使用shell脚本将txt大文件切割成小文件的方法介绍了,txt文件太大的话可使用本文的方法进行切割处理。
以上就是关于「Linux通过shell脚本将txt大文件切割成小文件的方法」的全部内容,本文讲解到这里啦,希望对大家有所帮助。如果你还想了解更多这方面的信息,记得收藏关注本站~
【Win10系统之家♂独*家使用,转载请注明出处!】
相关文章
-
Linux通过shell脚本将txt大文件切割成小文件的方法
Linux系统下,有些txt文件比较大,转移到移动设备非常不方便,那么能不能将txt大文件变成多个小文件呢?其实可通过shell脚本实现,下面小编就给大家介绍下Linux通过shell脚本切割txt大文件的方法。
解决方法:
1.先使用split命令切割大文件,每个小文件保存100万行
split参数:
-b:后面可接欲分割成的档案大小... -
Linux每次建立SVN版本库的过程都非常麻烦,如果将这些通过shell脚本来实现的话会简单很多,那么这个shell脚本要如何编译呢?下面小编就给大家介绍下Linux利用shell脚本创建SVN版本库的方法。
每次建立一个新的SVN版本库总感觉很繁琐,所以写了段脚本来把这个过程自动化,详细代码如下:
#!/bin/bash
#bywww.111cn... -
在Linux中,备份系统的方法有很多,除了使用备份工具外,还能通过shell备份Linux系统,下面小编就给大家分享下备份Linux系统的shell脚本。
脚本如下:
#!/bin/sh
#AutomaticBackupLinuxSystemFiles
#Authorwugk2013-11-22
#DefineVariabl... -
在Linux系统操作中,可使用工具监控网络流量,但对高速网络的监控有一定的局限性,对于高速网络流量的监控可使用shell脚本,下面小编就给大家介绍下Linux使用shell脚本监控高速网络流量的方法。
在本文中我们介绍一种简单的Shell脚本,它可以监控网络流量而且不依赖于缓慢的libpcap库。这些脚本支持Gb以上规模的高速网络接口,如果你对“汇聚型”的网络流量感兴趣的...