微软官方MSDN原版Win10系统下载

现在位置: 首页  > 系统教程  > Linux教程

Linux通过shell脚本将txt大文件切割成小文件的方法

时间:2024-11-23 13:13:08   

大家好,今天Win10系统之家小编给大家分享「Linux通过shell脚本将txt大文件切割成小文件的方法」的知识,如果能碰巧解决你现在面临的问题,记得收藏本站或分享给你的好友们哟~,现在开始吧!

TXT,阅读器-电子书txt阅读器系列软件最新版本下载

  Linux系统下,有些txt文件比较大,转移到移动设备非常不方便,那么能不能将txt大文件变成多个小文件呢?其实可通过shell脚本实现,下面小编就给大家介绍下Linux通过shell脚本切割txt大文件的方法。

  解决方法:

  1. 先使用split命令切割大文件,每个小文件保存100万行

  split 参数:

  -b :后面可接欲分割成的档案大小,可加单位,例如 b, k, m 等;

  -l :以行数来进行分割;

  #按每个文件1000行来分割除

  split -l 1000 httperr8007.log httperr

  httpaa,httpab,httpac 。。。。。。。。

  #按照每个文件100K来分割

  split -b 100k httperr8007.log http

  httpaa,httpab,httpac 。。。。。。。。

  2. 遍历所有100万行文件,逐个新建目录再切割成1万行小文件

  #!/bin/bash

  bigfile=“1.txt”

  split -l 1000000 $bigfile text

  currdir=1

  for smallfile in `ls | grep “text*”`

  do

  linenum=`wc -l $smallfile | awk ‘{print $1}’`

  n1=1

  file=1

  savedir=“$smallfile$currdir”

  if [ ! -d “$savedir” ]

  then

  mkdir $savedir

  fi

  while [ $n1 -lt $linenum ]

  do

  n2=`expr $n1 + 9999`

  sed -n “${n1},${n2}p” $smallfile 》 $savedir/text$file.txt

  n1=`expr $n2 + 1`

  file=`expr $file + 1`

  done

  currdir=`expr $currdir + 1`

  done

  上面就是Linux使用shell脚本将txt大文件切割成小文件的方法介绍了,txt文件太大的话可使用本文的方法进行切割处理。

以上就是关于「Linux通过shell脚本将txt大文件切割成小文件的方法」的全部内容,本文讲解到这里啦,希望对大家有所帮助。如果你还想了解更多这方面的信息,记得收藏关注本站~

Win10系统之家♂独*家使用,转载请注明出处!】

相关文章

  • Linux通过shell脚本将txt大文件切割成小文件的方法

    Linux通过shell脚本将txt大文件切割成小文件的方法


      Linux系统下,有些txt文件比较大,转移到移动设备非常不方便,那么能不能将txt大文件变成多个小文件呢?其实可通过shell脚本实现,下面小编就给大家介绍下Linux通过shell脚本切割txt大文件的方法。
      解决方法:
      1.先使用split命令切割大文件,每个小文件保存100万行
      split参数:
      -b:后面可接欲分割成的档案大小...
  • Linux通过shell脚本创建SVN版本库的方法

    Linux通过shell脚本创建SVN版本库的方法


      Linux每次建立SVN版本库的过程都非常麻烦,如果将这些通过shell脚本来实现的话会简单很多,那么这个shell脚本要如何编译呢?下面小编就给大家介绍下Linux利用shell脚本创建SVN版本库的方法。
      每次建立一个新的SVN版本库总感觉很繁琐,所以写了段脚本来把这个过程自动化,详细代码如下:
      #!/bin/bash
      #bywww.111cn...
  • Linux通过shell脚本备份系统的方法

    Linux通过shell脚本备份系统的方法


      在Linux中,备份系统的方法有很多,除了使用备份工具外,还能通过shell备份Linux系统,下面小编就给大家分享下备份Linux系统的shell脚本。
      脚本如下:
      #!/bin/sh
      #AutomaticBackupLinuxSystemFiles
      #Authorwugk2013-11-22
      #DefineVariabl...
  • Linux使用shell脚本统计高速网络流量的步骤

    Linux使用shell脚本统计高速网络流量的步骤


      在Linux系统操作中,可使用工具监控网络流量,但对高速网络的监控有一定的局限性,对于高速网络流量的监控可使用shell脚本,下面小编就给大家介绍下Linux使用shell脚本监控高速网络流量的方法。
      在本文中我们介绍一种简单的Shell脚本,它可以监控网络流量而且不依赖于缓慢的libpcap库。这些脚本支持Gb以上规模的高速网络接口,如果你对“汇聚型”的网络流量感兴趣的...