30 Dec

sed学习

分类:电脑技术 » linux shell   出处:本站原创   
sed缓冲区
sed 处理文件时,会把文件的每一行保存在一个临时缓冲区,即模式空间。
sed处理完一行后,该模式空间就被清空,下一行等待处理。因此可把模式空间内容用命令h复制并
保存在一个暂存缓冲区(holding buffer)内,然后可用命令G把它从暂存缓冲区读出一行,并放回模式空间缓冲区,
追加在模式空间内当前行的后面。
1. sed '/north/p' datafile
缺省情况下,sed会把输入的所有行都打印在标准输出上;如果某行匹配了north,则sed将该行再打印一遍。

2. sed -n '/north/p' datafile
只打印匹配north的行.

3.删除d
sed '3d' datafile   删除第3行
sed '3,$d' datafile  删除从第3行到结束
sed '$d' datafile  删除最后一行
sed '/north/d' file  删除匹配north的行

4.替换命令s
sed 's/west/north/g' datafile 全局替换
sed 's/[0-9][0-9]$/&.5/g' datafile
所有以两位数字结尾的行,后面加上.5(点5)

sed -n 's/\(Mar\)got/\1lianne/p' datafile
Mar作为标签1,将Margot 替换成Marianne

sed 's#3#88#g' datafile等价于 sed 's/3/88/g' datafile

指定行范围:逗号
sed -n '/west/,/east/p' datafile 指定在模式west和east之间的行,打印
sed -n '5,/^northeast/p' datafile 打印从第5行到第一个以northeast开头的行之间的所有行
sed '/west/,/east/s/$/**VACA**/' datafile修改从模式east和west之间的所有行,并将行尾$替换成**VACA**

多重编辑e
sed -e '1,3d' -e 's/Mike/Jones/' datafile
删除1到3行,然后再替换Mike为Jones(先全部执行完第一重编辑,再进行第二重编辑)

读入r
sed '/suan/r newfile' datafile
如果文件datafile中某一行匹配到模式suan,则在该行后读入newfile的内容。

写文件w
sed -n '/north/w newfile' datafile
如果文件datafile中某一行匹配到模式north,则把该行写入newfile文件中

追加
sed '/^north /a\\
----->THE NORTH SALES<------

插入
sed '/eastern/i\\
NEW ENGLAND REGION\\
----------------' datafile
下一行命令n
sed '/eastern/{n;s/AM/Archie/;}' datafile
如果某一行匹配到模式eastern,  命令n指示sed用下一输入行,即包含AM的那一行,
替换模式空间中的当前行,并用Archie替换AM,然后打印该行,再继续向下处理

转换y
sed '1,3y/abcdef/ABCDEF/' datafile
  把第1到3行中abcedf字母转换成大写字母

退出q
sed '5q' datafile打印5行后退出
sed '/Lewis/{s/Lewid/Joseph/;q;} datafile
  某行匹配到Lewis时,先用Joseph替换Lewis,然后立即退出

暂存和取用(h和g命令)
sed -e '/WE/{h;d;}' -e '/CT/{G;}' datafile
找到某一行匹配模式WE,用命令h将该行从模式缓冲区拷贝到一个暂存缓冲区,再用命令d把
该模式空间缓冲区那份拷贝删除。找到模式CT后,再用G命令取出保存在暂存缓冲区中的副本,
用其替换模式空间当前行。

暂存和互换命令x
sed -e '/Patricia/h' -e '/Margot/x' datafile
x命令将暂存区的内容和模式空间内的当前行互换
sed脚本编程:把sed组成一个文本文件,执行脚本时,sed 先将输入文件中第一行拷贝到模式缓冲区
,然后执行脚本中的所有命令;每行处理完毕后,sed再拷贝文件中下一行到模式缓冲区,
执行脚本中的所有命令。
如:
/Lewis/a\
     Lewis is TOP salesperson for April!!!\
     Lewis is moving to the southern district next month.\
/Margot/c\
    ********************
    MARGOT HAS RETIRED\
    ********************
/i\
   mployer database\
   _________________

$d

%sed -f filename datafile
sed -n '/sentimeatal/p' filename
sed '1,3d' filename > newfile
sed '/[Dd]aniel/d' filename
sed -n '15,20p' filename
sed '/1,10s/Montana/MT/g' filename
sed '/March/!d' filename
sed '/March/\!d' filename
sed 's/\([Oo]cuur\)ence/\1rence' file
sed '/^....//' file删除每行前4个字符
sed '/....$//' file删除每行后4个字符
sed '/east/,/west/s/North/South/' filename
把从east到west范围内出现的第一个North替换成South,只一次


sed 's/%//g'  把%换成空格

sed 's/^0*//g' 把以0开头的数字换成空格

sed /^$/d  删除空行

sed $d 删除最后一行

sed ld 删除第一行

sed 's/[0-9][0-9]*/&  password/g'  file.txt   把password连接到
24 Sep

Linux SHELL if 命令参数说明

分类:电脑技术 » linux shell   出处:本站原创   
放着备查

–b 当file存在并且是块文件时返回真
-c 当file存在并且是字符文件时返回真
-d 当pathname存在并且是一个目录时返回真
-e 当pathname指定的文件或目录存在时返回真
-f 当file存在并且是正规文件时返回真
-g 当由pathname指定的文件或目录存在并且设置了SGID位时返回为真
-h 当file存在并且是符号链接文件时返回真,该选项在一些老系统上无效
-k 当由pathname指定的文件或目录存在并且设置了“粘滞”位时返回真
-p 当file存在并且是命令管道时返回为真
-r 当由pathname指定的文件或目录存在并且可读时返回为真
-s 当file存在文件大小大于0时返回真
-u 当由pathname指定的文件或目录存在并且设置了SUID位时返回真
-w 当由pathname指定的文件或目录存在并且可执行时返回真。一个目录为了它的内容被访问必然是可执行的。
-o 当由pathname指定的文件或目录存在并且被子当前进程的有效用户ID所指定的用户拥有时返回真。
UNIX Shell 里面比较字符写法:

-eq   等于
-ne    不等于
-gt    大于
-lt    小于
-le    小于等于
-ge   大于等于
-z    空串
=     两个字符相等
!=    两个字符不等
-n    非空串
zz from http://blog.penner.cn/2007/03/25/linux-shell-if.html
Tags: ,
23 Jul

查找某时间段修改的文件

分类:电脑技术 » linux shell   出处:本站原创   
需要查找某目录下某个时间段的文件,考虑到目录的特殊性(例如含有空格),做了一些特别的处理(感谢阿阿飛兄弟)

#!/bin/bash

find "$1" | while read name; do
  iname=`file "$name"|awk -F: '{print $2}'| sed -e 's/ //g'`
  if [ ! "$iname" == 'directory' ] && [ ! "$iname" == 'symbolic' ]; then
    filetime=`ls -l "$name" --time-style +%Y%m%d | awk '{print $6}'`
    if [ $2 -le $filetime ] && [ $filetime -le $3 ]; then
      echo $name
    fi
  fi
done


执行:
./findfile  /root 20080710 20080720

对于含有空格的目录如根目录下的test test
可以用./findfile  /test\ test/ 20080701 20080723 这样来执行


有任何意见欢迎提出:)
Tags:
14 Jul

帮朋友写的一个脚本

分类:电脑技术 » linux shell   出处:本站原创   
要求:
1、目录/FTP/下有很多用户目录,分别是某一个公司的英文缩写,FTP目录结构为
/FTP/AAA/DOWNLOAD
/FTP/BBB/DOWNLOAD
......
2、在每一个公司的DOWNLOAD下,每天会有很多文本文件上传过来,但为了便于数据统计,导入到XML乃至数据库中,需要对上传的文件进行批量重命名,命名的格式如:CCO_AAA_SZ2008071401_SZ_V04.test1.txt,其中2008071401是文件修改日期。

3、文件内容如:
引用
AAA公司|上传数据|A经理
0012|560|jack|2006
1323|7787|rose|2008
abcd|yes|35|88


重新命名文件之后,需要对每个文件的内容进行修改,修改要求如下:
以|为分隔符分割字段,删除文件的第一行,将剩下内容每一行|之前的字符删除(包括|符号),然后将|替换成||,最后判断剩下的内容,如果剩下文件内容的第一行不是以13开头,删除!

初步代码如下,还不完善,有不妥的地方希望大家批评指正。

#!/bin/bash
#
for path in /FTP/*/DOWNLOAD ; do
    cd $path
    compay=`pwd | awk -F/ '{print $(NF-1)}'`

    ls -l $1 | grep ^[^d] | awk '{print $9}' | sed -e '/^$/d' | while read name;do
    if [ ! `echo $name | awk '/^CCO/'` ]; then
        modifytime=`ls -l $name --time-style +%Y%m%d | awk '{print $6}'`
        newname=CCO_"$compay"_SZ"$modifytime"01_SZ_V04."$name".txt
        echo "rename $path/$name to $path/$newname ..."
        mv $path/$name $path/$newname
        echo "modify the content of $newname"
        sed -i '1d; s/[^|]*|//; s/|/||/g' $newname
        sed -i '1{/^13/!d}' $newname
    fi
    done
done
Tags:
9 Jul

Linux 下批量更改文件名

分类:电脑技术 » linux shell   出处:本站原创   
比如将所有文件名中带有20080707的字符更改成20080709?


root@ubuntu:~/test# cat re
#!/bin/bash
# code by thatday
#
ls -l $1 | grep ^[^d] | awk '{print $9}'| while read line; do
do=`echo $line | grep $2`

if [ ! "$do" = "" ]; then
   newname=`echo $line | sed 's/'$2'/'$3'/g'`
   echo "rename $line to $newname ..."
   mv $1/$line $1/$newname
fi
done

root@ubuntu:~# chmod +x re


root@ubuntu:~# ls -l test/
total 4
-rw-r--r-- 1 root root    0 Jul  9 13:45 20070808jjj
-rw-r--r-- 1 root root    0 Jul  9 13:45 20070809abc
-rw-r--r-- 1 root root    0 Jul  9 13:45 aaa20070809bb
drwxr-xr-x 2 root root 4096 Jul  9 12:05 bak
-rw-r--r-- 1 root root    0 Jul  9 13:45 ccccc200708091
-rw-r--r-- 1 root root    0 Jul  9 13:45 dddd20070809aj

root@ubuntu:~# ./re test/ 20070809 20070810
rename 20070809abc to 20070810abc ...
rename aaa20070809bb to aaa20070810bb ...
rename ccccc200708091 to ccccc200708101 ...
rename dddd20070809aj to dddd20070810aj ...
root@ubuntu:~# ls test/
20070808jjj  20070810abc  aaa20070810bb  bak  ccccc200708101  dddd20070810aj



Tags:
分页: 1/3 第一页 1 2 3 下页 最后页 [ 显示模式: 摘要 | 列表 ]