2015-09-19

linux sed命令

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作。
我一般喜欢使用awk来处理文件，如果遇到需要进行替换的，会使用sed处理。

命令行格式

1 2	sed [-Ealn] command [file ...] sed [-Ealn] [-e command] [-f command_file] [-i extension] [file ...]

选项与参数：
-n : 使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e : 直接在命令列模式上进行 sed 的动作编辑；
-f : 直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r : sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i : 直接修改读取的文件内容，而不是由萤幕输出。
动作说明： [n1[,n2]]function
n1, n2 : 不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』
commond：
a : 新增，a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c : 取代，c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d : 删除，d 后面通常不接任何东西；
i : 插入，i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p : 列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s : 取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g

以行为单位删除

将 /etc/passwd 的内容列出并且列印行号，同时，将第 2~5 行删除！

~ nl /etc/passwd | head -10 | sed '2,5d'
 1	root:x:0:0:root:/root:/bin/zsh
 6	sync:x:5:0:sync:/sbin:/bin/sync
 7	shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
 8	halt:x:7:0:halt:/sbin:/sbin/halt
 9	mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10	uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

nl命令类似于cat，但是可以打印出行号
如果只删除一行 sed '2d'即可
如果删除到最后一行，sed '2,$d。

以行为单位新增

在第二行后(亦即是加在第三行)加上『drink tea?』字样！

   ~ nl /etc/passwd | head -5 | sed '2a "drink tea?"'
     1	root:x:0:0:root:/root:/bin/zsh
     2	bin:x:1:1:bin:/bin:/sbin/nologin
"drink tea?"
     3	daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4	adm:x:3:4:adm:/var/adm:/sbin/nologin
     5	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

在第二行前呢？nl /etc/passwd | head -5 | sed '2i "drink tea?"'，是不是和vim中i,a类似？
如果添加多行呢？在以每一行之间加\n即可。

以行为单位取代

将第2-5行的内容取代成为『No 2-3 line』

    ~ nl /etc/passwd | head -5 | sed '2,3c No 2-3 line'
     1	root:x:0:0:root:/root:/bin/zsh
No 2-3 line
     4	adm:x:3:4:adm:/var/adm:/sbin/nologin
     5	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

以行为单位显示

仅列出 /etc/passwd 文件内的第 5-7 行

~ nl /etc/passwd | sed -n '5,7p'
 5	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
 6	sync:x:5:0:sync:/sbin:/bin/sync
 7	shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

上述的命令中有个重要的选项『 -n 』，按照说明文件，这个 -n 代表的是『安静模式』！那么为什么要使用安静模式呢？你可以自行下达 sed '5,7p' 就知道了 (5-7 行会重复输出)！但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。

部分数据的搜寻并取代的功能

1	sed 's/要被取代的字串/新的字串/g'

示例一: 取得ifconfig en0中ip地址

   ~ ifconfig en0 | fgrep inet | fgrep netmask
   inet 192.168.31.166 netmask 0xffffff00 broadcast 192.168.31.255
   ~ ifconfig en0 | fgrep inet | fgrep netmask | sed 's/inet //g' | sed 's/ netmask.*$//g'
192.168.31.166

其实就是经过两次sed替换，将inet和netmask之后的字符都替换为空串

找到/etc/man.conf中，所有带”MAN”并且不是以”#”开头的行

~ cat /etc/man.conf | fgrep "MAN" | sed 's/#.*$//g' | sed '/^$/d' | tail -5
MANPATH_MAP	/usr/local/sbin		/usr/local/share/man
MANPATH_MAP	/usr/X11/bin		/usr/X11/man
MANPATH_MAP	/usr/bin/X11		/usr/X11/man
MANPATH_MAP	/usr/bin/mh		/usr/share/man
MANSECT		1:1p:8:2:3:3p:4:5:6:7:9:0p:tcl:n:l:p:o

首先将带”MAN”的行过滤出来，然后sed 's/#.*$//g'将”#”开头的行变成空行，最后sed '/^$/d'删除空行

找到pid为23975的pstree中所有Pid

1 2	~ pstree -p 23975 \| sed 's/(/\n(/g' \| grep '(' \| sed 's/($.*$)/\1/g' \| tr "\n" " " 23975-+-nginx 30180 30181 30182 30183 30184 30185 30186 30187 30188---{nginx} 30189

直接修改文件(慎用!)

将sed.log中第2行末尾的.替换为!

~ cat sed.log
Hello world.
Holy shit.
~ sed -i '2s/\.$/!/g' sed.log 
~ cat sed.log
Hello world.
Holy shit!

在sed.log最后一行插入”#This is a test”

~ sed -i '$a #This is a test' sed.log
~ cat sed.log
Hello world.
Holy shit!
#This is a test

sed 的『 -i 』选项可以直接修改文件内容，这功能非常有帮助！举例来说，如果你有一个 100 万行的文件，你要在第 100 行加某些文字，此时使用 vim 可能会疯掉！因为文件太大了！那怎办？使用sed能很好解决这个问题。透过 sed 直接修改/取代的功能，你甚至不需要使用 vim 去修订！