shell编程及linux常用命令笔记 - 1

 

Much thanks to Classic Shell Scripting

 

 

#chapter 2 shell basic

1. 访问脚本从命令行接收到的参数：$n
在脚本中使用 $1 访问第一个参数，$2访问第二个，当超过9时，用大括号引起来，如 ${10}。

2. 在shell脚本执行时，使用-x打开脚本执行跟踪功能。如: $ sh -x nusers.sh

3. 列出系统所支持的所有语言: locale -a

#chapter 3 search and substitution

4. shell BRE(Basic RE) and ERE(Extended RE)正则表达式简记：
\  关闭或者打开后续字符的特殊意义
.  匹配任何单个字符，初NUL外
*  匹配在它之前的任何数目的单个字符
+  1个或多个(ERE only)
?  0个或多个(ERE only)
^  表示一行的开始，在[^...]里面表示取反
$  表示一行的结尾
[...]  匹配方括号内的任一单个字符
{n}  匹配前面单个字符出现n次(ERE，在BRE中需要使用转义\{n\})
{n,m}  出现至少n次，最多m次
()  表示一个实例(ERE only)
|  匹配之前或之后的正则表达式(ERE only)

注意：在BRE下，^$只在起始和结束处具有特殊意义，在其他位置如39.8$killo就表示$本身。



5. 向后引用: backreferences
如，\(ab\)\(cd\)[def]*\2\1 可以匹配abcdcdab, abcdeeecdab, abcdffcdab, ...向后引用最多可以有9个

6. POSIX字符集: [:alpha:]
[:alnum:]  数字字符，如123
[:alpha:]  字母字符，如abcDEF
[:lower:]  小写字母字符，如abc
[:upper:]  大写字母字符，如DEF
[:blank:]  空格space于定位tab字符
……更多
$ grep -E ^[[:alpha:]]\{3\} data.txt
hello, world.
abcDEFdefABC

7. ERE(Extended RE)
没有向后引用。
区间表达不需要\{\}，直接使用abc{3,5}，表示c出现3到5次
?  表示0个或一个前置RE
+  1个或多个
*  与BRE相同，0个或多个
|  交替，匹配这个序列或那个序列或... read|write｜listen
() 分组，(abc){3,5}表示abc出现3到5次，但不包括括号()本身，

8. 额外的GNU正则表达式运算符: \w
\w  匹配任何单词组成的字符
\W  匹配任何非单词组成的字符，^\w

9. 进行文本查找替换: sed(steam editor)
sed s/regexp/replacement/
$ sed 's/:.*/:******/' data.txt
hello, world.
abcDEFdefABC
password:******
another password:******
上面命令把冒号(:)后面的所有内容替换成6个星号(*)，sed s/regexp/replacement/中的/作为一个定界符，任何可以显示的字符都可以，如
sed s;regexp;replacement;
sed s:regexp:replacement:
sed s,regexp,replacement,
……等
$ find /home/owen/test/todelete/ -type d -print |
sed 's;/home/owen/test/todelete;/home/owen/test/todel;' |
sed 's/^/mkdir /' |
sh -x
+ mkdir /home/owen/test/todel/
+ mkdir /home/owen/test/todel/xyz
该命令首先找出/home/owen/test/todelete/这个目录下的所有目录，包括这个目录自身，然后把todelete替换成todel，得到如下结果：
/home/owen/test/todel/
/home/owen/test/todel/xyz
然后在每行前面加上"mkdir "命令创建新的目录。所实现的功能类似cp。

10. 查看系统的密码信息: /etc/passwd
$ more /etc/passwd
owen:x:1000:1000:owen,,,:/home/owen:/bin/bash
每行都是以:分隔的7个字段，分别表示
owen 用户名称
x  加密后的密码
1000  用户ID编号
1000  用户组ID编号
owen,,,  用户姓名，附加其他信息，如联系方式等
/home/owen  用户的根目录
/bin/bash  登录的shell类型

11. 从文本中剪贴部分内容: cut
$ cut -d : -f 1,5 /etc/passwd | grep -E ^m
man:man
mail:mail
messagebus:
mysql:MySQL Server,,,
-d 表示分割符，-f 表示field

12. 连接2个文件，基于字段：join
join quotas.sorted sales.sorted
使用两个文件中第一个字段进行连接，如
quotas.sorted
a b
sales.sorted
a c
连接之后，为a b c
当然可以指定连接的key， -1 2 -2 5， 参考manual

13. 重新编排字段: awk
$ ls -l | awk '{ print $8, $5, $1}' | sort
data.txt 67 -rw-r--r--
finduser 88 -rwxr-xr-x
merge-sales.sh 363 -rwxr-xr-x
note.sh 36 -rwxr-xr-x
nusers 60 -rwxr-xr-x
quotas 58 -rw-r--r--
sales 71 -rw-r--r--
  total
这里先列出当前目录下的文件，然后使用awk显示文件名，大小，权限，最后进行排序显示。
awk默认使用空格作为分隔字符。
$ ls -l | awk '{ printf "%s %s\t %s\n", $1, $5, $8}' | sort
其基本模式如下：

#chapter 4 text process tools

14. 文本排序: sort
$ sort -t : -k 3,3 /etc/passwd
-t指定分隔符，-k指定从哪个字段到哪个字段作为key进行排序

15. 去除重复: uniq
$ sort uniq-data | uniq -c
      2 duo
      3 tres
      1 unus
消除重复，可以控制显示重复的或是未重复的记录

16. 简单的文本格式化命令: fmt
$ more data.txt | fmt -w 50
hello, world.  abcDEFdefABC password:123456
another password:666888

string sort\nbased on lines delimilated by new
line sign
格式化成每行最多50个字符

17. 计算行数、字数和字符数: wc
/usr/share/dict$ more words | grep ^herb | wc -lwc
     17      17     165

18. 查看标准输入的前n条记录，或是文件列表中的前n条，或后n条: head, tail
head -n 5 /etc/passwd
sed -e 5q /etc/passwd
显示倒数n条，一般用来查看最近的日志记录
tail -n 5 /etc/passwd

#chapter 5 the magic power of pipe

19. 文字解谜好帮手puzzle-help.sh文件: example
FILES="
        /usr/dict/words
        /usr/share/dict/words
      "
pattern="$1"
egrep -h -i "$pattern" $FILES 2> /dev/null | sort -u -f
使用这个脚本来进行查找具有10个字母的单词，以b开头，第7位不是x就是y：
$ sh puzzle-help.sh '^b.{5}[xy].{3}$' | fmt
beatifying Birdseye's blarneying Brooklyn's Bulawayo's
等价于使用命令：
/usr/share/dict$ more words | egrep -i  '^b.{5}[xy].{3}$'| sort
beatifying
Birdseye's
blarneying
Brooklyn's
Bulawayo's

20. 转换或者删除字符：tr
tr [ options ] source-char-list replace-char-list
-c 取source-char-list的反义，即对没有出现在source-char-list中的字符进行转换或删除
-d 删除source-char-list里出现的字符，如删除所有元音字母：
echo hello world | tr -d [aeiou]
hll wrld
-s 浓缩重复的字符，如：
echo hello world | tr -s l
helo world
一般会组合来使用，如全部转换成小写字符，所有非字母字符转换成换行符号
echo heLLo WorLd  123 End | tr A-Z a-z | tr -cs A-Za-z '\n'
hello
world
end
这里没有包括数字，如果需要包括，则添加A-Za-z0-9就可以了

21. 统计一篇文章中单词出现频率: wf
tr -cs A-Za-z0-9 '\n' |     将非字母字符转换成换行符号，-cs参考第20条笔记
  tr A-Z a-z |              全部转换成小写字母
    sort |                  排序
      uniq -c |             统计频率，结果： 13 the等
        sort -k1,1nr -k2 |  首先只取第一个field即数字，按照数字顺序-n逆序-r排序，再对单词以字典顺序排序
          sed ${1:-25}q     ${1}获取命令行的第一个参数，如果没有默认为25，后面q表示退出程序

${1:-25}是shell里面的一个参数展开形式，具体如下:
${var:-default-var}
展开方式是：首先查找${var}，如果找到，值就为${var}，如果没有找到，值就等于default-var

使用(需要chmod +x wf，然后把wf放到$PATH路径下)，使用频率最高的：
man awk | wf | pr -c4 -t -w80
    292 the             69 are             50 0             40 mawk
    169 and             69 string       49 s             40 n
    168 is             65 1               48 expr       39 be
    155 a               64 if             45 as         38 awk
    124 of             52 for             45 or         38 file
    118 to             52 with         40 an         38 i
     80 in
pr命令，打印格式化，page column for printing
-c4 表示column4，相当于word的分栏操作，这里设置为4栏
-t  表示不显示页头和页尾，如果没有这个，就是一张打印纸那么大
-w80  设置页面宽度，这里是80个字符

最低的呢：
$ man awk | wf 99999 | tail -n 25 | pr -c4 -t -w80
      1 typically         1 under          1 values              1 wc
      1 u                    1 underscores 1 variations        1 we
      1 unaltered         1 unlike        1 variety              1 whidbey
      1 unambiguous       1 unnecessary 1 vdiesp              1 writing
      1 unbuffered        1 unsafe        1 vertical          1 xaxbxcx
      1 unchanged         1 usually        1 via                  1 xhh
      1 undefined
我的path
echo $PATH
/home/owen/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

这个程序比较有意思，我们可以算出awk手册里使用了多少个不重复的单词，才1014个，99999这个数没有实际意义，只是很大而已
$ man awk | wf 99999 | wc -l
1014

高频词汇（频率在5次以上，包括5次）个数，尽然是这么得少！
$ man awk | wf 99999 | awk '$1 >= 5' | wc -l
220

22. 学以致用: 标记和自动目录生成
$ more shell笔记.txt | grep -E '#'

#chapter 2 shell basic
#chapter 3 search and substitution
#chapter 4 text process tools
#chapter 5 the magic power of pipe

more shell笔记.txt | grep -E '^[0-9]+\.' | sed 's/^/@-/'
@-1. 访问脚本从命令行接收到的参数：$n
@-2. 在shell脚本执行时，使用-x打开脚本执行跟踪功能。如: $ sh -x nusers.sh
@-3. 列出系统所支持的所有语言: locale -a
@-4. shell BRE(Basic RE) and ERE(Extended RE)正则表达式简记：
@-5. 向后引用: backreferences
@-6. POSIX字符集: [:alpha:]
@-7. ERE(Extended RE)
@-8. 额外的GNU正则表达式运算符: \w
@-9. 进行文本查找替换: sed(steam editor)
@-10. 查看系统的密码信息: /etc/passwd
@-11. 从文本中剪贴部分内容: cut
@-12. 连接2个文件，基于字段：join
@-13. 重新编排字段: awk
@-14. 文本排序: sort
@-15. 去除重复: uniq
@-16. 简单的文本格式化命令: fmt
@-17. 计算行数、字数和字符数: wc
@-18. 查看标准输入的前n条记录，或是文件列表中的前n条，或后n条: head, tail
@-19. 文字解谜好帮手puzzle-help.sh文件: example
@-20. 转换或者删除字符：tr
@-21. 统计一篇文章中单词出现频率: wf
@-22. 学以致用: 标记和自动目录生成

使用sed命令给每条数据添加一个@-前缀，以便与真正的目录混淆。



#chapter 6 variables, repetitions

23. 设置或修改环境变量: export
PATH=$PATH:/home/owen/bin
export PATH
打印环境变量export -p

24. 从shell中删除变量于函数: unset
$ foo=123
$ echo $foo
123
$ unset foo
$ echo $foo
使用unset -f function_name删除函数，默认为-v即删除变量

25. 参数展开: ${varname:-word}
替换运算：
${varname:-word}  如果varname存在且非Null,则返回其值；否则返回word。用途: 如果变量未定义，则使用默认值

${varname:=word}  如果varname存在且非Null,则返回其值；否则设置它的值为word，并返回其值。用途: 如果变量未定义，则设置变量为默认值

${varname:+word}  如果varname存在且非Null,则返回word；否则返回null。用途: 为测试变量的存在。

${varname:?message}  如果varname存在且非Null,则返回其值；否则显示varname:message，并退出当前命令或脚本。用途: 捕捉由于变量未定义所导致的错误
$ echo ${vars:?"undefined, pls check it"}
bash: vars: undefined, pls check it

注意上面的${varname:-word}每个冒号(:)都是可选的，如果没有冒号，条件变为“如果varname存在”，也就是可以为空

更多模式匹配
$ p=/home/jwu/cases/long.file.name
$ echo $p
/home/jwu/cases/long.file.name

${variable#pattern}  如果模式匹配于变量的开头处，则删除匹配的最短部分，返回剩下的部分
$ echo ${p#/*/}
jwu/cases/long.file.name

${variable##pattern}  如果模式匹配于变量的开头处，则删除匹配的最长部分，返回剩下的部分
$ echo ${p##/*/}
long.file.name

${variable%pattern}  如果模式匹配于变量的结尾处，则删除匹配的最短部分，返回剩下的部分
$ echo ${p%.*}
/home/jwu/cases/long.file

${variable%%pattern}  如果模式匹配于变量的结尾处，则删除匹配的最长部分，返回剩下的部分
$ echo ${p%%.*}
/home/jwu/cases/long

注意，这里使用的pattern，以及shell里其他的地方，如case语句等，不同于前面正则表达式的模式匹配。如上，这里*代表任何一个符号，而.只代表点号本身。

26. POSIX标准化字符从长度运算符: ${#variable}返回$variable值的长度
$ d=diversification
$ echo $d
diversification
$ echo ${#d}
15

27. shell特殊变量，访问参数: $#, $@, $*
设置参数:　$ set -- hello "hi there" greeting
$#  传递到shell脚本或函数的参数总数
$@  传递进来的命令行参数，置于双引号("")内，会展开为个别的参数
$ for i in $@
> do echo i is $i
> done
i is hello
i is hi
i is there
i is greeting
注意上面的hi there之间的空格丢失了
$ for i in "$@"
> do echo i is $i
> done
i is hello
i is hi there
i is greeting
加上""会得到每个参数
$*  传递进来的命令行参数，置于双引号("")内，会展开为一个单独的参数

28. shell运算符与C语言类似: + - * /
运算置于$((...))之内，注意是圆括号
具体参考运算表
例:
$((3 && 2))
1
$ echo $((3 > 2))
1
$ echo $((3 > 4))
0
$ echo $(( (3 > 2) || (3 > 4) ))
1
与C及其衍生语言C++, Java, and awk等相同，非0值表示true。

29. 退出状态: $?
$ echo hello
hello
$ echo $?
0
$ e s
e: command not found
$ echo $?
127
POSIX的结束状态
0    命令成功退出
其他状态都是失败退出，如
127  命令找不到

可以在shell脚本中传递一个退出值给它的调用者，如exit 42

30. 判断语句: if-elif-else-fi
if pipeline
then ...
elif pipeline
then ...
else ...
fi

31. 逻辑判断: NOT, AND, OR
NOT  if ! (...)
AND  (...) && (...)
OR   (...) || (...)

32. test命令: if...
if [ $# -ne 1 ]
then
  echo Usage: finduser username >&2
  exit 1
fi
主要的数字比较有
-eq  equal
-ne  not equal
-lt  less than
-gt  great than
-le  less or equal
-ge  great or equal

#chapter 7 input/output, file, and commands execute

    to be continue...