Linux命令行与Shell脚本编程大全-读书简记

ls -F #可区分文件和目录
ls -a #显示所有文件，包括隐藏文件
ls -R #递归
ls -l #显示长列表，每一行包含了文件的：1 文件类型（d:目录，-:文件，l:链接，c:字符型文件，b:块设备，n:网络设备）；2 文件权限；3 硬链接数；4 文件属主； 5 文件属组； 6 文件大小； 7 文件上次修改时间； 文件名或目录名
ls -l f[!a]ll #可通过文件扩展匹配来过滤输出列表
ls -i file #查看file的inode编号

ln -s data_file sl_data_file #创建符合链接，又称软链接
ln code_file hl_code_file #创建硬链接

mkdir -p a/b/c #同时创建多个目录和子目录

file my_file #查看my_file类型
cat -n my_txt #查看my_txt文本并加上行号
cat -b my_txt #只给有文本的行加行号
tail -n 2 my_txt #只显示文件最后两行
head -5 my_txt

kill 3940 #发出TERM信号，结束PID为3940的进程
kill -s HUP 3940 # -s参数指出指定其他信号
killall http* #通过进程名来结束进程

mount -t type device directory #基本格式，type可指定vfat，ntfs，iso9660等

df -h

du -chs # -c显示所有已列出文件的总大小，-h易读格式，-s显示每个输出参数的总计

grep [options] pattern [file] #基本格式
grep -v t file # 反向搜索，输出不匹配t的行
grep -n t file #列出行号
grep -c t file #统计
grep -e t -e s file #指定多个匹配模式

tar function [options] object1 object2... #基本格式
tar -cvf test.tar test1/ test2/ #归档
tar -tf test.tar #列出不提取
tar -xvf test.tar #提取
tar -zxvf test.tgz #解压提前

history #查看历史记录
history -a #强制写入.bash_history文件，通常只有退出shell时才会写入
!! #执行刚执行的命令
!20 #执行编号为20的命令

alias -p #查看当前可用别名
alias li='ls -li'

env #查看全局变量
printenv #查看全局变量，也可以使用printenv HOME显示个别环境变量的值
set #显示某个特定进程设置的所有环境变量，包括局部变量、全局变量、用户自定义变量

my_variable="Hello World" #设置局部用户定义变量，子进程不可以访问，因为字符串含有空格，所以使用引号，注意变量名、等号和值之间没有空格
expport my_variable #设置为全局变量，子进程可以访问但修改对父进程无效，注意变量名前不需要加$
unset my_variable #删除环境变量，不加$。一般，操作变量不使用$，用到变量才使用$，printenv除外。

mytest=(one two three four five) #设置数组变量
echo $mytest #只会显示第一个值
echo ${mytest[2]} #three
echo ${mytest[*]} #显示整个数组变量
mytest[2]=seven #改变

useradd -m test #创建test用户并为其创建HOME目录，useradd其他参数用时可以具体查看

/usr/sbin/groupadd shared #创建shared新组
/usr/sbin/usermod -G shared test #将test加入到shared组
/usr/sbin/groupmod -n sharing shared #改变祖名，-g改变组GID

umask 026 #设置默认新建文件权限为640，-rw-r-----，默认目录权限751，drwxr-x--x

chmod options mode file #基本格式
chmod 760 file #改变权限方法一
chmod [ugoa][+-=][rwxXstugo] #改变权限方法二，设置上的权限选项中X：如果对象是目录或者它已有执行权限，赋予执行权限；s：运行时重新设定UID或GID；t：保留文件或目录；u：将权限设置的跟属主一样

chown options owner[.group] file #基本格式
chown dan.shared file #同时改变file的属主和属组
chgrp shared file #g改变文件数组

mkdir testdir
chgrp shared testdir
chmod g+s testdir #将SGID和SUID置位，目录的SGID置位可使得目录中新建文件都用shared作为默认属组，而不是用户的默认属组。

testing=`date` #方法一
testing=$(date +%y%m%d) #方法二

# wc命令可以统计数据中的文本，默认情况下会输入文本的行数、词数、字节数。
wc << EOF
test string 1
test string 2
EOF

expr 1+5
expr 5\*2 #容易被shell错误解释的字符，需要用转移字符反斜线将其标注来

val=$[[ 3*5 ]]

#基本用法
bc -q #-q选项可以不显示bash计算器冗长的欢迎信息
scale=4 # 设置计算结果中保留的小数，默认是0
val=4/5
quit


#脚本中使用
val=$(echo "scale=4;3.44/5" | bc) #适用于较短运算

val=$(bc <<EOF
options
statements
expressions
EOF
) #适用于大量运算 

date
echo $? #$?变量会保存上个已执行命令的退出状态码，为0~255的整数值，0表示成功执行
exit 5 #默认情况下脚本会用脚本中的最后一个命令的退出码退出，exit命令可以改变退出码状态

if command1
then
    commands
elif command2
then
    commands
else
    commands
fi

#使用test
if test condition #如果不写test后的condition部分，它会以非零的状态码输出，if判断不成立。
then
    commands
fi

#使用方括号
if [ condition ] #注意方括号前后需要有空格
then
    commands
fi

if (( val1**2 > 90 ))
then
    (( val2=$val1**2 ))
    echo "The square of $val1 is $val2"
fi

if [[ $USER == r* ]]
then
    echo "Hello $USER"
else
    echo "Sorry, I do not know you"
fi

case variable in
pattern1 | pattern2) commands1;;
pattern3) commands2;; 
*) default commands;;
esac

#基本格式
for var in list
do
    commands
done

#例1 读取列表中复杂的值
for test in I don\'t know if "this'"ll work
do
    echo "word:$test"
done

#例2 更改字段分隔符
IFS.OLD=$IFS
IFS=$'\n' #默认是空格，现在将内部字段分隔符IFS设为换行符。设置多个只需要将它们在赋值行串起来IFS=$'\n':;
for state in $(cat states.txt)
do
    echo "Visit beautiful $state"
done
IFS=$IFS.OLD

#例3 用通配符读取目录
for file in /home/lxs/*
do
    if [ -d "$file"]
    then
        echo "$file is a directory"
    elif [ -f "$file" ]
    then
        echo "$file is a file"
    fi
done


#例4 C语言风格的for命令
for (( i=1;i<=10;i++ ))
do
    echo "The next number is $i"
done

while test command  #或者while [ condition ]
do
    other comands
done

#使用多个测试命令，注意每个测试命令一行，每次迭代所有的测试命令都会被执行
var1=0
while echo $var1
        [ $var1 -ge 0]
do
    echo "This is inside the loop"
    var1=[ $var1-1 ]
done

until test commands  #或者until [ condition ]
do
    other commands
done

#输出重定向
for file in /home/lxs/*
do
    if [ -d "$file"]
    then
        echo "$file is a directory"
    elif [ -f "$file" ]
    then
        echo "$file is a file"
    fi
done >output.txt

#输入，数据从文件中送入while命令。批量添加用户
input="users.csv"
while IFS=',' read -r userid name
do
    echo "adding $userid"
    useradd -c "$name" -m $userid
done <"$input"

name=$(bashname $0) #bashname命令会返回不包含路径的脚本名，$0带有路径 

#test.sh
while getopts :ab:cd opt
do
    case "$opt" in
    a) echo "Found the -a option" ;;
    b) echo "Found the -b option, with value $OPTARG" ;;
    c) echo "Found the -c option" ;;
    d) echo "Found the -d option" ;;
    *) echo "Unknown option: $opt";;
    esac
done

shift $[ $OPTIND-1 ] #处理每个选项时，OPTIND都会增一

count=1
for param in "$@"
do
    echo "Parameter $count: $param"
    count=$[ $count+1 ]
done

#测试test.sh：./test.sh -a -b test1 -d test2 test3 test4

read -p "Please enter your age: " age #如果不指定存放的age变量，read会将收到的任何数据放进REPLY中
days=$[ $age*365 ]
echo "That makes you over $day old!"

read -t 5 -n1 -p "Do you want to continue [Y|N]?" answer #-t设置超时，-n1设置接受单个字符后退出

read -s -p "Your password:" pass #隐藏方式读取

cat test.txt | while read line #从文件中读取

ls -al ./ 2>stderr.log 1>stdout.log
ls -al ./ &> all.log # &>符号会将所有的输出都发送到同一位置

echo "This is an error message" >&2 #脚本中生成的错误信息重定向到STDERR文件描述符。
exec 1>testout #永久重定向，exec会告诉shell在脚本执行期间重定向某个特定文件描述符 

exec 0<testfile #shell从文件testfile中获得输入，而不是STDIN

#创造输出文件描述符
exec 3>&1 #将文件描述符3重定向到描述符1的当前位置，也就是STDOUT
exec 1>testout #将STDOUT重定向到文件
echo "This should store in the output file"
echo "along with this line"
exec 1>&3 #将STDOUT重定向到3的当前位置
echo "Now things should be back to normal"

#创造输入文件描述符
exec 6<&0
exec 0<testfile
...
exec 0<&6


#关闭文件描述符
exec 3>&-

/usr/sbin/lsof -a -p $$ -d 0,1,2 #-a选项用来对其他两个选项的结果执行布尔AND运算，-p允许指定进行ID（PID），-d允许指定要显示的文件描述符编号，特殊环境变量$$代表进程的当前PID

tempfile=$(mktemp test.XXXXXX) #mktemp命令会用6个字符替换这6个X，可以创建多个临时文件而不会重复
exec3>$tempfile
echo "This is the first line" >&3
exec 3>&-
cat $tempfile
rm -f $tempfile 2>/dev/null


mktemp -t test.XXXXXX #-t命令会强制在/tmp文件夹中创造临时文件，mktemp此时返回全路径而不是单个文件名

mktemp -d dir.XXXXXX #创建临时目录

date | tee testfile
date | tee -a testfile #追加

#将命令行参数指定的数据文件转化为sql语句
outfile='members.sql'
IFS=','
while read lname fname address city state zip
do
    cat >> $outfile << EOF  #此语句有两个重定向，将cat命令的输出追加到outfile变量指定的文件，cat命令不再取自标准输入，而是重定向到脚本中存储的数据，EOF时数据起止的标记
    INSERT INTO members (lname,fname,address,city,state,zip) VALUES ('$lname','$fname','$address','$city','$state','$zip');
    EOF
done <${1}

trap commands signals #基本格式
trap "echo 'Sorry! I have trapped Ctrl-C'" SIGINT
trap "echo Goodbye..." EXIT #捕获退出信号
trap -- SIGINT #删除已设置号的捕获

nohup ./test.sh &

nice -n -10 ./test.sh  #注意提高优先级不能用普通账户操作，需要用root用户操作，否则并不能设置成功
renice -n 10  -p 5055 #改变PID为5055的程序的优先级

at [-f filename] time #基本格式，可以用-f参数指定用于读取命令（脚本文件）的文件名
atq #查看系统中有哪些作业在等待
atrm 18 #删除等待中的作业

min hour dayofmonth month dayofweek command #基本格式
15 10 * * * command #每天的10:15允许命令
15 10 * * * /home/lxs/test.sh >test.out
crontab -l #列出已有的cron时间表
crontab -e #为cron时间表添加条目

period delay identifier command #anacron的基本格式，period单位时天，delay指定系统启动后anacron程序需要等待多少分钟再开始运行错过的脚本。

#创建方式1
function func1 {  #注意空格 
    echo "This is an example of a function 1"
}

#创建方式2
func2() {  #注意空格
    echo "This is an example of a function 2"
}

#使用函数
func1
func2

function db1 {
    read -p "Enter a value: " value
    echo $[ $value*2 ]
}

result=$(db1)

function func {
    echo $[ $1*$2 ]
}

if [ $# -eq 2 ]
then 
    value=$(func $1 $2)
    echo "The result is $value"
else
    echo "Usage: test a b"
fi

function func {
    local temp=$[ $value+5 ]
    result=$[ $temp*2 ]
}

function testit {
    local newarray
    newarray=($(echo "$@"))
    echo "The new array value is: ${newarray[*]}"
}

myarray=(1 2 3 4 5)
echo "The original array is ${myarray[*]}"
testit ${myarray[*]}

function arraydblr {
    local origarray
    local newarray
    local elements
    local i
    origarray=($(echo "$@"))
    newarray=($(echo "$@"))
    elements=$[ $#-1 ]
    for(( i=1;i<=$elements;i++ ))
    {
        newarray[$i]=$[ ${origarray[$i]}*2 ]
    }
    echo ${newarray[*]}
}

myarray=(1 2 3 4 5)
echo "The original array is: ${myarray[*]}"
arg1=$(echo ${myarray[*]})
result=$(arraydblr $arg1)
echo "The new array is: ${result[*]}"

function factorial {
    if [ $1 -eq 1]
    then
        echo 1
    else
        local temp=$[ $1-1 ]
        local result=$(factorial $temp)
        echo $[ $result*$1 ]
    fi
}

. ./myfuncs

sed options script file #基本格式

echo "This is a test" | sed 's/test/big test/'

sed -e 's/brown/green/; s/dog/cat/' data.txt #在命令行使用多个编辑器命令

sed -e ' #如不想使用分号，可使用下面的多行形式
s/brown/gree/
s/dog/cat/' data.txt 

sed if script.sed data.txt #从文件中读取编辑器命令

gawk options program file #基本格式

echo "My name is Rich" | gawk '{$4="Christine"; print $0}' #$0代表整个文本行，$1代表第一个数据字段

gawk -F: 'print $1' /etc/passwd #指定:作为分隔符

gawk 'BEGIN {print "The data File Contents:"}' #处理数据前运行
     {print $0}
     END {print "End of File"}'  data.txt #处理数据后运行

sed 's/test/trial/w test.txt' data.txt

sed 's!/bin/bash!/bin/csh!' /etc/passwd #可避免写sed 's/\/bin\/bash/\/bin\/csh/' /etc/passwd这样的命令 

sed '2,$s/dog/cat/' data.txt # 命令作用到从某行开始的所有行
sed '/Samantha/s/bash/csh/' /etc/passwd #文本模式过滤，允许指定文本模式类似过滤出命令要作用的行

sed '3,5d' data.txt #删除3到5行
sed '/number 1 /d' data.txt #删除文本模式匹配的行
sed '/number 1/,/number 3/d' #删掉匹配模式number 1到number 5之间的行，如果只匹配到number 1会一直删到文末。

echo "Test Line2" | sed 'i\Test Line 1'
sed '3i\This is an inserted line.' data.txt #寻址插入，要插入或附加多行，需要在每一行使用反斜杠。

sed '\numberr3 c\This is a changed line of text.' data.txt

echo "This 1 is a test of 1 try." | sed 'y/123/456/' #123与456一一对应转换

sed -n '/number 3/p' data.txt #-n选项可以禁止输出其他行，只打印包含匹配文本模式的行。
sed '=' data.txt #打印行号
sed -n 'l' data.txt #列出行可以打印数据流中的文本和不可打印的ASCII字符。

sed '3r data1.txt' data.txt #从文件data1.txt中读取数据插入到寻找到的行后

sed '/header/{n ; d}' data.txt #小写的n命令会告诉sed编辑器移动到数据流中的下一行。该行命令删除header所在行的下一行

sed '/first/{N ; s/\n/ /}' #大写的N命令会将下一行文本行添加到模式空间中已有的文本后。该行命令查找含有单词first的行，找到行用N命令将下一行合并到first行，将换行符替换为空格。

# data.txt
On Tuesday, the Linux System
Administrator's group meeting will be held.
#将System Administrator替换为 Desktop User的正确姿势为
sed '
s/System Administrator/Desktop User/
N
s/System\nAdministrator/Desktop\nUser/
'data.txt


sed '/^$/{N ; /headers/D}' data.txt #查找空白行，然后N将下一行文本添加到模式空间，如果新模式空间含有单词headers，D命令会删除模式空间中第一行（空白行）。

sed -n 'N ; /System\nAdministrator/P' data.txt #多行匹配出现时，P命令只打印模式空间中第一行。

sed -n '{1!G ; h ; $p}' data.txt #翻转文本，第一行不执行G，然后执行h，不是最后一行不执行p，然后执行G，执行h...一直到处理完毕，实现翻转文本。

#地址区间跳转
sed '2,3b ; s/This is/ Is this ; s/line./test?' data.txt
#地址模式，标签跳转
sed '{/first/b jump1 ; s/This is the/No jump on/  #如果文本行出现了first就调到标签为jump1的行
    :jump1
    s/This is the/Jump here on/}' data.txt

echo "This, is, a, test, to, remove, commas." | sed -n '{
    :start
    s/,//1p
    t start
    }'

echo "The cat sleeps in his hat." | sed 's/.at/"&"/g'

#将1234567转换为1,234,567
echo "1234567" | sed '{
    :start
    s/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/
    t start
    }'

sed '$!G' data.txt #加倍行间距

sed '/./,/^$/!d' #删除连续空白行。区间/./到区间/^$/会匹配任何含有至少一个字符的行，到结束空白行，这个区间的行不会删除

sed '/./,$!d' #删除开头的空白行

#删除结尾的空白行。改组命令会匹配只含有一个换行符的行，如果找到了这样的行，而且还是最后一行，删除命令会删掉它；如果不是最后一行，N命令会将下一行附加到它后面。
sed '{
    :start
    /^\n*$/{$d ; N ; b start}
    }' data.txt

sed 's/<[^>]*>//g ； /^$/d' #删除html标签，并删除多余的空白行

# data.txt
Riley Mullen
123 Main Street
Chicago, IL 
555-1234

Frank Williams
456 Oak Street
Indianapolis In
555-9876

# gawk 'BEGIN{FS="\n";RS=""} {print $1,$4}' data.txt #打印姓名和电话

#脚本中给变量赋值
gawk 'BEGIN{X=4; x=x*2+3; print x}'

#命令行上给变量赋值
#script1
BEGIN{FS=","}
{print $1}

gawk -f script1 n=3 data.txt #加入-v选项可以使得命令行参数定义的变量在BEGIN代码之前设定变量 gawk -v n=3 -f script1 data.txt

gawk 'BEGIN{
    var["a"]=1
    var["b"]=2
    var["c"]=3
    for (test in var)
    {
        print "Index:",test,"-value:",var[test]
    }
    delete var["c"]
    }'

gawk 'BEGIN{FS=","} /.d/{print $1}' data.txt

gawk 'BEGIN{FS=","} $2 ~ /^data2/{print $0}' data.txt #匹配操作符~允许将正则表达式限定在记录中的特定数据字段。可在~前加上！来排除正则表达式的匹配。

gawk -F: '$4==0{print $1}' /etc/passwd

gawk 'BEGIN{FS="\n"; RS=""}{printf "%-16s  %s\n", $1, $4}' data.txt  #默认为右对齐，加上减号-为左对齐，

gawk '
function myprint()
{
    print "%-16s - %s\n", $1, $4
}
BEGIN{FS="\n"; RS=""}
{
    myprint()
}' data.txt

gawk -f funclib -f script data.txt #要使用库，只要创建一个含有你gawk程序的文件，然后在命令行上同时指定库文件和程序文件。