3

Linux运维基础技能： 脚本编程与Linux命令

 2 years ago
source link: https://zhang.ge/5140.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Jager · 10月26日 · 2018年BAT公司面试经验 · 运维工程师面试 · 面试题 3154次已读

本系列文章一共三篇，分别为《脚本编程与Linux命令》、《接入层与网络基础》和《 MySQL 与 SQL 优化》，由腾讯高级工程师 luaruan(阮永顺) 原创、张戈博客整理分享，如有勘误请在博客留言。

希望对需要学习、面试Linux运维的同学有所帮助。

$1 入参，空值时默认赋值技巧

variable=${1:-"default value"} # 当未传参时，赋默认值。
echo $variable

$* 和 $@ 区别

  • $* 和 $@ 都表示传递给函数或脚本的所有参数，不被双引号(" ")包含
    时，都以"$1" "$2" … "$n" 的形式输出所有参数。
  • 但是当它们被双引号(" ")包含时，"$*" 会将所有的参数作为一个整体，
    以"$1 $2 … $n"的形式输出所有参数；"
  • $@" 会将各个参数分开，以"$1" "$2" … "$n" 的形式输出所有参数。
for var in "$*";do
echo "$var"
for var in "$@";do
echo "$var"

区别在于，分别输出 1 2 3 和

几个 Shell 里的内置变量

$# 入参个数
$$ PID
$0 文件名
$? 上个命令执行结果

Tips：

awk 教程 https://coolshell.cn/articles/9070.html

sed 教程 https://coolshell.cn/articles/9104.html

Shell script 基础问答 https://linux.cn/article-5607-1.html

Shell 四则运算方法

let C=A+B
let A++ #let 时 变量前不需要再加$
echo $(($A+$B))
echo $[$A+$B]
expr $A + $B
echo $A+$B | bc #使用 bc 可以做比较复杂的运算

函数定义与调用

function myfun(){ #function 可省略
echo $1 echo "-----"
echo $2 echo "-----"
echo $3
myfun "tom" "lucy" "jack"
if [[ biaodashi ]]
判断文件是否存在 -f 存在真
判断目录是否存在 -d 存在真
判断字符串是否空 -z 字符串长度为 0 真
判断文件大小 -s 文件大小非 0 真
if [[ 条件 1 -a 条件 2 ]] # -a 表示与， -o 表示或

字符串与序列、随机数

name=John && echo 'My name is $name' 输出'My name is $name ，因为单引号里面的$只会当作字面值

字符串截取 a=123456789 ; echo ${a:0:3} 输出 123

echo 替换字符

var=tom_tom_lucy_jack_tomomttom
echo ${var/tom/mary} mary_tom_lucy_jack_tomomttom
echo ${var//tom/mary} mary_mary_lucy_jack_maryomtmary
for i in {1..100} #1,2,3,4...100 这种方法好些，还可以输出间
for i in {1..100..7} #1,8,15....99
for i in `seq 100 ` #1,2,3,4...100
for i in `seq 3 5 ` #3,4,5
echo $RANDOM
head /dev/urandom |md5sum|cksum|cut -c 1-9

使用 cksum 从管道灌进去一些随机文本可生成一些随机数字，需要使用 cut 切 割

字符串截取

a=123A123B456456C
echo ${a##*3} 从最左边找到 3 删除，贪婪 B456456C
echo ${a%%6*} 从最右边找到 6 删除，贪婪 123A123B45
echo ${a%?} 删除最右边一个字符 123A123B456456

提取最后一位

str="12345678"
i=$((${#str}-1)) #字符串长度减去 1，故 i=7
echo ${b:$i:1} #输出 8
date +%F" "%R # 2018-10-14 00:09
cat 1.txt|tr -s "\n"
sed -i '/^$/d' 1.txt
grep -v "^$" 1.txt

Shell script 语法在线检查与建议：https://www.shellcheck.net

考察 if 、head 、tail、sed：https://leetcode.com/problems/tenth-line

考察 ls 按时间、体积大小排序

ls -lt 最新在前
ls -ltr 最旧在前
ls -lS 最大在前
ls -lSr 最小在前

考察 comm 的使用：http://man.linuxde.net/comm

前提是，文件要排序过。结果的第一列是仅仅在文件 1 出现的，第二列是仅仅在文件 2 出现
的，第三列是共同出现的。-1 表示不显示第一列，-2 表示不显示第二列，-3 表示不显示第三列。

考察 grep 与正则、子模式

https://leetcode.com/problems/valid-phone-numbers

https://www.interviewbit.com/problems/valid-phone-number/

grep -P "(\d{3}-|\(\d{3}\)\s{1})\d{3}-\d{4}" input

另外, grep -c 表示匹配次数，-P 表示使用正则 -E 其实是扩展模式不是正则

考察容错处理、if、大于小于、正则、排序、去重统计、awk

https://leetcode.com/problems/word-frequency

#grep 使用 -o 输出、使用-P 表示正则、使用 awk 交换列

grep -o -P "\w{1,}" words.txt |sort |uniq -c|sort -nr|awk '{print $2,$1}'

考察 awk 编程

给定一个文本文件，内有 M 行 N 列数字，求数字求和

题：给定 id 姓名 工资文本，计算工资和

1 tom 2500
2 mary 3200
3 jack 4700
4 who 6900
5 lee 2600

答案：

awk 'BEGIN{sum=0}{sum+=$3}END{print sum}' 1.txt

Ps：注意 BEGIN、END 的位置；注意 awk 里定义的变量不用$号

考察 awk 编程、单引号里如何传递变量

https://www.interviewbit.com/problems/lines-in-a-given-range/

awk 'NR>='$L' && NR<='$R' {print $0}' input

Ps：在单引号字句里，使用'$A' 以传递变量 A

使用 awk 一行检测磁盘分区> 90%

df -Ph | awk ' NR != 1 && $5 >= 90 '  # 为什么单引号里加{}不行呢

考察 tr 替换、删除的使用、去除空格

https://www.interviewbit.com/problems/remove-punctuations/

cat input|tr -d -c "a-zA-Z0-9[:space:]" #注意 tr 里什么代表字母、什么代表数字集

检测主机是否存活的脚本（三次 ping 都失败）

Ps：有个陷阱，ubuntu 16 里使用 sh 执行时，function xxx() 会报错。因此命令行用 bash 执行脚本

#!/bin/bash
function check_ip() { # 定义ping探测函数，function 可省略
fail_count=0
ip=$1
for (( i=0;i<3;i++ ));do # 使用 (( 表达式 )) 来做 for 循环 ping 3 次
if ping -W 1 -c 1 "$ip" > /dev/null 2>&1;then # 使用-W 1 避免很久超时，单位只能整数秒有效
break # 如果ping成功了，则直接结束探测，节省时间
(( fail_count=fail_count+1 )) #若ping失败，则失败数累加，这里使用(( 表达式 )) 比 let 更加高效
if [[ $fail_count -eq 3 ]];then
echo "$ip is failed"
echo "$ip is ok"
iplist="192.168.1.100 192.168.1.101" # 给出IP列表，当然也可以自行改造成文本方案
for ip in $iplist;do
check_ip $ip

批量并发检测存活主机

#!/bin/bash
for ip in 119.29.192.{1..255}; #批量 IP 的技巧 ；仅仅在 bash 生效，sh 不行
ping -c3 -W1 $ip >/dev/null ;
if [ $? -eq 0 ];then
echo "$ip alive"
) & #使用( )& 挂在后台 并发，更快
wait #等待所有子进程结束

检测站点 URL 是否存活：考察 curl 的使用、文件入参、待优化多次检测

#!/bin/bash
# this script read urls from url.txt,then check whether the site isavailable
INPUT_FILE="url.txt"
while read u;do
curl -s --connect-timeout 3 -o /dev/null $u #注意几个参数的使用 --silent 可以用-s
if [ $? -ne 0 ];then
echo "$u"" failed."
echo "$u"" success"
done < $INPUT_FILE

让进程在后台可靠运行的方法（意思是不会随着子 shell 的退出而挂）

nohup command > /dev/null 2>&1 &

screen -S <label>  # 用快捷键 CTRL -a d 来暂时断开当前会话

command & #注意，这样标准输出可能会在屏幕里翻滚


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK