云原生技术研究：从 bpftrace 看如何利用 eBPF 实现内核追踪

除了前面介绍的Kprobes/Kretprobes和Tracepoints内核探针外，eBPF还支持对用户态程序通过探针进行追踪。例如用户态的Uprobes/Uretprobes探针，在用户态对函数进行hook，实现与Kprobes/Kretprobes类似的功能；再比如USDTs（User Static Defined Tracepoints）探针，是用户态的Tracepoints，需要开发者在用户态程序中自己埋点Tracepoint，实现与内核Tracepoints类似的功能。

另外，bpftrace还支持内核软件事件（software）、处理器事件（hardware）等探针格式，具体可参考其github官方的介绍[ 5 ]，本文就不逐一进行分析了。

四、安装部署bpftrace

前文对动态追踪工具、bpftrace以及相应的探针类型做了介绍，接下来我们就部署运行bpftrace，看看如何使用其实现动态追踪。

由于bpftrace是建立在eBPF之上的一种编程语言，考虑到部分特性需满足Linux内核的支持，因此建议Linux的内核版本在4.9以上，部分功能在低版本内核中是不支持的，例如Tracepoints是从4.7开始支持，Uprobes从4.3开始支持，Kprobes从4.1开始支持。

bpftrace在github官方文档中提供了三种安装部署方式[ 6 ]：

（1）通过 安装包 安装，比如在Ubuntu19.04之后，可以运行sudo apt-get install -y bpftrace安装；

（2）通过 Docker镜像 安装，使用如下命令运行一个docker容器，并且执行对应的脚本。下面示例命令中，使用latest镜像，运行capable.bt脚本。

$ docker run -ti -v /usr/src:/usr/src:ro \

-v/lib/modules/:/lib/modules:ro \

-v/sys/kernel/debug/:/sys/kernel/debug:rw \

--net=host --pid=host --privileged \

quay.io/iovisor/bpftrace:latest \

capable.bt

Attaching 3 probes...

Tracing cap_capable syscalls... Hit Ctrl-C to end.

TIME      UID    PID    COMM             CAP       NAME           AUDIT

02:49:04   0     501    systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     501    systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     501    systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     5585   systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     5576   runc:[2:INIT]        21  CAP_SYS_ADMIN        0

02:49:04   0     5576   runc:[2:INIT]        21  CAP_SYS_ADMIN        0

02:49:04   0     5577   systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     5587   systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     501    systemd-udevd     12  CAP_NET_ADMIN        0

02:49:04   0     5576   runc:[2:INIT]        21  CAP_SYS_ADMIN        0

02:49:04   0     5576   runc:[2:INIT]        21  CAP_SYS_ADMIN        0

…………

（3）通过 源码 安装，笔者的测试环境就是通过源码进行的部署安装，相关信息如下所示。

操作系统： Ubuntu 18.04.4 LTS\n \l

内核版本： Linux5.5.7-050507-generic x86_64

安装步骤：

$ apt-get update

$ apt-get install -y bison cmake flex g++ gitlibelf-dev zlib1g-dev libfl-dev systemtap-sdt-dev binutils-dev

$ apt-get install -y llvm-7-dev llvm-7-runtimelibclang-7-dev clang-7

$ git clone https://github.com/iovisor/bpftrace

$ mkdir bpftrace/build; cd bpftrace/build;

$ cmake -DCMAKE_BUILD_TYPE=Release ..

$ make -j8

$ make install

bpftrace的二进制可执行文件被安装在了/usr/local/bin/bpftrace路径下，相关的工具安装在/usr/local/share/bpftrace/tools/路径。另外，可以在cmake时通过参数指定安装目录，默认路径是-DCMAKE_INSTALL_PREFIX=/usr/local。

安装完毕后，可以运行bpftrace --help进行验证，同时可以简单看一下其用法。

root@u18-181:~# bpftrace --help

USAGE:

bpftrace[options] filename

bpftrace[options] - <stdin input>

bpftrace[options] -e 'program'

OPTIONS:

-BMODE        output buffering mode('full', 'none')

-fFORMAT      output format ('text','json')

-ofile        redirect bpftrace output tofile

-d             debug info dry run

-dd            verbose debug info dry run

-b             force BTF (BPF type format)processing

-e'program'   execute this program

-h,--help     show this help message

-IDIR         add the directory to the include search path

--includeFILE add an #include file before preprocessing

-l[search]    list probes

-pPID         enable USDT probes on PID

-c'CMD'       run CMD and enable USDTprobes on resulting process

--usdt-file-activation

activate usdt semaphores based on file path

--unsafe       allow unsafebuiltin functions

-v             verbose messages

--info         Print informationabout kernel BPF support

-k             emit a warning when a bpf helper returns anerror (except read functions)

-kk            check all bpf helper functions

-V,--version  bpftrace version

…… ……

五、如何进行追踪

bpftrace的一个方便之处在于，其既可以通过一个命令行，完成简单动态追踪，又可以按照其规定的语法结构，将追踪逻辑编辑成可执行的脚本。

5.1 命令行 

root@u18-181:~# bpftrace -e'tracepoint:syscalls:sys_enter_openat { printf("%s %s\n", comm,str(args->filename)); }'

Attaching 1 probe...

ls /etc/ld.so.cache

ls /lib/x86_64-linux-gnu/libselinux.so.1

ls /lib/x86_64-linux-gnu/libc.so.6

ls /lib/x86_64-linux-gnu/libpcre.so.3

ls /lib/x86_64-linux-gnu/libdl.so.2

ls /lib/x86_64-linux-gnu/libpthread.so.0

ls /proc/filesystems

ls /usr/lib/locale/locale-archive

ls .

^C

这个命令可以在文件打开时，追踪并打印出进程名以及对应的文件名，运行后按Ctrl-C结束。

执行的程序中，tracepoint:syscalls:sys_enter_openat表示这是一个tracepoint探针，当进入openat()系统调用时执行该探针。该探针的动作是打印进程名和文件名，也就是后边{ }中的内容。

comm是内建变量，代表当前进程的名字，其它类似的变量还有pid和tid，分别表示进程标识和线程标识。

args是一个指针，指向该tracepoint的参数。这个结构时由bpftrace根据tracepoint信息自动生成的。这个结构的成员可以通过命令bpftrace -vltracepoint:syscalls:sys_enter_openat找到。

5.2 追踪脚本 

除了上述命令行方式之外，我们还可以将复杂的追踪命令编写成特定的脚本，然后通过bpftrace命令执行这个脚本完成我们的追踪目标。

下面这个示例脚本，跟踪了进程何时调用exec()。它可以用于识别新的通过fork()->exec()序列创建的进程。不过，这里当前没有对返回值进行跟踪，因此exec()可能已经执行失败。

该脚本同样是采用了tracepoint探针，当进入execve ()系统调用时执行该探针。该探针的动作是打印时间、PID和执行命令。

#!/usr/bin/env bpftrace

/*

*execsnoop.bt   Trace new processes viaexec() syscalls.

*                For Linux, uses bpftrace andeBPF.

*/

BEGIN

{

printf("%-10s%-5s %s\n", "TIME(ms)", "PID", "ARGS");

}

tracepoint:syscalls:sys_enter_execve

{

printf("%-10u%-5d ", elapsed / 1000000, pid);

join(args->argv);

}

执行结果：

root@u18-181:~# bpftraceexecsnoop.bt

Attaching 2probes...

TIME(ms)   PID        ARGS

6135       15424     /usr/sbin/sshd -D -R

6589       15426    /usr/sbin/sshd -D -R

6590       15427

6592       15428    /usr/bin/env -iPATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin run-parts--lsbsysinit /etc/update-motd.d

6593       15428     run-parts --lsbsysinit /etc/update-motd.d

6593       15428     run-parts --lsbsysinit /etc/update-motd.d

6593       15428     run-parts --lsbsysinit /etc/update-motd.d

6593       15428    run-parts --lsbsysinit/etc/update-motd.d

6593       15428     run-parts --lsbsysinit /etc/update-motd.d

6593       15428     run-parts --lsbsysinit /etc/update-motd.d

6594       15429     /etc/update-motd.d/00-header

6596       15430    uname -o

6597       15431    uname -r

6599       15432    uname -m

…………

运行上述追踪脚本，我们同时新创建了一个ssh连接，可以发现该脚本追踪到了在创建新的ssh连接过程中发生的部分execve ()系统调用情况。

我们再看一个kprobe探针的例子。下面这个脚本，使用了kprobe探针，当内核功能tcp_connect() 被调用时，执行脚本中的追踪程序，并且抓取时间、PID、命令以及源目的相关的信息。

从脚本中对抓取信息的解析和处理中我们可以看出，如前文所述，在使用kprobes探针时，需要知道想要追踪的函数签名（Function Signature），这里一方面需要开发者对内核函数有一个比较清晰的认识，同时对特定版本的依赖也较强。

#!/usr/bin/env bpftrace

/*

*tcpconnect.bt  Trace TCP connect()s.

*                For Linux, uses bpftrace andeBPF.

*/

#include <linux/socket.h>

#include <net/sock.h>

BEGIN

{

printf("Tracing tcp connections. Hit Ctrl-C to end.\n");

printf("%-8s %-8s %-16s ", "TIME", "PID","COMM");

printf("%-39s %-6s %-39s %-6s\n", "SADDR","SPORT", "DADDR", "DPORT");

}

kprobe:tcp_connect

{

$sk =((struct sock *) arg0);

$inet_family = $sk->__sk_common.skc_family;

if($inet_family == AF_INET || $inet_family == AF_INET6) {

if($inet_family == AF_INET) {

$daddr= ntop($sk->__sk_common.skc_daddr);

$saddr= ntop($sk->__sk_common.skc_rcv_saddr);

} else {

$daddr= ntop($sk->__sk_common.skc_v6_daddr.in6_u.u6_addr8);

$saddr= ntop($sk->__sk_common.skc_v6_rcv_saddr.in6_u.u6_addr8);

}

$lport =$sk->__sk_common.skc_num;

$dport =$sk->__sk_common.skc_dport;

//Destination port is big endian, it must be flipped

$dport =($dport >> 8) | (($dport << 8) & 0x00FF00);

time("%H:%M:%S ");

printf("%-8d %-16s ", pid, comm);

printf("%-39s %-6d %-39s %-6d\n", $saddr, $lport, $daddr,$dport);

}

}

执行结果：

root@u18-181:/usr/local/share/bpftrace/tools#bpftrace tcpconnect.bt

Attaching 2 probes...

Tracing tcp connections. Hit Ctrl-C to end.

TIME       PID  COMM   SADDR      SPORT   DADDR      DPORT

17:56:02   14243   curl    192.168.19.181  55758 182.61.200.7     80

17:56:36   14255  http    192.168.19.181  48572 192.168.19.16    80

17:56:37   14254  https   192.168.19.181  36262 192.168.255.51   3128

17:56:37   14253   http   192.168.19.181  36264  192.168.255.51   3128

17:56:38   14494  https   192.168.19.181  36266 192.168.255.51   3128

^C

我们发现，脚本中相关的语法内容，跟上一节介绍的命令行方式，其实是一致的。命令行可以简单快速的追踪到一些简单的数据，而脚本的好处就是，我们可以把一些复杂、常用的追踪内容实现为特定的追踪工具来更方便的使用。

bpftrace中已经实现了一部分的追踪工具，前文安装部署部分已经介绍，默认情况下，这些工具在/usr/local/share/bpftrace/tools/路径下面。

5.3 追踪工具 

笔者当前部署的bpftrace（bpftrace v0.10.0-156-ga840）版本，共提供35个可直接使用的工具脚本[ 8 ]。按照其实现的功能，对除了系统性能分析相关的14个工具外，其余的21个工具大致进行了一下分类，如下表所示。

> > > >

5.3.1 网络

编号

脚本

使用探针

实现功能

1

tcpaccept.bt

kretprobe:inet_csk_accept

追踪TCP套接字accept()操作

2

tcpconnect.bt

kprobe:tcp_connect

追踪所有的TCP连接操作

3

tcpdrop.bt

kprobe:tcp_drop

追踪TCP丢包详情

4

tcplife.bt

kprobe:tcp_set_state

追踪TCP连接生命周期详情

5

tcpretrans.bt

kprobe:tcp_retransmit_skb

追踪TCP重传

6

tcpsynbl.bt

kprobe:tcp_v4_syn_recv_sock,

kprobe:tcp_v6_syn_recv_sock

以柱状图的形式显示TCP SYN backlog

> > > >

5.3.3  系统