Bug 排查¶
内核 Bug 报告通常会附带一个类似于下面这样的堆栈转储
------------[ cut here ]------------
WARNING: CPU: 1 PID: 28102 at kernel/module.c:1108 module_put+0x57/0x70
Modules linked in: dvb_usb_gp8psk(-) dvb_usb dvb_core nvidia_drm(PO) nvidia_modeset(PO) snd_hda_codec_hdmi snd_hda_intel snd_hda_codec snd_hwdep snd_hda_core snd_pcm snd_timer snd soundcore nvidia(PO) [last unloaded: rc_core]
CPU: 1 PID: 28102 Comm: rmmod Tainted: P WC O 4.8.4-build.1 #1
Hardware name: MSI MS-7309/MS-7309, BIOS V1.12 02/23/2009
00000000 c12ba080 00000000 00000000 c103ed6a c1616014 00000001 00006dc6
c1615862 00000454 c109e8a7 c109e8a7 00000009 ffffffff 00000000 f13f6a10
f5f5a600 c103ee33 00000009 00000000 00000000 c109e8a7 f80ca4d0 c109f617
Call Trace:
[<c12ba080>] ? dump_stack+0x44/0x64
[<c103ed6a>] ? __warn+0xfa/0x120
[<c109e8a7>] ? module_put+0x57/0x70
[<c109e8a7>] ? module_put+0x57/0x70
[<c103ee33>] ? warn_slowpath_null+0x23/0x30
[<c109e8a7>] ? module_put+0x57/0x70
[<f80ca4d0>] ? gp8psk_fe_set_frontend+0x460/0x460 [dvb_usb_gp8psk]
[<c109f617>] ? symbol_put_addr+0x27/0x50
[<f80bc9ca>] ? dvb_usb_adapter_frontend_exit+0x3a/0x70 [dvb_usb]
[<f80bb3bf>] ? dvb_usb_exit+0x2f/0xd0 [dvb_usb]
[<c13d03bc>] ? usb_disable_endpoint+0x7c/0xb0
[<f80bb48a>] ? dvb_usb_device_exit+0x2a/0x50 [dvb_usb]
[<c13d2882>] ? usb_unbind_interface+0x62/0x250
[<c136b514>] ? __pm_runtime_idle+0x44/0x70
[<c13620d8>] ? __device_release_driver+0x78/0x120
[<c1362907>] ? driver_detach+0x87/0x90
[<c1361c48>] ? bus_remove_driver+0x38/0x90
[<c13d1c18>] ? usb_deregister+0x58/0xb0
[<c109fbb0>] ? SyS_delete_module+0x130/0x1f0
[<c1055654>] ? task_work_run+0x64/0x80
[<c1000fa5>] ? exit_to_usermode_loop+0x85/0x90
[<c10013f0>] ? do_fast_syscall_32+0x80/0x130
[<c1549f43>] ? sysenter_past_esp+0x40/0x6a
---[ end trace 6ebc60ef3981792f ]---
这样的堆栈跟踪提供了足够的信息来确定 Bug 发生时内核源代码中的具体行号。根据问题的严重程度，它可能还包含 Oops 一词，就像下面这个一样
BUG: unable to handle kernel NULL pointer dereference at (null)
IP: [<c06969d4>] iret_exc+0x7d0/0xa59
*pdpt = 000000002258a001 *pde = 0000000000000000
Oops: 0002 [#1] PREEMPT SMP
...
尽管是 Oops 或其他类型的堆栈跟踪，通常都需要出错的那一行代码来识别和处理 Bug。在本章中，我们将把所有需要分析的堆栈跟踪统称为 “Oops”。
如果内核是用 CONFIG_DEBUG_INFO 编译的，你可以通过使用 scripts/decode_stacktrace.sh 来提高堆栈跟踪的质量。
已加载的模块¶
被污染的模块、正在加载或卸载的模块会标记为“(...)”,其中污染标志在 受污染的内核 中有描述，“正在加载”标注为“+”，“正在卸载”标注为“-”。
Oops 消息位于何处？¶
通常，Oops 文本由 klogd 从内核缓冲区读取，并交由 syslogd 写入 syslog 文件，通常是 /var/log/messages（取决于 /etc/syslog.conf）。在使用 systemd 的系统上，它也可能由 journald 守护进程存储，并可以通过运行 journalctl 命令来访问。
有时 klogd 会崩溃，这种情况下你可以运行 dmesg > file 从内核缓冲区读取数据并保存它。或者你可以执行 cat /proc/kmsg > file，不过你必须中断它来停止传输，因为 kmsg 是一个“永无止境的文件”。
如果机器崩溃得太严重，以至于你无法输入命令或磁盘不可用，那么你有三种选择
手动从屏幕上抄下文本，并在机器重启后输入。虽然很麻烦，但如果你没有为崩溃做好准备，这是唯一的选择。或者，你也可以用数码相机拍下屏幕的照片——虽然不太好，但总比没有强。如果消息滚动超出了控制台顶部，你可能会发现使用更高分辨率（例如
vga=791）启动可以让你阅读更多的文本。（警告：这需要vesafb，因此对“早期”的 oops 没有帮助。）通过串口控制台启动（参见 Documentation/admin-guide/serial-console.rst），通过零调制解调器连接到第二台机器，并使用你喜欢的通信程序在那里捕获输出。Minicom 工作得很好。
使用 Kdump（参见 Kdump 文档 - 基于 kexec 的崩溃转储解决方案），使用 Documentation/admin-guide/kdump/gdbmacros.txt 中的 dmesg gdbmacro 从旧内存中提取内核环形缓冲区。
寻找 Bug 的位置¶
如果你能将 Bug 的位置精确到内核源代码文件，报告 Bug 的效果会最好。为此有两种方法。通常，使用 gdb 更容易，但内核必须预先使用调试信息进行编译。
gdb¶
GNU 调试器（gdb）是从 vmlinux 文件中找出 OOPS 的确切文件和行号的最佳方法。
gdb 在用 CONFIG_DEBUG_INFO 编译的内核上效果最好。这可以通过运行以下命令来设置
$ ./scripts/config -d COMPILE_TEST -e DEBUG_KERNEL -e DEBUG_INFO
在用 CONFIG_DEBUG_INFO 编译的内核上，你可以简单地从 OOPS 中复制 EIP 值
EIP: 0060:[<c021e50e>] Not tainted VLI
并使用 GDB 将其转换为人类可读的形式
$ gdb vmlinux
(gdb) l *0xc021e50e
如果你没有启用 CONFIG_DEBUG_INFO，你可以使用 OOPS 中的函数偏移量
EIP is at vt_ioctl+0xda8/0x1482
然后在启用 CONFIG_DEBUG_INFO 的情况下重新编译内核
$ ./scripts/config -d COMPILE_TEST -e DEBUG_KERNEL -e DEBUG_INFO
$ make vmlinux
$ gdb vmlinux
(gdb) l *vt_ioctl+0xda8
0x1888 is in vt_ioctl (drivers/tty/vt/vt_ioctl.c:293).
288 {
289 struct vc_data *vc = NULL;
290 int ret = 0;
291
292 console_lock();
293 if (VT_BUSY(vc_num))
294 ret = -EBUSY;
295 else if (vc_num)
296 vc = vc_deallocate(vc_num);
297 console_unlock();
或者，如果你想要更详细的信息
(gdb) p vt_ioctl
$1 = {int (struct tty_struct *, unsigned int, unsigned long)} 0xae0 <vt_ioctl>
(gdb) l *0xae0+0xda8
你也可以改用目标文件
$ make drivers/tty/
$ gdb drivers/tty/vt/vt_ioctl.o
(gdb) l *vt_ioctl+0xda8
如果你有一个调用跟踪，例如
Call Trace:
[<ffffffff8802c8e9>] :jbd:log_wait_commit+0xa3/0xf5
[<ffffffff810482d9>] autoremove_wake_function+0x0/0x2e
[<ffffffff8802770b>] :jbd:journal_stop+0x1be/0x1ee
...
这表明问题可能在 :jbd: 模块中。你可以在 gdb 中加载该模块并列出相关代码
$ gdb fs/jbd/jbd.ko
(gdb) l *log_wait_commit+0xa3
注意
你也可以对堆栈跟踪中的任何其他函数调用执行相同的操作，比如这个
[<f80bc9ca>] ? dvb_usb_adapter_frontend_exit+0x3a/0x70 [dvb_usb]
上述调用发生的位置可以通过以下方式查看
$ gdb drivers/media/usb/dvb-usb/dvb-usb.o
(gdb) l *dvb_usb_adapter_frontend_exit+0x3a
objdump¶
要调试内核，请使用 objdump 并从崩溃输出中查找十六进制偏移量，以找到有效代码/汇编的行。如果没有调试符号，你将看到所示例程的汇编代码，但如果你的内核具有调试符号，C 代码也将可用。（可以在配置菜单的内核 hacking 菜单中启用调试符号。）例如
$ objdump -r -S -l --disassemble net/ipv4/tcp.o
注意
你需要位于内核源码树的顶层，以便能够找到你的 C 文件。
如果你无法访问源代码，你仍然可以使用以下方法调试某些崩溃转储（Dave Miller 展示的崩溃转储输出示例）
EIP is at +0x14/0x4c0
...
Code: 44 24 04 e8 6f 05 00 00 e9 e8 fe ff ff 8d 76 00 8d bc 27 00 00
00 00 55 57 56 53 81 ec bc 00 00 00 8b ac 24 d0 00 00 00 8b 5d 08
<8b> 83 3c 01 00 00 89 44 24 14 8b 45 28 85 c0 89 44 24 18 0f 85
Put the bytes into a "foo.s" file like this:
.text
.globl foo
foo:
.byte .... /* bytes from Code: part of OOPS dump */
Compile it with "gcc -c -o foo.o foo.s" then look at the output of
"objdump --disassemble foo.o".
Output:
ip_queue_xmit:
push %ebp
push %edi
push %esi
push %ebx
sub $0xbc, %esp
mov 0xd0(%esp), %ebp ! %ebp = arg0 (skb)
mov 0x8(%ebp), %ebx ! %ebx = skb->sk
mov 0x13c(%ebx), %eax ! %eax = inet_sk(sk)->opt
scripts/decodecode 可以用来自动化大部分这方面的工作，具体取决于正在调试的 CPU 架构。
报告 Bug¶
一旦通过检查位置找出了 Bug 发生的地方，你既可以尝试自己修复它，也可以将其报告给上游。
为了将其报告给上游，你应该确定受影响代码开发所使用的 Bug 跟踪器（如果有的话）或邮件列表。这可以通过使用 get_maintainer.pl 脚本来完成。
例如，如果你在 gspca 的 sonixj.c 文件中发现了 Bug，你可以通过以下方式获取其维护者
$ ./scripts/get_maintainer.pl --bug -f drivers/media/usb/gspca/sonixj.c
Hans Verkuil <hverkuil@kernel.org> (odd fixer:GSPCA USB WEBCAM DRIVER,commit_signer:1/1=100%)
Mauro Carvalho Chehab <mchehab@kernel.org> (maintainer:MEDIA INPUT INFRASTRUCTURE (V4L/DVB),commit_signer:1/1=100%)
Tejun Heo <tj@kernel.org> (commit_signer:1/1=100%)
Bhaktipriya Shridhar <bhaktipriya96@gmail.com> (commit_signer:1/1=100%,authored:1/1=100%,added_lines:4/4=100%,removed_lines:9/9=100%)
linux-media@vger.kernel.org (open list:GSPCA USB WEBCAM DRIVER)
linux-kernel@vger.kernel.org (open list)
请注意，它将指向
最后修改过该源代码的开发人员（如果在 git 树中进行）。在上面的例子中是 Tejun 和 Bhaktipriya（在这种特定情况下，并没有真正参与该文件的开发）；
驱动程序维护者（Hans Verkuil）；
子系统维护者（Mauro Carvalho Chehab）；
驱动程序和/或子系统邮件列表（linux-media@vger.kernel.org）；
Linux 内核邮件列表（linux-kernel@vger.kernel.org）；
驱动程序/子系统的 Bug 报告 URI（上述示例中没有）。
如果列表末尾包含 Bug 报告 URI，请优先使用它们而不是电子邮件。否则，请将 Bug 报告给用于该代码开发的邮件列表（linux-media ML），并抄送驱动程序维护者（Hans）。
如果你完全不知道该把报告发给谁，且 get_maintainer.pl 没有提供任何有用的信息，请将其发送至 linux-kernel@vger.kernel.org。
感谢你为使 Linux 尽可能稳定所提供的帮助。
修复 Bug¶
如果你懂编程，你不仅可以通过报告 Bug 来帮助我们，还可以为我们提供解决方案。毕竟，开源就是分享你的成果，难道你不想让自己的天才得到认可吗？
如果你决定走这条路，一旦你研究出了修复方案，请将其提交给上游。
不过，请务必阅读 Documentation/process/submitting-patches.rst 以帮助你的代码被接受。
关于使用 klogd 进行 Oops 跟踪的说明¶
为了帮助 Linus 和其他内核开发人员，klogd 中加入了对处理保护错误（protection faults）的大量支持。为了完全支持地址解析，至少应使用 sysklogd 软件包的 1.3-pl3 版本。
当发生保护错误时，klogd 守护进程会自动将内核日志消息中的重要地址转换为其符号等价形式。然后，这个翻译后的内核消息会通过 klogd 正在使用的任何报告机制进行转发。保护错误消息可以简单地从消息文件中剪切出来并转发给内核开发人员。
klogd 执行两种类型的地址解析。第一种是静态转换，第二种是动态转换。静态转换使用 System.map 文件。为了进行静态转换，klogd 守护进程必须能够在守护进程初始化时找到系统映射文件。有关 klogd 如何搜索映射文件的信息，请参见 klogd 手册页。
当使用内核可加载模块时，动态地址解析非常重要。由于内核模块的内存是从内核的动态内存池中分配的，因此模块的起点以及模块中的函数和符号都没有固定位置。
内核支持系统调用，允许程序确定加载了哪些模块及其在内存中的位置。利用这些系统调用，klogd 守护进程构建了一个符号表，可用于调试在可加载内核模块中发生的保护错误。
至少，klogd 会提供产生保护错误的模块名称。如果可加载模块的开发人员选择从模块中导出符号信息，则可能会有额外的符号信息可用。
由于内核模块环境可能是动态的，因此必须有一种机制，在模块环境发生变化时通知 klogd 守护进程。有可用的命令行选项允许 klogd 向当前正在运行的守护进程发信号，以刷新符号信息。有关更多信息，请参见 klogd 手册页。
sysklogd 发行版中包含一个补丁，它修改了 modules-2.0.0 软件包，以便在加载或卸载模块时自动向 klogd 发送信号。应用此补丁实质上为调试内核可加载模块中发生的保护错误提供了无缝支持。
以下是由 klogd 处理的可加载模块中保护错误的示例
Aug 29 09:51:01 blizard kernel: Unable to handle kernel paging request at virtual address f15e97cc
Aug 29 09:51:01 blizard kernel: current->tss.cr3 = 0062d000, %cr3 = 0062d000
Aug 29 09:51:01 blizard kernel: *pde = 00000000
Aug 29 09:51:01 blizard kernel: Oops: 0002
Aug 29 09:51:01 blizard kernel: CPU: 0
Aug 29 09:51:01 blizard kernel: EIP: 0010:[oops:_oops+16/3868]
Aug 29 09:51:01 blizard kernel: EFLAGS: 00010212
Aug 29 09:51:01 blizard kernel: eax: 315e97cc ebx: 003a6f80 ecx: 001be77b edx: 00237c0c
Aug 29 09:51:01 blizard kernel: esi: 00000000 edi: bffffdb3 ebp: 00589f90 esp: 00589f8c
Aug 29 09:51:01 blizard kernel: ds: 0018 es: 0018 fs: 002b gs: 002b ss: 0018
Aug 29 09:51:01 blizard kernel: Process oops_test (pid: 3374, process nr: 21, stackpage=00589000)
Aug 29 09:51:01 blizard kernel: Stack: 315e97cc 00589f98 0100b0b4 bffffed4 0012e38e 00240c64 003a6f80 00000001
Aug 29 09:51:01 blizard kernel: 00000000 00237810 bfffff00 0010a7fa 00000003 00000001 00000000 bfffff00
Aug 29 09:51:01 blizard kernel: bffffdb3 bffffed4 ffffffda 0000002b 0007002b 0000002b 0000002b 00000036
Aug 29 09:51:01 blizard kernel: Call Trace: [oops:_oops_ioctl+48/80] [_sys_ioctl+254/272] [_system_call+82/128]
Aug 29 09:51:01 blizard kernel: Code: c7 00 05 00 00 00 eb 08 90 90 90 90 90 90 90 90 89 ec 5d c3