Bug hunting¶
内核错误报告通常附带像下面这样的堆栈转储
------------[ cut here ]------------
WARNING: CPU: 1 PID: 28102 at kernel/module.c:1108 module_put+0x57/0x70
Modules linked in: dvb_usb_gp8psk(-) dvb_usb dvb_core nvidia_drm(PO) nvidia_modeset(PO) snd_hda_codec_hdmi snd_hda_intel snd_hda_codec snd_hwdep snd_hda_core snd_pcm snd_timer snd soundcore nvidia(PO) [last unloaded: rc_core]
CPU: 1 PID: 28102 Comm: rmmod Tainted: P WC O 4.8.4-build.1 #1
Hardware name: MSI MS-7309/MS-7309, BIOS V1.12 02/23/2009
00000000 c12ba080 00000000 00000000 c103ed6a c1616014 00000001 00006dc6
c1615862 00000454 c109e8a7 c109e8a7 00000009 ffffffff 00000000 f13f6a10
f5f5a600 c103ee33 00000009 00000000 00000000 c109e8a7 f80ca4d0 c109f617
Call Trace:
[<c12ba080>] ? dump_stack+0x44/0x64
[<c103ed6a>] ? __warn+0xfa/0x120
[<c109e8a7>] ? module_put+0x57/0x70
[<c109e8a7>] ? module_put+0x57/0x70
[<c103ee33>] ? warn_slowpath_null+0x23/0x30
[<c109e8a7>] ? module_put+0x57/0x70
[<f80ca4d0>] ? gp8psk_fe_set_frontend+0x460/0x460 [dvb_usb_gp8psk]
[<c109f617>] ? symbol_put_addr+0x27/0x50
[<f80bc9ca>] ? dvb_usb_adapter_frontend_exit+0x3a/0x70 [dvb_usb]
[<f80bb3bf>] ? dvb_usb_exit+0x2f/0xd0 [dvb_usb]
[<c13d03bc>] ? usb_disable_endpoint+0x7c/0xb0
[<f80bb48a>] ? dvb_usb_device_exit+0x2a/0x50 [dvb_usb]
[<c13d2882>] ? usb_unbind_interface+0x62/0x250
[<c136b514>] ? __pm_runtime_idle+0x44/0x70
[<c13620d8>] ? __device_release_driver+0x78/0x120
[<c1362907>] ? driver_detach+0x87/0x90
[<c1361c48>] ? bus_remove_driver+0x38/0x90
[<c13d1c18>] ? usb_deregister+0x58/0xb0
[<c109fbb0>] ? SyS_delete_module+0x130/0x1f0
[<c1055654>] ? task_work_run+0x64/0x80
[<c1000fa5>] ? exit_to_usermode_loop+0x85/0x90
[<c10013f0>] ? do_fast_syscall_32+0x80/0x130
[<c1549f43>] ? sysenter_past_esp+0x40/0x6a
---[ end trace 6ebc60ef3981792f ]---
这样的堆栈跟踪提供了足够的信息来识别内核源代码中发生错误的行。根据问题的严重程度，它也可能包含 Oops 这个词，就像这个一样
BUG: unable to handle kernel NULL pointer dereference at (null)
IP: [<c06969d4>] iret_exc+0x7d0/0xa59
*pdpt = 000000002258a001 *pde = 0000000000000000
Oops: 0002 [#1] PREEMPT SMP
...
尽管是 Oops 或其他类型的堆栈跟踪，通常需要找出导致问题的行，才能识别和处理该错误。在本章中，我们将所有需要分析的堆栈跟踪都称为 “Oops”。
如果内核是用 CONFIG_DEBUG_INFO 编译的，您可以使用 file:scripts/decode_stacktrace.sh 来提高堆栈跟踪的质量。
链接的模块¶
被污染或正在加载或卸载的模块用 "(...)" 标记，其中污染标志在 file:被污染的内核 中描述，“正在加载”用 “+” 注释，“正在卸载”用 “-” 注释。
Oops 消息在哪里？¶
通常，Oops 文本由 klogd 从内核缓冲区读取，并传递给 syslogd，后者将其写入 syslog 文件，通常是 /var/log/messages (取决于 /etc/syslog.conf)。在具有 systemd 的系统上，它也可能由 journald 守护程序存储，并通过运行 journalctl 命令访问。
有时 klogd 会死掉，在这种情况下，您可以运行 dmesg > file 从内核缓冲区读取数据并保存它。或者您可以 cat /proc/kmsg > file，但是您必须中断才能停止传输，因为 kmsg 是一个 “永不结束的文件”。
如果机器崩溃得很严重，您无法输入命令或磁盘不可用，那么您有三个选择
手动从屏幕复制文本，并在机器重启后键入它。 混乱，但如果您没有为崩溃做好计划，这是唯一的选择。或者，您可以用数码相机拍摄屏幕照片 - 不好，但总比没有好。如果消息滚动到控制台顶部，您可能会发现以更高的分辨率启动（例如，
vga=791）将允许您阅读更多文本。（注意：这需要vesafb，因此对于 “早期” oops 无效。）使用串行控制台启动（参见 Documentation/admin-guide/serial-console.rst），运行到第二台机器的零调制解调器，并使用您喜欢的通信程序在那里捕获输出。 Minicom 工作得很好。
使用 Kdump（参见 Kdump 文档 - 基于 kexec 的崩溃转储解决方案），使用 Documentation/admin-guide/kdump/gdbmacros.txt 中的 dmesg gdbmacro 从旧内存中提取内核环形缓冲区。
查找 bug 的位置¶
如果您能指出 bug 在内核源文件中的位置，报告 bug 的效果最佳。有两种方法可以做到这一点。通常，使用 gdb 更容易，但内核应该预先编译调试信息。
gdb¶
GNU 调试器 (gdb) 是从 vmlinux 文件中找出 OOPS 的确切文件和行号的最佳方法。
gdb 的使用在用 CONFIG_DEBUG_INFO 编译的内核上效果最佳。这可以通过运行来设置
$ ./scripts/config -d COMPILE_TEST -e DEBUG_KERNEL -e DEBUG_INFO
在用 CONFIG_DEBUG_INFO 编译的内核上，您可以简单地从 OOPS 复制 EIP 值
EIP: 0060:[<c021e50e>] Not tainted VLI
并使用 GDB 将其转换为人类可读的形式
$ gdb vmlinux
(gdb) l *0xc021e50e
如果您没有启用 CONFIG_DEBUG_INFO，您可以使用 OOPS 中的函数偏移量
EIP is at vt_ioctl+0xda8/0x1482
并启用 CONFIG_DEBUG_INFO 重新编译内核
$ ./scripts/config -d COMPILE_TEST -e DEBUG_KERNEL -e DEBUG_INFO
$ make vmlinux
$ gdb vmlinux
(gdb) l *vt_ioctl+0xda8
0x1888 is in vt_ioctl (drivers/tty/vt/vt_ioctl.c:293).
288 {
289 struct vc_data *vc = NULL;
290 int ret = 0;
291
292 console_lock();
293 if (VT_BUSY(vc_num))
294 ret = -EBUSY;
295 else if (vc_num)
296 vc = vc_deallocate(vc_num);
297 console_unlock();
或者，如果您想更详细
(gdb) p vt_ioctl
$1 = {int (struct tty_struct *, unsigned int, unsigned long)} 0xae0 <vt_ioctl>
(gdb) l *0xae0+0xda8
您可以改为使用对象文件
$ make drivers/tty/
$ gdb drivers/tty/vt/vt_ioctl.o
(gdb) l *vt_ioctl+0xda8
如果您有调用跟踪，例如
Call Trace:
[<ffffffff8802c8e9>] :jbd:log_wait_commit+0xa3/0xf5
[<ffffffff810482d9>] autoremove_wake_function+0x0/0x2e
[<ffffffff8802770b>] :jbd:journal_stop+0x1be/0x1ee
...
这表明问题可能出在 :jbd: 模块中。您可以在 gdb 中加载该模块并列出相关代码
$ gdb fs/jbd/jbd.ko
(gdb) l *log_wait_commit+0xa3
注意
您也可以对堆栈跟踪中的任何函数调用执行相同的操作，就像这样
[<f80bc9ca>] ? dvb_usb_adapter_frontend_exit+0x3a/0x70 [dvb_usb]
可以使用以下方法查看上述调用发生的位置
$ gdb drivers/media/usb/dvb-usb/dvb-usb.o
(gdb) l *dvb_usb_adapter_frontend_exit+0x3a
objdump¶
要调试内核，请使用 objdump 并查找崩溃输出中的十六进制偏移量，以查找有效的代码/汇编程序行。如果没有调试符号，您将看到显示的例程的汇编代码，但如果您的内核具有调试符号，则 C 代码也将可用。（可以在菜单配置的内核 hacking 菜单中启用调试符号。）例如
$ objdump -r -S -l --disassemble net/ipv4/tcp.o
注意
您需要位于内核树的顶层才能选择您的 C 文件。
如果您无法访问源代码，您仍然可以使用以下方法调试一些崩溃转储（Dave Miller 显示的示例崩溃转储输出）
EIP is at +0x14/0x4c0
...
Code: 44 24 04 e8 6f 05 00 00 e9 e8 fe ff ff 8d 76 00 8d bc 27 00 00
00 00 55 57 56 53 81 ec bc 00 00 00 8b ac 24 d0 00 00 00 8b 5d 08
<8b> 83 3c 01 00 00 89 44 24 14 8b 45 28 85 c0 89 44 24 18 0f 85
Put the bytes into a "foo.s" file like this:
.text
.globl foo
foo:
.byte .... /* bytes from Code: part of OOPS dump */
Compile it with "gcc -c -o foo.o foo.s" then look at the output of
"objdump --disassemble foo.o".
Output:
ip_queue_xmit:
push %ebp
push %edi
push %esi
push %ebx
sub $0xbc, %esp
mov 0xd0(%esp), %ebp ! %ebp = arg0 (skb)
mov 0x8(%ebp), %ebx ! %ebx = skb->sk
mov 0x13c(%ebx), %eax ! %eax = inet_sk(sk)->opt
file:scripts/decodecode 可用于自动执行此操作的大部分，具体取决于正在调试的 CPU 架构。
报告 bug¶
一旦您通过检查 bug 的位置，找到了 bug 发生的位置，您可以尝试自己修复它或将其报告给上游。
为了将其报告给上游，您应该确定 bug 跟踪器（如果有）或用于开发受影响代码的邮件列表。这可以通过使用 get_maintainer.pl 脚本来完成。
例如，如果您在 gspca 的 sonixj.c 文件中发现了一个 bug，您可以使用以下命令获取其维护者
$ ./scripts/get_maintainer.pl --bug -f drivers/media/usb/gspca/sonixj.c
Hans Verkuil <hverkuil@xs4all.nl> (odd fixer:GSPCA USB WEBCAM DRIVER,commit_signer:1/1=100%)
Mauro Carvalho Chehab <mchehab@kernel.org> (maintainer:MEDIA INPUT INFRASTRUCTURE (V4L/DVB),commit_signer:1/1=100%)
Tejun Heo <tj@kernel.org> (commit_signer:1/1=100%)
Bhaktipriya Shridhar <bhaktipriya96@gmail.com> (commit_signer:1/1=100%,authored:1/1=100%,added_lines:4/4=100%,removed_lines:9/9=100%)
linux-media@vger.kernel.org (open list:GSPCA USB WEBCAM DRIVER)
linux-kernel@vger.kernel.org (open list)
请注意，它将指向
最后接触源代码的开发人员（如果这是在 git 树中完成的）。在上面的示例中，Tejun 和 Bhaktipriya（在这种特定情况下，没有真正参与此文件的开发）；
驱动程序维护者 (Hans Verkuil);
子系统维护者 (Mauro Carvalho Chehab);
驱动程序和/或子系统邮件列表 (linux-media@vger.kernel.org);
Linux 内核邮件列表 (linux-kernel@vger.kernel.org);
驱动程序/子系统的 bug 报告 URI（在上面的示例中没有）。
如果列表末尾包含 bug 报告 URI，请优先选择它们而不是电子邮件。否则，请将 bug 报告给用于开发代码的邮件列表（linux-media ML），并抄送驱动程序维护者 (Hans)。
如果您完全不知道该将报告发送给谁，并且 get_maintainer.pl 没有为您提供任何有用的信息，请将其发送到 linux-kernel@vger.kernel.org。
感谢您帮助使 Linux 尽可能稳定。
修复 bug¶
如果您懂编程，您不仅可以报告 bug，还可以为我们提供解决方案，从而帮助我们。毕竟，开源就是分享您所做的事情，难道您不想因您的才华而受到认可吗？
如果您决定这样做，一旦您解决了问题，请将其提交给上游。
请阅读 Documentation/process/submitting-patches.rst，以帮助您的代码被接受。
关于使用 klogd 进行 Oops 跟踪的说明¶
为了帮助 Linus 和其他内核开发人员，klogd 中已包含大量支持来处理保护错误。为了完全支持地址解析，应使用至少 1.3-pl3 版本的 sysklogd 包。
发生保护错误时，klogd 守护程序会自动将内核日志消息中的重要地址转换为其符号等效项。然后，此转换后的内核消息通过 klogd 使用的任何报告机制转发。保护错误消息可以简单地从消息文件中剪切出来并转发给内核开发人员。
klogd 执行两种类型的地址解析。第一种是静态转换，第二种是动态转换。静态转换使用 System.map 文件。为了进行静态转换，klogd 守护程序必须能够在守护程序初始化时找到系统映射文件。有关 klogd 如何搜索映射文件的信息，请参阅 klogd 手册页。
当使用内核可加载模块时，动态地址转换非常重要。由于内核模块的内存是从内核的动态内存池中分配的，因此模块的启动或模块中的函数和符号都没有固定的位置。
内核支持系统调用，允许程序确定哪些模块已加载及其在内存中的位置。使用这些系统调用，klogd 守护程序构建一个符号表，该表可用于调试可加载内核模块中发生的保护错误。
至少，klogd 将提供生成保护错误的模块的名称。如果可加载模块的开发人员选择从模块导出符号信息，则可能有其他可用的符号信息。
由于内核模块环境可以是动态的，因此必须有一种机制在模块环境发生变化时通知 klogd 守护程序。有一些命令行选项可用，允许 klogd 向当前正在执行的守护程序发出信号，应该刷新符号信息。有关更多信息，请参阅 klogd 手册页。
sysklogd 发行版中包含一个补丁，该补丁修改了 modules-2.0.0 包，以便在加载或卸载模块时自动向 klogd 发出信号。应用此补丁可为调试内核可加载模块中发生的保护错误提供基本上无缝的支持。
以下是由 klogd 处理的可加载模块中的保护错误的示例
Aug 29 09:51:01 blizard kernel: Unable to handle kernel paging request at virtual address f15e97cc
Aug 29 09:51:01 blizard kernel: current->tss.cr3 = 0062d000, %cr3 = 0062d000
Aug 29 09:51:01 blizard kernel: *pde = 00000000
Aug 29 09:51:01 blizard kernel: Oops: 0002
Aug 29 09:51:01 blizard kernel: CPU: 0
Aug 29 09:51:01 blizard kernel: EIP: 0010:[oops:_oops+16/3868]
Aug 29 09:51:01 blizard kernel: EFLAGS: 00010212
Aug 29 09:51:01 blizard kernel: eax: 315e97cc ebx: 003a6f80 ecx: 001be77b edx: 00237c0c
Aug 29 09:51:01 blizard kernel: esi: 00000000 edi: bffffdb3 ebp: 00589f90 esp: 00589f8c
Aug 29 09:51:01 blizard kernel: ds: 0018 es: 0018 fs: 002b gs: 002b ss: 0018
Aug 29 09:51:01 blizard kernel: Process oops_test (pid: 3374, process nr: 21, stackpage=00589000)
Aug 29 09:51:01 blizard kernel: Stack: 315e97cc 00589f98 0100b0b4 bffffed4 0012e38e 00240c64 003a6f80 00000001
Aug 29 09:51:01 blizard kernel: 00000000 00237810 bfffff00 0010a7fa 00000003 00000001 00000000 bfffff00
Aug 29 09:51:01 blizard kernel: bffffdb3 bffffed4 ffffffda 0000002b 0007002b 0000002b 0000002b 00000036
Aug 29 09:51:01 blizard kernel: Call Trace: [oops:_oops_ioctl+48/80] [_sys_ioctl+254/272] [_system_call+82/128]
Aug 29 09:51:01 blizard kernel: Code: c7 00 05 00 00 00 eb 08 90 90 90 90 90 90 90 90 89 ec 5d c3