手握利器，直面“蓝脸”

                          ——使用WinDbg抗击系统崩溃

人有的时候都会闹情绪，更何况是机器呢。Windows有时候也会跟我们闹闹情绪，小则是“应用程序遇到问题需要关闭”，搞不好还可能给您脸色看看。但是，这脸色可不是红的白的，而是一张“蓝脸”，您见过吗？首先，我们介绍以下三个重要的问题：

一、到底什么是“蓝脸”？
    这里指的就是大家经常称之为“蓝屏”、“系统崩溃”之类的东西，外国人又叫它BSOD(Blue Screen of Death)。从专业的角度讲，这一术语被定义为“是指当Microsoft Windows崩溃或停止执行（由于灾难性的错误或者内部条件阻止系统继续运行下去）时所显示的蓝色屏幕”。而我们平常所说的“系统崩溃(system crash)”或者“内核错误(kernel error)”抑或“停止错误(Stop error)”的专业术语为“程序错误检查(Bug Check)”。

二、为什么一定要给您“蓝脸”？
    一旦遇上系统蓝屏崩溃，大多数的人都会以为Windows不行了所以就瘫痪了，有点罪魁祸首是Windows或者Windows不够强悍、不够稳定的意思。可是，Windows在默默地喊冤您知道吗？要知道，每当有内核模式设备驱动程序或者子系统引发了一个非法异常，Windows就会面临这个艰难的抉择，虽然Windows最终还是选择了崩溃，但是这并不代表它就不能够忽略该异常，让设备驱动程序或者子系统继续往下执行。Windows之所以要选择“亡我”，是因为它不知道该错误是否能被隔离出来从而不伤害系统的其它程序与数据，或者该组件将来是否能够恢复正常，而且，Windows深知，这个异常更有可能来源于更深层的问题，比如由于内存的常规破坏(General Corruption)，或者由于硬件设备不能正常工作。允许系统继续运行可能导致更多的异常，而且，存储在磁盘或其他外设中的数据可能也会遭受破坏。Windows意识到，这样做的风险太大了，为了您的程序、数据安全与完整，为了将您的损失在第一时间减小至最低，Windows于是忍痛做出了自我牺牲……

三、怎样给出“蓝脸”？
    当系统检测到引发崩溃的致命错误时，Windows自己执行崩溃函数“KeBugCheckEx”。该函数接受一个停止代码(STOP Code，也称为错误检查码“Bug Check Code”），以及四个根据停止代码来解释的参数(下文中会有图例)。在调用KeBugCheckEx之后，首先该系统所有处理器上的所有中断将被屏蔽，然后系统将显示器切换到低分辨率的VGA图形模式（因为这是所有Windows平台显卡均支持的通用模式），绘制一个蓝色背景，然后显示此停止代码，并且后面紧跟一些对用户诊断错误有帮助的关键信息。最后，KeBugCheckEx调用所有已注册的设备驱动程序错误检查回调函数(这种回调函数通过调用KeRegisterBugCheckCallback函数来注册)，从而让这些驱动程序停止运行它们所支配的设备(有系统数据结构已经被破坏得太严重以至于蓝屏都显示不出来的可能性）。
以下情况会引发系统蓝屏崩溃：

1、运行在内核模式下的设备驱动程序或者操作系统函数引发了一个未被处理的异常，比如内存访问违例（由于企图写一个只读页面或者企图读一个当前未被映射的内存地址(即无效地址)而引起）。
2、调用一个内核支持例程导致了重新调度，比如当中断请求级别(IRQL)为DPC/Dispatch级别或更高级别时等待一个标记为需要等待的调度对象。
3、在DPC/Dispatch级别或更高的IRQL级别时由于数据存在于页面文件或内存映射文件中而发生了页面错误(Page Fault)。（这将要求内存管理器必须等待一个I/O操作发生。但正如上面一项所说，在DPC/Dispatch级别或更高IRQL级别上不能够进行等待，因为那将要求一次重新调度）。
4、当检测到一个内部状态表明数据已遭受破坏或者在保证数据不被破坏的情况下系统无法继续执行时，设备驱动程序或操作系统函数明确地要求系统崩溃（通过调用系统函数KeBugCheckEx）。
5、发生硬件错误，比如处理器的计算机检查异常功能(Machine Check)报告有异常或者发生不可屏蔽中断(NMI)。

在了解以上三点知识之后，相信您对Windows的大无畏牺牲精神会有所赞赏，也会原谅它的“蓝脸”了。其实，在绝大多数情况下均是第三方设备驱动程序导致了Windows的崩溃。对于Windows XP用户提交给微软在线崩溃分析(Microsoft OCA, Microsoft Online Crash Analysis)站点的内存转储文件，微软对引起崩溃的原因进行了统计分类，如下图所示：（数据于2004年4月份生成）。

    既然Windows向我们露出了无奈的“蓝脸”，我们就应该打破沙锅问到底，尽早将引发系统崩溃的罪魁祸首缉拿归案，让我们的系统早日康复。下面，我们来看看Windows想通过这张“蓝脸”告诉我们些什么。

    如上图所示，这是一张显示了所有参数的蓝屏图像。当然，我们所遇到的蓝屏图像与之可能存在差异，比如少了一些信息等，但是大致是相同的，我们就以它为例进行全面地阐述。
    首先，我们看看图中用数字1标注的区域，这里列出了传递给KeBugCheckEx函数的停止代码和四个参数。此图中的停止代码为0x000000D1，四个参数为后面括号内的用逗号分隔的四段16进制数字；接下来，我们来看看图中用数字2标注的区域，这里显示的是该停止代码0x000000D1对应的英文解释；最后，我们看看图中用数字3标注的区域，这个区域当且仅当停止代码的四个参数中的一个参数包含了操作系统或设备驱动程序代码的地址时才会显示，显示的内容为、该地址所处模块的基地址以及日期戳。如此例中，该设备驱动程序的文件名为“myfault.sys”。
    这些信息对我们排错有何作用呢？如果上图中的区域3出现了，那是最好的结果了，因为您直接就看到了罪魁祸首——“myfault.sys”文件。但是，区域3往往是不出现的，那么我们就要在Microsoft的在线帮助和支持(http://support.microsoft.com)中查找该停止代码等信息或者使用我们的利器——WinDbg进行手动分析了。笔者推荐后者，因为同一个停止代码可能由各种各样的驱动程序错误造成，得到了停止代码并不等于得到了问题文件名称，另外，微软的在线帮助和支持中不是所有的错误都能够搜索到，而WinDbg正好克服了这两个弱点，直接能够抓出罪魁祸首文件，让您痛快将其斩首。
    WinDbg是免费软件，其微软官方下载地址是http://www.microsoft.com/whdc/devtools/debugging/default.mspx，具体项目为Install Debugging Tools for Windows 32/64-bit Version。

    使用WinDbg分析崩溃时的内存转储文件的前提是您要让系统在崩溃时自动生成一个内存转储文件，做法如下：

1、单击开始，然后单击运行。 2、键入control sysdm.cpl，然后单击确定。您将会打开系统属性，请切换到高级选项卡。结果如下图所示：   3、在高级选项卡上，在启动和故障恢复部分中单击设置。这将打开启动和故障恢复对话框，如下图所示：   4、在写入调试信息列表中，选择“小内存转储(64 KB)”或“核心内存转储”，这样系统在崩溃时将会自动生成对应的内存转储文件。如果您不想让蓝屏只闪烁一下，而是想看清楚它直到您手动重新启动计算机，请清除系统失败部分中自动重新启动(R)项目前的复选框。然后单击确定。 5、在启动和故障恢复对话框中，单击确定。 6、单击确定关闭系统属性对话框。 7、在系统设置更改对话框中，如果要立即重新启动计算机，则单击是；如果要稍后重新启动计算机，则单击否。 注： Vista用户请类似操作。 对于原版操作系统，以上设置是默认的(除了禁止自动重新启动)。 对于第4点中的写入调试信息列表内容，现给出以下参照释义：   （以上三种转储文件的大小依次增大，关于三者的比较不在本文讨论范围之内，笔者仅推荐设置为“小内存转储”或者“核心内存转储”，一般性错误“小内存转储”就足够了，如不能完好分析请选择“核心内存转储”。为了数据的丰富性，您也可以直接选择“核心内存转储”，但笔者强烈不推荐完全内存转储。）

    值得注意的是，为了确保崩溃时自动生成内存转储文件，您可能还须启用虚拟内存页面文件。特别地，当您选择记录核心内存转储时，您必须启用虚拟内存页面文件，而且由于核心内存转储文件的大小取决于该机器上操作系统和所有活动驱动程序已经分配的内核模式内存的数量，因此没有很好的办法来预测内核内存转储的大小。下表仅给出该情况下的参考虚拟内存大小设置值：

    另外，除了页面文件占用的磁盘空间，内存转储文件(*.DMP)的生成位置所在的磁盘还要有足够的空闲空间来提取这个转储文件，否则一样会“生成不了”(实际上是丢失了)。

    设置好这些之后，一旦您的系统发生蓝屏崩溃，系统就会在以上设置中选中的相应内存转储文件类型下对应的目录处生成转储文件。您所要做的就是立刻拿出利器——启动WinDbg进行分析。

 

    笔者在此将结合一个实例进行详细说明，过程中包含了WinDbg调试蓝屏用到的一些命令，这些命令将不再额外整理，请于阅读过程中注意识记。

    首先，您要配置WinDbg将要使用的调试符号文件(Symbol File)的位置。什么是调试符号文件呢？符号文件随DLL文件或者EXE文件建立时产生，提供包含在可执行文件和动态链接库 (DLL) 中的函数的占位空间。此外，符号文件还可以表示达到失败点的函数调用路线图。当我们使用各种Microsoft工具调试应用程序时，必须拥有符号信息，这样才能正确分析出问题根源。那我们该如何设置调试符号文件的位置呢？我们既可以从微软官网下载完整的符号文件包(同位于WinDbg下载页面)，也可以使用微软的符号文件服务器(Microsoft Symbol Server)。笔者推荐后者，因为一次分析所要用到的符号文件局限于有限的几个而已，使用后者可以让程序自动下载，既节省时间，又可以确保符号文件是最新的并且是正确的。在WinDbg中点击“File”菜单，选择“Symbol File Path …”，在打开的对话框中输入SRV*DownstreamStore*http://msdl.microsoft.com/download/symbols后点击“OK”按钮即可。当然，还有一步就是再次点击“File”菜单，选择“Save Workspace”来保存当前的设置。
    设置了符号文件之后，您就可以进行内存转储文件的分析了。同样点击“File”菜单，这次要选择“Open Crash Dump …”，然后通过文件打开对话框打开生成的待分析的内存转储文件。本例中设置的是核心内存转储类型，于是应该定位至“%SystemRoot%”(即系统盘Windows文件夹下)，打开MEMORY.DMP文件。但是笔者已经事先将其转移至“E:\Memory Dump\MEMORY.DMP”，因此在后续的图片中，您看到的是这个地址。此时WinDbg会滚动显示一些信息并且会稍有挂起的感觉，直到从微软符号文件服务器下载完分析这个崩溃文件所需要的所有符号文件。

    在上图中，我们看到就是这个打开的调试器命令窗口(Debugger Command Window)(已经将符号文件加载完毕，待命)，我们先看看位于底部的区域6，这个小的长方条就是WinDbg的命令输入处(Command Entry)，它又分为两个区域，左边显示“0: kd>”的是提示区，右边空白区是命令输入区。当刚打开这个窗口而符号文件尚未下载/加载完毕时，提示区域会什么都不显示，而命令输入区域将显示“Debuggee not connected”。直到符号加载完毕，窗口中显示出最后一行“Followup: MachineOwner”才会变为空闲状态。在空闲状态时，它将显示为与上图中类似的模样。为什么说类似呢？因为这个空闲待命提示根据调试类型、计算机处理器硬件配置不同，比如此例中，进行的是内核调试，于是显示“kd>”(kernel debug)，系统为多(核)处理器，因此在“kd>”之前还显示一个“0:”，表明当前位于编号为0的处理器。在执行了某个命令之后，如果命令需要处理的任务较多(如“!analyze -v”)，提示区域将显示为忙碌状态的“*BUSY*”，一旦显示为这个状态，您不论输入什么命令都不会立即执行，而是等待变为空闲状态时延缓执行。
    如上图所示，图中区域1处将显示打开的这个内存转储文件的物理路经；区域2处显示的则是当前加载的符号文件的位置，本例中表明是从微软服务器下载；区域3共有三行，显示的为系统信息，第一行表明了系统为Windows XP，内核版本为2600(SP3)，多处理器(2颗)，32位，第二行表明了系统类型为NT系统，客户端系统，第三行表明系统的详细版本标识；区域4共两行，第一行表明该内存转储文件生成的时间，也就是系统崩溃的具体时间，本例中(这是去年12月得到的一个崩溃转储文件，现用作本例进行说明)为星期六(Sat)，12月(Dec)27日，22:56:31.062，2008年，格林尼治标准时间东八区(GMT+8)，第二行显示的是崩溃时自系统启动以来，系统共运行了0天4小时5分15.797秒。区域5是很关键的错误信息，它的第一行仅在加载符号文件遇到错误时显示，此例中，它告诉我们“对于BaseTDI.SYS文件，模块已经加载完毕但却不能够为其加载符号文件”，如果之前配置了正确的符号文件路径，这就告诉我们BaseTDI.SYS不是微软公司的文件，而是第三方驱动程序文件，这很可能是引起错误的原因，值得关注但须进一步分析。区域5的第二行是WinDbg自动分析的结果，它告诉我们，引起崩溃的原因(Probably caused by:)很可能是HookUrl.sys文件。一般情况下，这就是引起错误的罪魁祸首了，但是也有不少的例外，最典型的就是显示一个微软自己的文件在此处，您可要注意了，为了避免枉杀无辜，最好进一步分析来看看都有哪些模块牵扯在崩溃的最后一刻，这样就能够保证审判无误了！进一步分析的命令可以从“!analyze -v”开始。
    我们既可以在命令输入区域手动键入命令!analyze -v，也可以在上图中的区域7所示位置单击蓝色的这个命令。之后，提示区域将显示为“*BUSY*”，WinDbg将分析一段时间直到将结果显示完毕并再次转为空闲状态。下面我们根据一张例图阐释执行“!analyze -v”后显示的各种结果：

    WinDbg经过自动的分析，可能会显示上图中区域1处所示第一行的错误检查说明(Bug Check Interpretation)，而第二行则给出了详细的解释，从图中信息看得出，此例错误由于“驱动程序在队列工作项目完成之前卸载”造成的。这个“DRIVER_UNLOADED_WITHOUT_CANCELLING_PENDING_OPERATIONS”就应该是显示在蓝屏上方的错误说明字样，后面的Arguments1~4就是蓝屏时停止代码后面的四个参数。图中区域2所示的BUGCHECK_STR是WinDbg中分了类别的错误检查(Bug Check)的一项，此例中为0xCE，也是停止代码的分类简写，我们在命令输入区执行 .bugcheck命令，可以得到停止代码及其参数，这和上图的区域1、蓝屏上的信息是一致的。本例中可以得到如下结果：

0: kd> .bugcheck       Bugcheck code 000000CE       Arguments bacb0a4e 00000008 bacb0a4e 00000000

我们在Bugcheck code值前补上“0x”就可以得到蓝屏上的信息“***STOP: 0x000000CE (bacb0a4e, 00000008, bacb0a4e, 00000000)”。当然，关于这个错误如果您想了解更多，一个是可以在微软在线帮助和支持网站上搜索字符串“0x000000CE”，再就是可以利用上图中区域2的BUGCHECK_STR值“0xCE”执行 .hh bug check 0xCE命令，在打开的窗口左栏右下角点击“Display”按钮。如果要在WinDbg中显示一个停止代码或者错误检查类的详细说明(以此错误为例)，键入命令 !analyze -show 0x000000CE或者 !analyze -show 000000CE，也可以是!analyze -show 0xCE。区域3中显示的就是二审判决的重要信息——线程堆栈信息。特别注意红色框内的部分，第一行是“WARNING: Frame IP not in any known module. Following frames may be wrong.”意思就是“警告：堆栈帧IP(InstructionPtr，仅x86处理器，用于决定帧的堆栈回朔的指令指针)不存在于任何已知的模块中，下面的帧可能出现错误”。这个意思的解释已超出本文讨论范围，笔者仅告诉大家，这行文字下面的一行右侧的模块是系统蓝屏崩溃时刻使用的最后一个模块(除了Windows内核最后调用KeBugCheckEx牺牲自己，就是警告文字上方的三行)，往往就是它引起了崩溃！我们来细看。大家如果了解了堆栈的数据结构或是Windows内存分配机制就应该知道，Windows为线程分配额外内存时是从高地指向低地址进行的，就是说，蓝色区域3中的堆栈信息我们得倒过来由下往上看，这样才是系统崩溃之前的一刻内核态函数的调用和传递情况，比如此例，系统内核执行体(nt!,即Ntoskrnl.exe)通过函数IopfCallDriver调用了BaseTDI，然后BaseTDI又调用了HookUrl.sys(Unloaded_字样表示未加载)，再然后就蓝屏了。那么在这最后一刻就涉及到了两个非Windows内核的模块——BaseTDI以及HookUrl.sys。之所以要进行这个“二审判决”，就是要避免一种情况——万一HookUrl.sys与BaseTDI是来自两个公司或者两个软件的模块，而最后加载的HookUrl.sys是没有问题的，出错是因为BaseTDI给HookUrl.sys传递了格式错误或者已被破坏的、或者非法的参数信息，HookUrl.sys接受此无效数据而引发了崩溃。如果我们不看线程栈，就根据之前的“Probably Cause by：HookUrl.sys”进行判决，我们很有可能枉杀无辜而让凶手逍遥法外。只有通过线程栈我们才能发现另一个驱动程序BaseTDI也被牵连进来。(在应用程序崩溃不致系统崩溃的调试分析中，由于处于用户态，WinDbg自动分析结果中的“Probably Cause by：”几乎都是错误的。在这种情况下，使用!thread命令是不能显示出任何信息的，因为这个命令仅对内核态的崩溃调试有效，然而kb命令也显示不出有用的信息，只有用“~*kb”来显示详细的全部线程栈才可能发现问题根源，有的时候还需配合其他命令，本文不作讨论)
    当然，如果您熟练以后，觉得没有必要使用“!analyze -v”命令的话，可以直接使用 !thread或者 kb命令显示出核心的线程栈信息来二审判决。现在好了，犯罪嫌疑人目标锁定在BaseTDI和HookUrl.sys身上。现在，我们来看看它们究竟是什么、是哪个公司、哪个程序的模块。(从之前不能够自动从微软服务器为他们加载符号文件就可以知道，它们一定都是第三方驱动程序)
    使用命令 lm kv m Basetdi*(使用lm(列出模块)命令和内核k选项、详细v选项以及参数m，配合包含通配符*的字符串BaseTDI，来列出当时已加载于内核模式的包含字符BaseTDI的所有驱动文件详细信息。使用通配符来取代完整的文件名后缀可以避免信息的局限性，借此也许可以发现多个相关的模块以提供更多诊断线索)，我们得到下图结果：

    从图中蓝色框选部分，我们可以看出，当时内核态下只有一个叫BaseTDI.SYS的文件，这个文件的路径位于System32\Drivers下，属于名称为“瑞星个人防火墙”(ProductName: Rising PFW, PFW=Personal Firewall)的程序组件，软件公司注册商标为“瑞星”(LegalTrademarks: RISING)。文件的这些英文描述信息如果您不知道，可以百度一下。当然，没有被笔者高亮显示的信息(如文件时间戳、版本、校验和等等)也是非常有用的，比如百度一下文件版本，也许您会发现该软件已经提供了更新的解决此问题的文件。同样，我们使用 lm kv m hookurl*来显示当时内核态下包含HookUrl的文件及其详细信息。结果如下：

    图示是一个不令人满意的结果，因为如高亮部分所示，这个模块未被加载，因此没有信息被记录。不过我们有百度，不用急，百度一下你就知道。在搜索完HookUrl.sys之后，发现这个也是瑞星个人防火墙的文件。其实这个案例就是著名的“瑞星个人防火墙跨版本升级到2009版时引发蓝屏”事件。您可以通过关键字“瑞星防火墙2009升级造成蓝屏”进行百度搜索。到目前为止，瑞星官方都没有任何针对此事件的正式答复，虽然不是每个用户都出现此问题，但是非常多的用户都报告了此问题，瑞星也不承认这个是软件缺陷，只有官方卡卡论坛上有一个不知道是不是工作人员的人发帖要求大家遇到蓝屏就上传内存转储文件。说到这里，我对瑞星又要失望了，但是通过这个可见蓝屏内存转储文件的分析是多么的有用！
    在这里，我还要给出两个要得到更多信息时可能会使用到的命令，一个是 !process 0 0，它可以列出当时运行着的所有进程的技术信息；另一个则是 !vm，它能够显示出当时的虚拟内存使用情况，这对于分析系统是否耗尽了虚拟内存、换页内存池或非换页内存池，并结合进程列表找到可能的内存泄漏错误非常有用，不过已超出了本文的讨论范围。

 

   最后，我们来看看以下的两种特殊情况该如何使用WinDbg进行调试分析：
    第一种情况是系统挂起，也就是“死机”、“系统没有响应”，在这种情况下，系统是根本无法自动生成内存转储文件的，而且您也不可能操作本地软件来查明是什么挂起了系统，这个时候我们需要手动让系统崩溃，以生成内存转储文件。具体做法为，在系统挂起之前，打开注册表编辑器并定位至HKEY_LOCAL_MACHINE \System\CurrentControlSet\Services\i8042prt\Parameters，在该项下面建立一个名为 CrashOnCtrlScroll的DWORD类型键值(注意大小写)，并将其设置为1，然后重新启动应用此更改。一旦系统挂起，就可以通过按住右边Ctrl键的同时击ScrollLock键两次来生成一个停止代码为0x000000E2(MANUALLY_INITIATED_CRASH)的手动崩溃。得到内存转储文件以后按照上面的方法分析。注意，此方法对插入USB口的USB键盘无效。(笔记本计算机键盘很多都是通过PS/2接口连接的，因此有效)
    第二种情况是进不了系统就自动崩溃，无法提取出内存转储文件。这种情形以及当有特定的需要时，我们都可以采取双机调试的方法。我们将发生崩溃的机器称为“目标机”，将用来连接到“目标机”进行调试的机器称为“调试主机”，调试主机必须安装有WinDbg。
    首先，我们需要在两台机器间建立连接，在新版的WinDbg中，这里一共有三种方式连接到目标机。第一种方式为通过COM端口连接，使用零调制解调器线缆(Null-Modem)，也就是COM对接线——两个头都是孔的RS232线；第二种是利用IEEE 1394线缆连接，但是这种连接要求两台机器运行相同版本的至少为Windows XP的系统；第三种方式是使用特制的USB 2.0调试线缆连接，这不是普通的USB连接线，是一种内置硬件芯片来支持调试的线缆，而且这种方式要求目标机运行的系统至少为Windows Vista。使用这三种连接方式进行双机调试都需要在目标机上作出相应的设置调整，具体参见WinDbg帮助文件，这里仅讨论第一种连接方式的设置，因为这是XP及以上系统默认支持的最简单的方式。此时我们假设已经使用COM线缆连接好了两台机器。
    其次，在调试主机上启动WinDbg，配制好符号文件之后，我们展开“File”菜单，选择“Kernal Debug…”，这将会打开如下的“Kernal Debugging”对话框：

默认打开的就是COM连接方式的配置页面。这里的“Baud Rate(传输速率)”以及“Port(端口)”需要根据下一个步骤的操作方式来配置。
最后一步，我们可以启动目标机，在引导Windows之前按下F8，在启动菜单中选择“调试模式”，这样，传输速率被系统默认设为19200，端口也默认被设为COM2，因此上一步骤中应该照此设置后点击“OK”。关于XP修改Boot.ini、Vista修改Bootcfg的方式启用指定端口、传输速率的调试，请参见WinDbg帮助文件，在此不再赘述。目标机一起动Windows，位于调试主机的WinDbg就能够有信息的显示，然后按照本文介绍的方法进行调试。另外，对于上面提到的系统挂起的情况，也可以采用这种双机调试，并且有新的命令 .crash强迫目标机在它的本地硬盘驱动器中生成一个崩溃转储，当系统重新引导以后就可以提取此转储，当然，也可以使用 .dump /m COM.dmp命令，在调试主机WinDbg所在目录下生成一个名叫“COM.dmp”的小内存转储文件(命令中的文件名可以改成其它的)。

    好了，说了这么多真的累了，不过，如果您能从此文获益，手握利器，直面“蓝脸”，那就是我最大的欣喜了！