模拟请求分页管理中地址转换和缺页中断处理

缺页异常：

缺页异常(Page Faults)属于ARM V8处理器的异常类型中的同步异常。当MMU走表时可能会产生若干种类型的MMU faults(有同步的也有异步的)，其中的同步异常，即这里将要讨论的“缺页异常”。本文将围绕ARM64架构和Linux5.0的代码展开分析。

ARM V8手册中的对缺页异常的描述：

常见场景：

地址空间映射关系未建立
1.1：malloc/mmap申请虚拟的地址空间并未分配实际物理页，首次访问触发缺页异常。
地址空间映射关系已建立
2.1：要访问的页面已经被swapping到了磁盘，访问时触发缺页异常。
2.2：fork子进程时，子进程共享父进程的地址空间，写是触发缺页异常(COW技术)。
2.3：要访问的页面被KSM合并，写时触发缺页异常(COW技术)。
2.4：兼容的ARM32体系架构模拟PTE_DIRTY PTE_YOUNG比特。
访问的地址空间不合法
3.1：用户空间访问内核空间地址，触发缺页异常。
3.2：内核空间访问用户空间地址，触发缺页异常。(不包括copy_to/from_user的情况)

注：欢迎评论补充 :)

处理缺页异常前的流程：

直接放图，图中大致体现了cpu处于el0和el1等级下，从触发缺页异常到进入do_page_fault之前的流程处理。
（代码：arch/arm64/entry.S）

缺页异常前的代码分析：

假设发生的是el0等级下的data abort，代码执行路径为：el0_sync->el0_da->do_mem_abort，el0_sync->el0_da。

主要是为调用do_mem_abort准备三个形参，函数声明如下。

void do_mem_abort(unsigned long addr, unsigned int esr, struct pt_regs *regs)

addr：FAR存器中存放的出错地址。
esr： ESR寄存器中记录的MMU fault具体信息。
regs：异常发生时保存的寄存器信息pt_regs。

el0_da:mrs     x26, far_el1        //获取far寄存器中的异常地址enable_daifct_user_exitclear_address_tag x0, x26mov     x1, x25         //获取el0_sync中保存的esr寄存器内容mov     x2, sp          //获取sp指向的pt_regs指针bl      do_mem_abort      //带着三个形参跳入do_mem_abortb       ret_to_user

do_mem_abort() :

do_mem_abort()可以看做错误处理的入口。linux内核为各种同步类型的MMU faults定义了相关的处理函数，并保存在名为fault_info[]的数组中。当发生错误时，do_mem_abort函数会根据ESR寄存器中的错误信息对应到fault_info[]中的处理函数。fault_info[]的定义如下：

static const struct fault_info fault_info[] = {{ do_bad,               SIGKILL, SI_KERNEL,     "ttbr address size fault"       },                                   { do_bad,               SIGKILL, SI_KERNEL,     "level 1 address size fault"    },                                   { do_bad,               SIGKILL, SI_KERNEL,     "level 2 address size fault"    },                                   { do_bad,               SIGKILL, SI_KERNEL,     "level 3 address size fault"    },                                   { do_translation_fault, SIGSEGV, SEGV_MAPERR,   "level 0 translation fault"     },     el0下发生的translation错误                         { do_translation_fault, SIGSEGV, SEGV_MAPERR,   "level 1 translation fault"     },     el1下发生的translation错误                              { do_translation_fault, SIGSEGV, SEGV_MAPERR,   "level 2 translation fault"     },     el2下发生的translation错误                              { do_translation_fault, SIGSEGV, SEGV_MAPERR,   "level 3 translation fault"     },     el3下发生的translation错误                              { do_bad,               SIGKILL, SI_KERNEL,     "unknown 8"                     },                                   { do_page_fault,        SIGSEGV, SEGV_ACCERR,   "level 1 access flag fault"     },                                   { do_page_fault,        SIGSEGV, SEGV_ACCERR,   "level 2 access flag fault"     },                                   { do_page_fault,        SIGSEGV, SEGV_ACCERR,   "level 3 access flag fault"     },                                   { do_bad,               SIGKILL, SI_KERNEL,     "unknown 12"                    },                                   { do_page_fault,        SIGSEGV, SEGV_ACCERR,   "level 1 permission fault"      },                                   { do_page_fault,        SIGSEGV, SEGV_ACCERR,   "level 2 permission fault"      },                                   { do_page_fault,        SIGSEGV, SEGV_ACCERR,   "level 3 permission fault"      }, ......
}/*此函数逻辑很简单，通过ESR寄存器的内容找到对应的fault_info并执行对应handler*/
asmlinkage void __exception do_mem_abort(unsigned long addr, unsigned int esr,      struct pt_regs *regs)
{const struct fault_info *inf = esr_to_fault_info(esr);  //根据esr的值查询fault_info[]，其定义了所有的内存异常情况处理。if (!inf->fn(addr, esr, regs))                          //将形参addr和regs传给handler，并执行handlerreturn;                                         //若返回0，代表成功，并直接return。......
}

我们主要关注两个错误处理函数do_translation_fault()和do_page_fault()，do_translation_fault()是处理页表pgd/pud/pmd/pte在转换过程中出现的错误，do_page_fault()是处理访问PTE相关的错误。do_translation_fault()最终仍调用do_page_fault()，所以接下来的代码分析围绕核心函数do_page_fault()。

do_page_fault :

do_page_fault这个函数相对复杂，其中有着大量条件判断，我梳理出下主要几个阶段并画了幅流程图，二者结合起来看会比较清晰。(就不贴冗长的代码了，读者可自行结合代码看)

主要阶段：

阶段1：判断缺页异常是否发生在内核线程或原子上下文中(中断也属于一种原子上下文)，是的话执行do_kernel_fault尝试修复或报段错误。

阶段2：判断是否是内核态访问用户地址空间的情况，是的话判断是否是指定的三种情况，是则报段错误。

阶段3：进入_do_page_fault, 查找异常地址所在的vm_area_struct域，并走表(page table walk)查找address对应PGD PUD PMD，最终找到PTE。

阶段4：进入handle_pte_fault()，判断PTE为空的话，说明用户空间申请了虚拟地址后第一次访问，尚未映射物理页面。在根据页面类型分别执行do_anonymous_page或do_fault。

阶段5：PTE非空表示已经建立过映射。判断PTE的present位是否为真，非真说明页面被swapping到磁盘上，随即执行do_swap_page。

阶段6：判断PTE_PROT_NONE是否为真，若为真执行do_numa_page产生页面迁移。

阶段7：判断错误类型，若是写类型的错误，再判断PTE的读写权限。只读的话说明页面是写保护的，调用do_wp_page。

阶段8: 为了兼容ARM32，ARM32体系架构的Hardware PTE中不支持DIRTY YOUNG等bit位，所以通过软件上配合缺页异常进行模拟。

major fault与minor fault：

当我们进行性能分析时，某进程page faults发生的次数也是我们常常要观测的一个指标。但不论是perf、top再或者其他的工具关于page fault发生的次数的输出都会区分为major fault或minor fault两种，它们同为缺页异常，有什么不同呢？

major fault：

user space address触发缺页异常时，若被访问的地址映射的物理页已经被swap到磁盘空间，需要从磁盘中将页面换入。
user space address触发缺页异常时，若被访问的地址空间是被mmap映射到磁盘文件的话且page cache中还未缓存文件内容，需要通过磁盘IO将内容读入page cache。

minor fault：

当user space address触发缺页异常时，kernel可直接从buddy system中分配出内存用来满足该缺页异常即minor page fault

简单来说，major fault和minor fault的区别就是是否会触发读写磁盘的动作。

原创文章，转载和引用请注明出处。

作者：Yann Xu