Xv6学习小记(二)——多核启动
本文首发于我的个人博客QIMING.INFO,转载请带上链接及署名。(注:本文代码中的注释很重要,如看不清,可移步我的个人博客中查看)
在上文(Xv6学习小记(一)——编译与运行)中,我们介绍了Linux下编译运行Xv6系统的方式。
本文将介绍Xv6是如何多核启动的,涉及到的内容有:Xv6多核启动的大致步骤、Xv6检测CPU个数的方法和Xv6发送中断的方法等。
1 多核启动步骤说明
Xv6启动时先将系统放入BSP(Bootstrap processor
,启动CPU)中启动,BSP进入main()
方法后首先进行了一系列初始化,其中包括mpinit()
,此方法目的是检测CPU个数并将检测到的CPU存入一个全局的数组中,之后进入startothers()
方法通过向AP(non-boot CPU
,非启动CPU)发送中断的方式来启动AP,最后执行mpmain()
方法。
main()
方法代码如下:
int
main(void)
{kinit1(end, P2V(4*1024*1024)); // phys page allocatorkvmalloc(); // kernel page tablempinit(); // collect info about this machinelapicinit();seginit(); // set up segmentscprintf("\ncpu%d: starting xv6\n\n", cpu->id);picinit(); // interrupt controllerioapicinit(); // another interrupt controllerconsoleinit(); // I/O devices & their interruptsuartinit(); // serial portpinit(); // process tabletvinit(); // trap vectorsbinit(); // buffer cachefileinit(); // file tableideinit(); // diskif(!ismp)timerinit(); // uniprocessor timerstartothers(); // start other processorskinit2(P2V(4*1024*1024), P2V(PHYSTOP)); // must come after startothers()userinit(); // first user process// Finish setting up this processor in mpmain.mpmain();
}
AP被BSP在startothers()
方法里启动,启动后会进入mpenter()
方法,mpenter()
方法的代码如下:
// Other CPUs jump here from entryother.S.
static void
mpenter(void)
{switchkvm(); seginit();lapicinit();mpmain();
}
可以看出,AP在执行完一些初始化后最后也是执行了mpmain()
方法。
即每个CPU启动后都会执行mpmain()
方法,mpmain()
方法代码如下:
static void
mpmain(void)
{cprintf("cpu%d: starting\n", cpu->id);idtinit(); // load idt registerxchg(&cpu->started, 1); // tell startothers() we're upscheduler(); // start running processes
}
在mpmain()
中,会打印输出当前正在启动的CPU的ID及“starting
”,然后初始化IDT,将CPU的已启动标志置1,最后开始进程调度。至此,多核启动完成。
BSP和AP启动时执行的函数对比:
1.BSP和AP都需要执行的几个函数是:
seginit() //段初始化
lapicinit() //本地APIC初始化
mpmain()2.BSP需要执行而AP不需要执行的主要函数有:(按执行顺序)
kinit1(end, P2V(4*1024*1024)); // phys page allocator
kvmalloc(); // kernel page table
mpinit(); // collect info about this machine
picinit(); // interrupt controller
ioapicinit(); // another interrupt controller
consoleinit(); // I/O devices & their interrupts
uartinit(); // serial port
pinit(); // process table
tvinit(); // trap vectors
binit(); // buffer cache
fileinit(); // file table
ideinit(); // disk
if(!ismp)
timerinit(); // uniprocessor timer
startothers(); // start other processors
kinit2(P2V(4*1024*1024), P2V(PHYSTOP)); // must come after startothers()
userinit(); // first user process3.AP需要执行而BSP不需要执行的函数有:
switchkvm();
2 检测CPU个数的方法
2.1 系统首先进行查找MP浮点结构:
①.如果BIOS扩展资料区域(EBDA)已经定义,则在其中的第一K字节中进行查找,否则到②;
②.若EBDA未被定义,则在系统基本内存的最后一K字节中寻找;
③.在BIOS ROM里的0xF0000到0xFFFFF的地址空间中寻找。
注:关于如何判断是否定义EBDA、EBDA的地址、系统基本内存的地址参见附录1(Xv6启动中有关BDA的相关说明)。
在实模式下运行以下代码:
static struct mp *mpsearch(void)
{uchar *bda;
uint p;
struct mp *mp;
bda = (uchar *) P2V(0x400); //将0x400转换成虚拟地址,0x400为BIOS存放检测到的数据(即BDA)的物理地址
if((p = ((bda[0x0F]<<8)| bda[0x0E]) << 4)){ //判断ebda是否存在,如果存在,将ebda的起始指针赋给p
if((mp = mpsearch1(p, 1024))) //在EDBA的前1024个字节中查找
return mp; //找到后返回指向mp浮点结构的指针} else { //如果EDBA未被定义
p = ((bda[0x14]<<8)|bda[0x13])*1024; //得到系统基本内存的末尾边界地址
if((mp = mpsearch1(p-1024, 1024))) //在系统基本内存的最后1K中查找
return mp;}
return mpsearch1(0xF0000, 0x10000);
}
2.2 mpsearch1()方法
在如上代码中,被多次调用的mpsearch1()
方法即为查找MP浮点结构的具体方法,mpsearch1()
的代码如下:
static struct mp*
mpsearch1(uint a, intlen)
// 从内存地址a开始,长度为len的区域中搜索,返回指向MP浮点结构的指针
{uchar *e, *p, *addr;addr = p2v(a);e = addr+len;
for(p = addr; p < e; p += sizeof(struct mp))
if(memcmp(p, "_MP_", 4) == 0 && sum(p, sizeof(struct mp)) == 0)
return (struct mp*)p;
return 0;
}
可以看出,此方法将“MP”字符串作为了MP浮点结构的标识,匹配到此字符串即找到了MP浮点结构,本函数返回指向该MP浮点结构的指针。
2.3 mp浮点结构的结构体:
struct mp { // floating pointeruchar signature[4]; // 标志,为"_MP_"时表示此为MP浮点结构void *physaddr; // MP配置表头的物理地址uchar length; // 此MP浮点结构的长度uchar specrev; // [14]uchar checksum; // all bytes must add up to 0uchar type; // MP system config typeuchar imcrp;uchar reserved[3];
};
如上,紧跟在"MP"此标识后面的就是指向MP配置表头物理地址的指针。mp.c文件中的mpconfig()方法返回了MP配置表头的虚拟地址,代码如下:
static struct mpconf*
mpconfig(struct mp **pmp)
{struct mpconf *conf;struct mp *mp;if((mp = mpsearch()) == 0 || mp->physaddr == 0)//判断MP浮点结构或者MP配置表头是否存在return 0; //两者中有一个不存在即返回0conf = (struct mpconf*) p2v((uint) mp->physaddr);//将MP配置表头的物理地址转换成虚拟地址并将值赋给conf//以下代码为对此地址及结构进行一些合法性判定if(memcmp(conf, "PCMP", 4) != 0)return 0;if(conf->version != 1 && conf->version != 4)return 0;if(sum((uchar*)conf, conf->length) != 0)return 0;*pmp = mp;return conf; //返回MP配置表头的虚拟地址
}
MP配置表头的结构体如下:
struct mpconf { // configuration table headeruchar signature[4]; // 标志为"PCMP"ushort length; // MP配置表的长度uchar version; // [14]uchar checksum; // all bytes must add up to 0uchar product[20]; // product iduint *oemtable; // OEM table pointerushort oemlength; // OEM table lengthushort entry; // 入口数uint *lapicaddr; // local APIC的地址ushort xlength; // extended table lengthuchar xchecksum; // extended table checksumuchar reserved;
};
2.4 MP配置表
MP浮点结构中包含指向MP配置表头的物理地址的指针, MP配置表由MP配置表头(基本部分)和扩展部分组成,基本部分就是MP配置基表即MP配置表头,扩展部分紧跟表头后面,扩展部分由5种不同类型的入口组成,分别为:
// Table entry types
#define MPPROC 0x00 //入口类型为处理器
#define MPBUS 0x01 //入口类型为总线
#define MPIOAPIC 0x02 //入口类型为I/O APIC
#define MPIOINTR 0x03 //入口类型为I/O 中断分配
#define MPLINTR 0x04 //入口类型为逻辑中断分配
2.5 mpinit()方法
程序在mpinit()
方法中遍历MP扩展部分通过判断入口类型来进行相应操作,如判断入口类型为MPPROC
时则将ncpu加1,部分代码如下:
bcpu = &cpus[0];
if((conf = mpconfig(&mp)) == 0) //调用mpconfig()方法以获取MP配置表头,将值赋给conf并判断其是否为0,若为0,说明MP配置表头不存在,返回return;
ismp = 1;
lapic = (uint*)conf->lapicaddr; //初始化lapic为表头中的lapic地址
for(p=(uchar*)(conf+1), e=(uchar*)conf+conf->length; p<e; ){switch(*p){case MPPROC: //入口类型为处理器proc = (struct mpproc*)p;if(ncpu != proc->apicid){cprintf("mpinit: ncpu=%d apicid=%d\n", ncpu, proc->apicid);ismp = 0;}if(proc->flags & MPBOOT) //判断此CPU是否为主引导CPU(BSP)bcpu = &cpus[ncpu]; //若是BSP,将此CPU设为第0个CPUcpus[ncpu].id = ncpu; //给每个CPU设置ID并存入cpus数组中ncpu++; //CPU个数+1p += sizeof(struct mpproc); //给p加上此种类型的长度continue; //继续循环case MPIOAPIC: //入口类型为I/O APICioapic = (struct mpioapic*)p; ioapicid = ioapic->apicno; //给全局变量ioapicid赋值p += sizeof(struct mpioapic);//给p加上此种类型的长度continue; //继续循环case MPBUS: //入口类型为总线case MPIOINTR: //入口类型为I/O 中断分配case MPLINTR: //入口类型为逻辑中断分配 p += 8; //给p加上此种类型的长度:8continue; //继续循环default:cprintf("mpinit: unknown config type %x\n", *p);ismp = 0;}
}
以上代码中,
mpproc
和mpioapic
分别是CPU入口结构和I/OAPIC入口结构,他们的结构体定义如下:
struct mpproc { // processor table entryuchar type; // 入口类型(0)uchar apicid; // local APIC iduchar version; // local APIC verisonuchar flags; // CPU flags(CPU启动的标志)#define MPBOOT 0x02 // This proc is the bootstrap processor.uchar signature[4]; // CPU signatureuint feature; // feature flags from CPUID instructionuchar reserved[8];
};
struct mpioapic { // I/O APIC table entryuchar type; // entry type (2)uchar apicno; // I/O APIC iduchar version; // I/O APIC versionuchar flags; // I/O APIC flagsuint *addr; // I/O APIC address
};
2.6 系统执行完mpinit()方法后即将CPU个数存入了全局变量ncpu中。
3 startothers()方法
xv6通过一个结构体将每个CPU的信息保存起来,具体的cpu结构体如下:(在proc.h中)
// Per-CPU state
struct cpu {uchar id; // Local APIC ID; index into cpus[] below
struct context *scheduler; // swtch() here to enter scheduler
struct taskstate ts; // Used by x86 to find stack for interrupt
struct segdesc gdt[NSEGS]; // x86 global descriptor table
volatile uint started; // Has the CPU started?
int ncli; // Depth of pushcli nesting.
int intena; // Were interrupts enabled before pushcli?// Cpu-local storage variables; see below
struct cpu *cpu;
struct proc *proc; // The currently-running process.
};
xv6使用一个数组来保存这样的结构体,并用一个全局变量表示CPU数量:
extern struct cpu cpus[NCPU];
extern int ncpu;
xv6调用mpinit()
方法初始化了cpus结构体数组,并确定了lapic地址
、ioapicid
,得到了每个CPU的id和CPU数量,接下来在main()
函数中调用startothers()
函数来启动其他CPU。
在startothers()
函数中,首先把entryother.S
的代码拷贝到以0x7000
起始的这块内存(因为这段内存未被使用)里。然后在0x7000-4
、0x7000-8
两个内存单元记录下entryother.S
中将要进行跳转的内核栈位置以及mpmain
的入口地址(mpenter
)。
这样当CPU运行完entryother.S
中的代码之后将进入mpmain
过程。在mpmain
中,每个CPU将进行中断表和段表的初始化,然后打开中断进入scheduler()
过程。
有关entryother
这段启动代码的说明:
根据Makefile的102到106行:
102:entryother: entryother.S
103: $(CC) $(CFLAGS) -fno-pic -nostdinc -I. -c entryother.S
104: $(LD) $(LDFLAGS) -N -e start -Ttext 0x7000 -o bootblockother.o entryother.o
105: $(OBJCOPY) -S -O binary -j .text bootblockother.o entryother
106: $(OBJDUMP) -S bootblockother.o > entryother.asm
可以了解到:Makefile的103行是通过gcc把entryother.S
编译成目标文件entryother.o
。104行是通过LD把entryother.o
进行地址重定位,设定其起始入口点为start
,起始地址位0x7000
,并生成文件bootblockother.o
。105行是通过objcopy
把bootblockother.o
转变成二进制代码entryother
。106行是通过objdump
把bootblockother.o
反汇编成entryother.asm
。
将entryothers
移动到物理地址0x7000
处使其能正常运行。因为这是其他CPU最初运行的内核代码,所以没有开启保护模式和分页机制,entryothers
将页表设置为entrypgdir
,在设置页表前,虚拟地址等于物理地址。
startothers()
代码说明如下:
static void
startothers(void)
{extern uchar _binary_entryother_start[], _binary_entryother_size[];uchar *code;struct cpu *c;char *stack;// Write entry code to unused memory at 0x7000.// The linker has placed the image of entryother.S in// _binary_entryother_start.code = p2v(0x7000); // 将启动代码复制到0x7000处memmove(code, _binary_entryother_start, (uint)_binary_entryother_size);for(c = cpus; c <cpus+ncpu; c++){//逐个开启每个CPU让每个CPU从entryothers中start标号开始运行if(c == cpus+cpunum()) // cpunum()返回当前CPU的ID,所以此处即判断c是否指向BSP,若是,跳过后续部分继续循环continue;// 告诉entryother.S堆栈地址、mpenter方法的地址和页表的地址。stack = kalloc();*(void**)(code-4) = stack + KSTACKSIZE;*(void**)(code-8) = mpenter; *(int**)(code-12) = (void *) v2p(entrypgdir);lapicstartap(c->id, v2p(code));//向这个CPU发中断,让此CPU执行boot程序,此方法将在下文中详细介绍。// wait for cpu to finish mpmain()while(c->started == 0) //cpu启动后会将started变为1 ,所以若started为0,则继续循环;}
}
由上述代码可知,BSP启动AP时经过了以下步骤:
1.复制启动代码到0x7000处,这部分代码相当于boot CPU的启动扇区代码
2.为每个AP分配stack(每个CPU都一个自己的stack)
3.告诉每个AP,kernel入口在哪里(mpenter函数)
4.告诉每个AP,页目录在哪里(entrypgdir)
4 Xv6中断
4.1 Xv6系统中断说明:
Xv6系统在单核处理器上使用8259A中断控制器来处理中断(代码在picirq.c
,此处不表),在多核处理器上采用了APIC(Advanced Programmable Interrupt Controller)
来处理中断。
APIC机制中,每一颗 CPU 都需要一个中断控制器来处理发送给它的中断,而且也得有一个方法来分发中断。 这一方式包括两个部分:一个部分是在 I/O系统中的(IO APIC
,ioapic.c
),另一部分是关联在每一个处理器上的(本地APIC,lapic.c
),本小节主要讲解lapic
。
4.2 地址:
lapic
的物理地址为0xFEE00000
(参考《IA-32-3中文版》)。
在xv6系统中,系统通过调用mpinit()
方法中,读取MP配置表头获取到了lapic
的物理地址。
4.3 lapic.c中的主要函数:
lapicw()
: 写Local APIC
寄存器,此函数有两个参数,第一个参数为lapic
的偏移地址,第二个参数为要写入的值;
cpunum()
:返回正在运行的CPU的ID;
lapiceoi()
:响应中断,即向EOI寄存器发送0;
lapicinit()
:初始化本CPU的Local APIC
;
lapicstartap()
:通过写ICR寄存器的方式启动AP,此函数有两个参数,第一个参数为要启动的AP的ID,第二个参数为启动代码的物理地址。具体讲解见下文。
4.4 lapicstartap()函数说明:
BSP通过向AP逐个发送中断来启动AP,首先发送INIT中断来初始化AP,然后发送SIPI中断来启动AP,发送中断使用的是写ICR寄存器的方式,代码说明如下:
// 发送INIT中断以重置AP
lapicw(ICRHI, apicid<<24); //将目标CPU的ID写入ICR寄存器的目的地址域中
lapicw(ICRLO, INIT | LEVEL | ASSERT); //在ASSERT的情况下将INIT中断写入ICR寄存器
microdelay(200); //等待200ms
lapicw(ICRLO, INIT | LEVEL); //在非ASSERT的情况下将INIT中断写入ICR寄存器
microdelay(100); // 等待100ms (INTEL官方手册规定的是10ms,但是由于Bochs运行较慢,此处改为100ms)//INTEL官方规定发送两次startup IPI中断
for(i = 0; i < 2; i++){lapicw(ICRHI, apicid<<24); //将目标CPU的ID写入ICR寄存器的目的地址域中lapicw(ICRLO, STARTUP | (addr>>12));//将SIPI中断写入ICR寄存器的传送模式域中,将启动代码写入向量域中microdelay(200); //等待200ms
}
4.5 ICR寄存器说明:
中断命令寄存器(ICR)是一个 64 位本地 APIC寄存器,允许运行在处理器上的软件指定和发送处理器间中断(IPI)给系统中的其它处理器。发送IPI时,必须设置ICR 以指明将要发送的 IPI消息的类型和目的处理器或处理器组。一般情况下,ICR寄存器的物理地址为0xFEE00300,其结构图如下:
如图,一般在传送模式域中写各种传送类型,本例中用到了101INIT和110Start Up两种类型。Destination Mode域是0时表示Destination Field域中为一个CPU的ID,是1时表示Destination Field域中为一组CPU。
SIPI是一个特殊的IPI。典型情况下,在发送SIPI时,ICR的向量域中指向一个启动例程,本例中即将entryother的代码地址写入了ICR的向量域,以启动AP。
附录1 Xv6启动中有关BDA的相关说明
当计算机通电时,BIOS数据区(BIOS Data Area)将在000400h处创建。它长度为256字节(000400h - 0004FFh),包含有关系统环境的信息。该信息可以被任何程序访问和更改。计算机的大部分操作由此数据控制。此数据在启动过程中由POST(BIOS开机自检)加载。
如果EBDA(Extended BIOS Data Area,扩展BIOS数据区)不存在,BDA[0x0E]和BDA[0x0F]的值为0;如果EBDA存在,其段地址被保存在BDA[0x0E]和BDA[0x0F]中,其中BDA[0x0E]保存EBDA段地址的低8位,BDA[0x0F]保存EDBA段地址的高8位,所以(BDA[0x0F]<<8) | BDA[0x0E]就表示了EDBA的段地址,将段地址左移4位即为EBDA的物理地址,如下图,BDA[0x0F]=0x9F,BDA[0x0E]=0xC0,所以xv6中EBDA存在且段地址为0x9FC0,物理地址为0x9FC00。
BDA[0x13]和BDA[0x14]分别存放着系统基本内存的大小的低8位和高8位,如上图,BDA[0x14]=0x2,BDA[0x13]=0x7F,所以系统基本内存的大小为0x27F个KB,再乘1024即将单位转化为了B。因为系统基本内存的地址是从0开始的,所以将指针p指向其内存大小,就获得了其末尾边界的地址。
Xv6学习小记(二)——多核启动相关推荐
- Xv6学习小记(一)——编译与运行
本文首发于我的个人博客QIMING.INFO,转载请带上链接及署名. 说明 Xv6是一个Intel x86平台下的类Unix教学操作系统,最新源码获取地址为https://github.com/mit ...
- ajax each html 太多,HTML5学习小记二ajax,window.orientation,prototype.forEach
1.ajax的学习 HTML5中的ajax相当于iOS中的afnetworking;详见jQuery ajax - ajax() 方法; 对ajax使用post请求的demo练习: function ...
- QTP基础学习(二)启动与设置
1.启动QTP选择要求的Add-in 默认带有3个Add-in,之后可以安装其他的Add-in,如.net的Add-in 2.设置QTP的选项 点击Tools-Options,弹出如下框: 3.建立记 ...
- Linux SMP启动流程学习(二)
Linux SMP启动流程学习(二) 3 SMP系统启动流程 3.1 SMP启动判断 源码:/arch/arm/kernel/setup.c 调用:start_kernel() -> smp_s ...
- 【ROS-cartographer学习小记-01】使用自己的激光雷达思岚A1运行cartographer,附代码以及bag包-直接运行即可看到结果
[ROS-cartographer学习小记-01]使用自己的激光雷达思岚A1运行cartographer 0.前提条件 1.修改revo_Ids.lua文件 3.修改demo_revo_lds.lau ...
- python 温度 符号_【火马】Python学习小记01
Python 学习小记 Life is short,you need Python! 写在前面 自从重新拾起2016年开始注册的公众号"火马编程",我就把TA当作了自己的一块&qu ...
- Orleans学习总结(二)--创建工程
通过第一篇Orleans学习总结(一)--入门认识我们大致知道知道是干嘛的了,下面我们来动手造一个传说中的神秘的高并发集群Orleans程序. 一.创建四个C#工程 1.IGrain工程,用来定义各种 ...
- [导入][转]sap学习手册二
SAP学习手册二 作者:sunxufeng 有没有调整IDES4.6的中文包参数的步骤呢? 在导入中文包后直接手工修改有关参数,不要用CZ10去修改假定为D盘,路径为D:usrsapC11syspro ...
- OpenCV与图像处理学习十二——图像形状特征之HOG特征
OpenCV与图像处理学习十二--图像形状特征之HOG特征 一.图像特征理解 1.1 颜色特征 1.2 纹理特征 1.3 形状特征 1.4 空间关系特征 二.形状特征描述 2.1 HOG特征 2.1. ...
最新文章
- vue 使用scss
- CIKM 2021 | 基于IPCA的多属性分子优化
- C语言指针数组和数组指针
- matlab 学习之常用函数2
- PMCAFF携手百度,干货从未如此精彩(现场快讯)
- aws 部署python lambda_python - 如何使用Aws Lambda(python)接收文件 - 堆栈内存溢出
- 机器学习:SVM算法的对偶形式
- 同时多次调用存储规程_本体技术视点 | 神奇的Merkle树是如何实现存储层优化的?...
- JavaScript中对象深复制
- 文字转语音怎么真人发声
- 华为平板android版本如何升级,华为平板怎么升级替换系统 华为平板刷机的教程...
- CenOS 6.0 安装NVIDIA GeFore GT 440 显卡驱动
- 宋体 ttf_Linux安装7种思源宋体的5个步骤
- 应用逻辑回归方法对鸢尾花进行分类
- UE4 DataAsset 的使用
- STM8S105S4T6C和STM8S105C6T6对比
- android权限编辑xml大全(中英文对照)
- Go 使用for range time.Tick() 设置定时器
- Alpha 冲刺(10/10)
- no module named pygame
热门文章
- 006基于SSM小区物业系统
- (原创 开源)AppWidge的使用—桌面便利贴
- Linux 网络编程学习笔记——三、TCP 协议详解
- Oracle P6软件计划编制时的组织机构
- ngrok服务端搭建并使用docker解放80端口
- PDF如何去水印?PDF去水印的基础操作
- Vue引入 mavon-editor 编辑器的详细步骤
- Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows详细解读
- DIY技巧:微星B760主板13600K降压教程 CPU温度暴降25℃
- Web Service平台有三种元素构成:SOAP、WSDL、UDDI。区别和联系