Linux PCI和PCIe总线
1 PCIe中断
- PCI/PCIe设备中断都是level触发，并且请求信号为低电平有效
- PCI总线一般只有INTA#到INTD#的4个中断引脚，所以PCI多功能设备的func一般不会超过4个，但是共享中断除外
2 IOMMU
2.1 ARM SMMU v2
Refer to my blog ARM SMMU v2.
2.2 x86 IOMMU
When a PCI device is assigned, KVM/QEMU call intel_iommu_page_mapping() to build VT-d DTE (Device Table Entry) to map the entire guest memory.
Kernel parameter intel_iommu=pt to set up pass through mode in context mapping entry. This disables DMAR in Linux kernel; but KVM still runs on VT-d and interrupt remapping still works.
In this mode, kernel uses swiotlb for DMA API functions but other VT-d functionalities are enabled for KVM. KVM always uses multi level translation page table in VT-d. By default, pass though mode is disabled in kernel.
PCIe PASID capability ID is equal to 0x1B (PCI_EXT_CAP_ID_PASID).
1）在虚拟化场景下，直通设备的中断是无法直接投递到Guest中的，而是由IOMMU截获中断，先将其中断映射到host的某个中断上，然后再重定向（由VMM写VMCS寄存器中的32 bits VM-entry interruption-information字段）到Guest内部。
2）IOMMU IRTE（Interrupt Remapping Table Entry，128bit）中的Destination ID字段指明中断要投递的CPU的APIC ID信息，vector字段指明中断号，VMM会为每个中断源分配一个IRTE，并且把guest分配的vector号填入到IRTE的vector域。
3）在进入guest执行前，kvm是关中断的，在VM-Exit完全恢复了host上下文后，才开中断。关中断是在vcpu_enter_guest函数中调用了local_irq_disable，开中断是在这个函数从kvm_x86_ops->run返回后（即VM-Exit后）调用local_irq_enable。
4）guest vcpu执行时，物理中断发生，导致VM-Exit，但是此时是关中断的，所以硬件不会响应中断，中断处于pending，在开中断后，硬件发现pending中断并开始响应，此时已经在host上下文中，IDT（Interrupt Descriptor Table）已经指向host的IDT，物理中断由host handler来处理。
3 Linux x86 PCIe调试
3.1 PCIe设备分类
- RC，BDF为00:00.0
- bridge就像hub，一般是个多功能的设备，传递数据需要仲裁，比较慢
- switch就像交换机，PCIe规范中引入，比较快
- endpoint，x86主板上内置设备的总线号一般为0，而外挂EP的总线号一般从1开始
Figure 3-1 Type0 Header
Figure 3-2 Type1 Header
3.2 基本概念
- PCIe QOS：TC（Traffic Class），TC的值从0到7，值越大，优先级越高，类似于支持AVB的EtherSwitch，因为PCIe设计之初主要是针对于音视频应用；一个TC对应一个VC buffer（Virtual Channel），如果只有一个VC buffer，那么设置的TC值无效
- PCIe超过256字节的配置空间需要找到基地址，在MMCFG中，偏移44字节（0x2c），长度为8个字节，而MCFG可以通过acpidump找到
- PCIe的domain在内核代码中叫segment，可以通过pci_domain_nr()获得
- dev号（也叫slot）和func号一般通过宏PCI_DEVFN()合并成一个字节
- 因为PCI规范允许单个系统拥有高达256个总线，所以总线编号是8位。但对于大型系统而言，这是不够的，所以，引入了域的概念，每个PCI域可以拥有最多256个总线，每个总线上可支持32个设备，所以设备号是5位，而每个设备上最多可有8种功能，所以功能号是3位
- I210一般连接在pcieport的Lane0
3.3 LTSSM状态的查询
- PCIESTS1 offset：328h
- PCIe的LTSSM控制寄存器一般位于bridge的配置空间中（x86或者synopsys）或者RC的私有的寄存器（qcom）
- 读取EP的上一级bridge的config space的0x328（假如EP直接连在RC的port上，读取RC私有的寄存器），就可以获得下一级EP的LTSSM状态。譬如读取bridge（00:13.0）的下一级EP状态：peeknpoke b r 0x00 13 0 328
CONFIG_PCI_MMCONFIG=y
MMCONFIG: PCIe Memory-Mapped Config
QNX读取桥配置空间0x328的方法：
pci-tool -D 0x5ada -vvvvv
pci-tool -d 0:19:2 --read=CFG:0x328
3.4 LTSSM链路训练结果
通过访问PCIe桥的配置寄存器获得
Link Capabilities：配置空间0x4c
Link Control and Link Status：配置空间0x50
3.5 Linux pcibios_init
x86 BIOS专门提供了针对PCI总线的操作，这些操作里就包括了总线枚举的整个过程，Linux kernel中的宏CONFIG_PCI_BIOS。在系统加电以后自检时，就会完成对PCI总线的枚举，之后Linux对PCI配置空间的访问都是通过BIOS调用的形式进行，提供有这些功能和服务的BIOS就称之为PCI BIOS 。需要注意的是Linux x86_64是不采用PCI BIOS访问PCI配置空间的，而是内核实现了直接访问PCI配置空间的函数（CONFIG_PCI_DIRECT）。
pcibios_init()的第一个功能是在内存中找到BIOS程序的代码（参考函数pci_find_bios），然后将调用BIOS例程的读写PCI配置空间的代码封装成函数赋值给pci_ops。
pci_ops里面的函数指针都是用来读写PCI配置空间的，把要读写的值和设备号告诉这些函数，在这些函数中调用了BIOS例程，并把这些值当作参数传给BIOS例程，BIOS再根据设备号和要读写的值来进行操作。所以Linux x86驱动程序中pci_read_config_byte()最终调用的是pci_bios_read_config_byte()。
zcat /proc/config.gz | grep PCI
3.6 PCIe Reset
- Cold Reset: PCI A15 pin RST
- Warm Reset (LTSSM)
- Hot Reset (LTSSM): PCIe Type1 Header config space offset 0x3E 16-bit Bridge Control register bit6 Secondary Bus Reset, bit6 can retrigger LTSSM Link Training from Rx.Detect
- FLR (Function Level Reset): find Synopsys PCIe Capability ID 0x10, read 12 bytes from Capability ID byte, index 8 and 9 is Device Control Register, bit15 is FLR, Linux FLR path is /sys/bus/pci/devices/BDF/reset
3.7 x86 MIPI60
Blackhawk USB560v2
4 ARM PCIe
4.1 MSM RC
drivers/pci/host/pci-msm.c
qcom平台上每个RC属于一个domain（PCIe规范叫segment），并且每个RC只连接一个EP。
Figure 4-1 qcom RC拓扑图
4.2 MSM ep_pcie
msm/ep_pcie
ep_pcie_enumeration()
5 PCI用户空间编程 - libpci
5.1 Android libpci库
external/pciutils
5.2 libpci判断一个PCI设备是不是PCIe
capability ID参考：include/uapi/linux/pci_regs.h
参数ptr是配置空间偏移地址0x34指向的一个字节（first capability list entry）。
static bool pci_is_pcie(struct pci_dev *pdev,
unsigned char ptr)
{
unsigned int value;
unsigned int next_ptr;
unsigned int cap_id;
next_ptr = ptr;
if (0 == ptr)
return false;
do {
value = pci_read_long(pdev, next_ptr);
next_ptr = (value >> 8) & 0xff;
cap_id = value & 0xff;
/* PCI Express Capability Structure */
if (0x10 == cap_id)
return true;
} while (next_ptr);
return false;
}
6 x86 GPIO
PCH（Platform Controller Hub）上大部分设备可以通过PCIe或IO方式访问，但PCH上部分设备需要访问PCH的私有空间，这部分空间通过P2SB（Primary to SideBand）的SBREG_BAR寄存器映射到内存空间，这段空间被称为PCR（PCH Private Configuration Space Register）。每个设备对应一个PortID，PortID表示设备在PCR空间的偏移量，在加上寄存器偏移就可以获取寄存器的地址。
x86 GPIO寄存器位于PCH的私有空间。GPIO被分组，每组对应一个PCR的PortID。GPIO community和PortID的对应关系如下所示。
SouthWest: 0xC0
NorthWest: 0xC4
North: 0xC5
West: 0xC7
7 Windows PCIe工具软件
Mindshare的Arbor
Teledyne LeCroy的TeleScan PE
8 Abbreviations
ATU：Address Translation Unit
BDF：Bus，Device，Function
MEI：Intel Management Engine Interface；一个独立的子系统，使用ARC处理器，OS是Minix 3，固件整合到BIOS中，通过PCI桥片在x86端访问ARC的local端
overhead：开销，包头包尾等由协议层而不是应用层添加的字节，也就是说，一个PCIe包中除了payload之外的附加字节（ACK、CRC等）都叫overhead
P2SB：x86 Primary to Sideband
PCIe bifurcation：分叉
RC：Root Complex，执行存储器域地址到PCIe域地址的翻译，ATU被配置好后，CPU将要访问的地址发给ATU，ATU翻译后生成TLP包发给对应的Endpoint
TLP：Transaction Layer Packet，TLP中包含BDF号或者要寻址的内存和IO地址及其范围
VMCS：Virtual Machine Control Structure
Linux PCI和PCIe总线相关推荐
- 机器视觉：PCI和PCI-E总线简介
机器视觉:PCI和PCI-E总线简介 在机器视觉系统中,图像采集卡起到的是桥梁纽带的作用.根据不同的应用需求,我们通常用的采集卡有模拟图像采集卡.1394图像采集卡.USB扩展卡.GIGE千兆网卡.C ...
- Linux 操作系统原理 — PCIe 总线标准
目录 文章目录 目录 总线系统 PCIe 总线 PCIe 总线的传输速率 PCIe 总线的架构 PCIe 外设 PCIe 设备的枚举过程 PCIe 设备的编址方式 BDF(Bus-Device-Fun ...
- PCIE总线-PCI、PCIE关系及信号定义
PCI(Peripheral Component Interconnect)总线规范在上世纪九十年代由Intel提出.在处理器体系结构中,PCI总线属于局部总线(Local Bus).局部总线作为系统 ...
- 7、PCIE总线-PCI、PCIE关系及信号定义
PCI(Peripheral Component Interconnect)总线规范在上世纪九十年代由Intel提出.在处理器体系结构中,PCI总线属于局部总线(Local Bus).局部总线作为系统 ...
- 计算机组成原理 — PCIe 总线
目录 文章目录 目录 PCI 与 PCIe 设备 PCI 与 PCI-E 总线 PCIe 设备的枚举过程 PCIe 设备的信息查询 PCIe 设备的 Memory 空间访问 参考文章 PCI 与 PC ...
- linux下看pcie的设备id,linux lspci查看pci总线设备信息
linux lspci查看pci总线设备信息 linux中lspci是一个用来显示系统中所有PCI总线设备或连接到该总线上的所有设备的工具,比如查看网卡.存储等信息. 参数 -v 使得 lspci 以 ...
- linux pci/pcie驱动
/driver/pci/probe.c /arch/powerpc/kernel/pci_64.c 在pci驱动中pci调用pci_scan_device扫描每个设备的每个功能,当发现该功能存在时(通 ...
- Linux PCI总线-PCI空间
Linux PCI总线-PCI空间 2. PCI 总线地址空间映射 2.1 X86平台地址空间映射 2.2 龙芯平台地址空间映射 2.3 X86配置空间寄存器 2.4 龙芯平台配置空间寄存器 3. P ...
- PCIe扫盲——PCIe总线怎样做到在软件上兼容PCI总线
转自:http://blog.chinaaet.com/justlxy/p/5100053245 前面的文章中多次说道,PCIe总线在软件上是向前兼容PCI总线的.因此,PCIe总线完整的继承了PCI ...
- PCI相关（5）- PCIe总线事务-TLP报文
4.3 存储器.I/O 和配置读写请求 TLP 在 PCIe 总线中,存储器读写,I/O读写和配置读写请求TLP 由以下几类报文组成. 存储器读请求 TLP 和读完成 TLP 当 PCIe 主设备,R ...
最新文章
- 路由跟踪命令.查看DNS、IP、Mac等
- ASP内置对象Request的ServerVariables集合列表
- matlab mex路径,使用matlab进行mex编译时的路径问题mexopts
- Vue - 去除控制台“你正在开发模式下运行Vue”的警告
- 学python编脚本_python 学习写脚本
- centos7搭建easy-mock服务
- Python+OpenGL使用Cohen-Sutherland算法实现直线裁剪
- boost电路输出电流公式_boost电路解析
- Atom 备份神器 —— Sync Settings
- 【论文笔记】Convolutional Neural Networks for Sentence Classification
- 遇到的问题：uboot下，关闭串口前需要printf打印一个“UART BUS OFF!!!”提示信息，但是打印不出来
- BERT4Rec：知道用户的播放（购买、点击、...)序列 item1, item2, item3，预测下一个播放的item问题。
- c++采集声卡输出_基于C++Builder的声卡数据实时采集的实现
- Steam 界面布局出错的问题
- 英国AI初创企业OKRA获416万美元A轮融资
- php添加背景图及设置格式,PHP添加PNG图片背景透明水印操作类定义与用法示例
- 不可知敏捷：精益敏捷转型成功的关键
- oracle ebs form查询,Oracle EBS FORM 更改记录状态
- 代码中的下划线_是什么意思呢？
- Angular的内置指令