Linux 中断管理机制

GIC 硬件原理

GIC，Generic Interrupt Controller。是ARM公司提供的一个通用的中断控制器。主要作用为：接受硬件中断信号，并经过一定处理后，分发给对应的CPU进行处理。

当前GIC 有四个版本，GIC v1~v4, 本文主要介绍GIC v3控制器。

GIC v3中断类别

GICv3定义了以下中断类型：

• SGI (Software Generated Interrupt)：软件触发的中断。软件可以通过写 GICD_SGIR 寄存器来触发一个中断事件，一般用于核间通信，内核中的 IPI：inter-processor interrupts 就是基于 SGI。
• PPI (Private Peripheral Interrupt)：私有外设中断。这是每个核心私有的中断。PPI会送达到指定的CPU上，应用场景有CPU本地时钟。
• SPI (Shared Peripheral Interrupt)：公用的外部设备中断，也定义为共享中断。中断产生后，可以分发到某一个CPU上。比如按键触发一个中断，手机触摸屏触发的中断。
• LPI (Locality-specific Peripheral Interrupt)：LPI 是 GICv3 中的新特性，它们在很多方面与其他类型的中断不同。LPI 始终是基于消息的中断，它们的配置保存在表中而不是寄存器。比如 PCIe 的 MSI/MSI-x 中断。

GIC v3 组成

GICv3 控制器由以下三部分组成:

• Distributor：SPI 中断的管理，将中断发送给 Redistributor

• Redistributor：SGI，PPI，LPI 中断的管理，将中断发送给 CPU interface

• CPU interface：传输中断给 Core

GICv3 控制器内部模块和各中断类型的关系如下图所示：

中断路由

GICv3 使用 hierarchy 来标识一个具体的 core, 如下图是一个四层的结构(aarch64)：

用 <affinity level 3>.<affinity level 2>.<affinity level 1>.<affinity level 0> 的形式组成一个 PE 的路由。每一个 core 的 affnity 值可以通过 MPDIR_EL1 寄存器获取， 每一个 affinity 占用8bit。配置对应 core 的 MPIDR 值，可以将中断路由到该 core 上。

各个 affinity 的定义是根据 SOC 自己的定义，比如：

中断亲和性的设置的通用函数为 irq_set_affinity，后面会做详细介绍。

中断状态机

中断处理的状态机如下图：

• Inactive：无中断状态，即没有 Pending 也没有 Active。
• Pending：硬件或软件触发了中断，该中断事件已经通过硬件信号通知到 GIC，等待 GIC 分配的那个 CPU 进行处理，在电平触发模式下，产生中断的同时保持 Pending 状态。
• Active：CPU 已经应答（acknowledge）了该中断请求，并且正在处理中。
• Active and pending：当一个中断源处于 Active 状态的时候，同一中断源又触发了中断，进入 pending 状态。

中断处理流程

GIC 驱动

这里主要分析 linux kernel 中 GIC v3 中断控制器的代码(drivers/irqchip/irq-gic-v3.c)。

设备树

先来看下一个中断控制器的设备树信息：

• compatible：用于匹配GICv3驱动
• reg ：GIC的物理基地址，分别对应GICD,GICR,GICC…
• #interrupt-cells：这是一个中断控制器节点的属性。它声明了该中断控制器的中断指示符(interrupts)中 cell 的个数
• interrupt-controller: 表示该节点是一个中断控制器
• interrupts：分别代表中断类型，中断号，中断类型， PPI中断亲和， 保留字段

关于设备数的各个字段含义，详细可以参考 Documentation/devicetree/bindings 下的对应信息。

初始化

1. irq chip driver 的声明：

定义 IRQCHIP_DECLARE 之后，相应的内容会保存到 __irqchip_of_table 里边:

__irqchip_of_table 在链接脚本 vmlinux.lds 里，被放到了 __irqchip_begin 和 __irqchip_of_end 之间，该段用于存放中断控制器信息：

在内核启动初始化中断的函数中，of_irq_init 函数会去查找设备节点信息，该函数的传入参数就是 __irqchip_of_table 段，由于 IRQCHIP_DECLARE 已经将信息填充好了，of_irq_init 函数会根据 “arm,gic-v3” 去查找对应的设备节点，并获取设备的信息。or_irq_init 函数中，最终会回调 IRQCHIP_DECLARE 声明的回调函数，也就是 gic_of_init，而这个函数就是 GIC 驱动的初始化入口。

2. gic_of_init 流程：

中断的映射

当早期的系统只存在一个中断控制器，而且中断数目也不多的时候，一个很简单的做法就是一个中断号对应到中断控制器的一个号，可以说是简单的线性映射：

但当一个系统中有多个中断控制器，而且中断号也逐渐增加的时候。linux 内核为了应对此问题，引入了 irq_domain 的概念。

irq_domain 的引入相当于一个中断控制器就是一个 irq_domain。这样一来所有的中断控制器就会出现级联的布局。利用树状的结构可以充分的利用 irq 数目，而且每一个 irq_domain 区域可以自己去管理自己 interrupt 的特性。

每一个中断控制器对应多个中断号， 而硬件中断号在不同的中断控制器上是会重复编码的， 这时仅仅用硬中断号已经不能唯一标识一个外设中断，因此 linux kernel 提供了一个虚拟中断号的概念。

接下来我们看下硬件中断号是如何映射到虚拟中断号的。

数据结构

在看硬件中断号映射到虚拟中断号之前，先来看下几个比较重要的数据结构。

struct irq_desc 描述一个外设的中断，称之中断描述符。

• irq_data：中断控制器的硬件数据
• handle_irq：中断控制器驱动的处理函数，指向一个 struct irqaction 的链表，一个中断源可以多个设备共享，所以一个 irq_desc 可以挂载多个 action，由链表结构组织起来
• action：设备驱动的处理函数

struct irq_data 包含中断控制器的硬件数据。

• irq：虚拟中断号
• hwirq：硬件中断号
• chip：对应的 irq_chip 数据结构
• domain：对应的 irq_domain 数据结构

struct irq_chip 用于对中断控制器的硬件操作。

• parent_device：指向父设备
• name：/proc/interrupts 中显示的名字
• irq_startup：启动中断，如果设置成 NULL，则默认为 enable
• irq_shutdown：关闭中断，如果设置成 NULL，则默认为 disable
• irq_enable：中断使能，如果设置成 NULL，则默认为 chip->unmask
• irq_disable：中断禁止
• irq_ack：开始新的中断
• irq_mask：中断源屏蔽
• irq_mask_ack：应答并屏蔽中断
• irq_unmask：解除中断屏蔽
• irq_eoi：中断处理结束后调用
• irq_set_affinity：在 SMP 中设置 CPU 亲和力
• irq_retrigger：重新发送中断到 CPU
• irq_set_type：设置中断触发类型
• irq_set_wake：使能/禁止电源管理中的唤醒功能
• irq_bus_lock：慢速芯片总线上的锁
• irq_bus_sync_unlock：同步释放慢速总线芯片的锁

struct irq_domain 与中断控制器对应，完成硬件中断号 hwirq 到 virq 的映射。

• link：用于将 irq_domain 连接到全局链表 irq_domain_list 中
• name：irq_domain 的名称
• ops：irq_domain 映射操作函数集
• mapcount：映射好的中断的数量
• fwnode：对应中断控制器的 device node
• parent：指向父级 irq_domain 的指针，用于支持级联 irq_domain
• hwirq_max：该 irq_domain 支持的中断最大数量
• linear_revmap[]：hwirq->virq 反向映射的线性表

struct irq_domain_ops 是 irq_domain 映射操作函数集。

• match：用于中断控制器设备与 irq_domain 的匹配
• map：用于硬件中断号与 Linux 中断号的映射
• xlate：通过 device_node，解析硬件中断号和触发方式

struct irqaction 主要是用来存设备驱动注册的中断处理函数。

• handler：设备驱动里的中断处理函数
• dev_id：设备 id
• irq：中断号
• flags：中断标志，注册时设置，比如上升沿中断，下降沿中断等
• name：中断名称,产生中断的硬件的名字
• dir：指向 /proc/irq/ 相关的信息

这里，我们用一张图来汇总下上面的数据结构：

上面的结构体 struct irq_desc 是设备驱动加载的过程中完成的，让设备树中的中断能与具体的中断描述符 irq_desc 匹配，其中 struct irqaction 保存着设备的中断处理函数。右边框内的结构体主要是在中断控制器驱动加载的过程中完成的，其中 struct irq_chip 用于对中断控制器的硬件操作，struct irq_domain 用于硬件中断号到 Linux irq 的映射。

下面我们结合代码看下中断控制器驱动和设备驱动是如何创建这些结构体，并且硬中断和虚拟中断号是如何完成映射的。

中断控制器注册 irq_domain

通过 __irq_domain_add 初始化 irq_domain 数据结构，然后把 irq_domain 添加到全局的链表 irq_domain_list 中。

外设的驱动创建硬中断和虚拟中断号的映射关系

设备的驱动在初始化的时候可以调用 irq_of_parse_and_map 这个接口函数进行该 device node 中和中断相关的内容的解析，并建立映射关系

• of_irq_parse_one 函数用于解析DTS文件中设备定义的属性，如"reg", “interrupt”
• irq_find_matching_fwspec 遍历 irq_domain_list 链表，找到 device node 匹配的 irq_domain
• gic_irq_domain_translate 解析出中断信息，比如硬件中断号 hwirq，中断触发方式
• irq_domain_alloc_descs 分配一个虚拟的中断号 virq，分配和初始化中断描述符 irq_desc
• gic_irq_domain_alloc 为 hwirq 和 virq 创建映射关系。内部会通过 irq_domain_set_info 调用 irq_domain_set_hwirq_and_chip，然后通过 virq 获取 irq_data 结构体，并将 hwirq 设置到 irq_data->hwirq 中， 最终完成 hwirq 到 virq 的映射
• irq_domain_set_info 根据硬件中断号的范围设置 irq_desc->handle_irq 的指针，共享中断入口为 handle_fasteoi_irq，私有中断入口为 handle_percpu_devid_irq

最后，我们可以通过 /proc/interrupts 下的值来看下它们的关系：

现在，我们已经知道内核为硬件中断号与 Linux 中断号做了映射，相关数据结构的绑定及初始化，并且设置了中断处理函数执行的入口。接下来我们再看下设备的中断是怎么来注册的？

中断的注册

设备驱动中，获取到了 irq 中断号后，通常就会采用 request_irq/request_threaded_irq 来注册中断，其中 request_irq 用于注册普通处理的中断。request_threaded_irq 用于注册线程化处理的中断，线程化中断的主要目的把中断上下文的任务迁移到线程中，减少系统关中断的时间，增强系统的实时性。

其中 irq 是 linux 中断号，handler 是中断处理函数，flags 是中断标志位，name 是中断的名字。在讲具体的注册流程前，先看一下主要的中断标志位：

创建完成后，通过 ps 命令可以查看系统中的中断线程，注意这些线程是实时线程 SCHED_FIFO：

中断的处理

当完成中断的注册后，所有结构的组织关系都已经建立好，剩下的工作就是当信号来临时，进行中断的处理工作。这里我们站在前面知识点的基础上，把中断触发，中断处理等整个流程走一遍。

假设当前在 EL0 运行一个应用程序，触发了一个 EL0 的 irq 中断，则处理器会做如下的操作:

先会跳到 arm64 对应的异常向量表：

arm64 的异常向量表 vectors 中设置了各种异常的入口。kernel_ventry 展开后，可以看到有效的异常入口有两个同步异常 el0_sync，el1_sync 和两个异步异常 el0_irq，el1_irq，其他异常入口暂时都 invalid。中断属于异步异常。

通过上图，我们可以看出中断的处理分为三个部分，保护现场，中断处理，恢复现场。其中 el0_irq 和 el1_irq 的具体实现略有不同，但处理流程大致是相同的。接下来我们以 el0_irq 为例对上面三个步骤进行梳理。

保护现场

kernel_entry 0，其中 kernel_entry 是一个宏，此宏会将 CPU 寄存器按照 pt_regs 结构体的定义将第一现场保存到栈上。

enable_da_f 是关闭中断。

总之，保存现场主要是下面三个操作：

中断处理

保存过现场后，即将跳入中断处理 irq_handler。

这里主要做了三个动作：

中断栈用来保存中断的上下文，中断发生和退出的时候调用 irq_stack_entry 和 irq_stack_exit 来进入和退出中断栈。中断栈是在内核启动时就创建好的，内核在启动过程中会去为每个 CPU 创建一个 per cpu 的中断栈：start_kernel->init_IRQ->init_irq_stacks

那中断控制器的 handle_arch_irq 又指向哪里呢？其实上面我们有讲到，在内核启动过程中初始化中断控制器时，设置了具体的 handler，gic_init_bases->set_handle_irq 将 handle_arch_irq 指针指向 gic_handle_irq 函数。代码如下：

所以，中断处理最终会进入 gic_handle_irq：

中断控制器中断处理的主体，如下所示：

调用 desc->handle_irq 指向的回调函数

irq_domain_set_info 根据硬件中断号的范围设置 irq_desc->handle_irq 的指针，共享中断入口为 handle_fasteoi_irq，私有中断入口为 handle_percpu_devid_irq。如下所示：

• handle_percpu_devid_irq：处理私有中断处理，在这个过程中会分别调用中断控制器的处理函数进行硬件操作，该函数调用 action->handler() 来进行中断处理

• handle_fasteoi_irq：处理共享中断，并且遍历 irqaction 链表，逐个调用 action->handler() 函数，这个函数正是设备驱动程序调用 request_irq/request_threaded_irq 接口注册的中断处理函数，此外如果中断线程化处理的话，还会调用 __irq_wake_thread 唤醒内核线程。

恢复现场

主要分三步：

总结

上面讲了中断控制器和设备驱动的初始化。包括从设备树获取中断源信息的解析，硬件中断号到 Linux 中断号的映射关系，irq_desc 等各个结构的分配及初始化、中断的注册等等，总而言之，就是完成静态关系创建，为中断处理做好准备。

当外设触发中断信号时，中断控制器接收到信号并发送到处理器，此时处理器进行异常模式切换，如果涉及到中断线程化，则还需要进行中断内核线程的唤醒操作，最终完成中断处理函数的执行。

最后，用一张图来汇总中断控制器和设备驱动的来龙去脉：

中断下半部之 workqueue

workqueue 是除了 softirq 和 tasklet 以外最常用的下半部机制之一。workqueue 的本质是把 work 交给一个内核线程，在进程上下文调度的时候执行。因为这个特点，所以 workqueue 允许重新调度和睡眠，这种异步执行的进程上下文，能解决因为 softirq 和 tasklet 执行时间长而导致的系统实时性下降等问题。

当驱动程序在进程上下文中有异步执行的工作任务时，可以用 work 来描述工作任务。把 work 添加到一个链表 worklist 中，然后由一个内核线程 worker 遍历链表，串行地执行挂入 worklist 中的所有 work。如果 worklist 中没有 work，那么内核线程 worker 就会变成 IDLE 状态；如果有 work，则执行 work 中的回调函数。

workqueue 相关的数据结构

关于 workqueue 中几个概念都是 work 相关的数据结构非常容易混淆，大概可以这样来理解：

work_struct ：

工作。初始化一个 work 并添加到工作队列后，将会将其传递到合适的内核线程来进行处理，它是用于调度的最小单位。

• data：低比特存放状态位，高比特存放 worker_pool 的ID或者 pool_workqueue 的指针
• entry：用于添加到其他队列上
• func：工作任务的处理函数，在内核线程中回调

workqueue_struct ：

工作的集合。workqueue 和 work 是一对多的关系。内核中工作队列分为两种：

• pwqs：所有的 pool_workqueue 都添加到本链表中
• list：用于将工作队列添加到全局链表 workqueues 中
• maydays：rescue状态下的 pool_workqueue 添加到本链表中
• rescuer：rescuer 内核线程，用于处理内存紧张时创建工作线程失败的情况
• cpu_pwqs：Per-CPU 创建 pool_workqueue
• numa_pwq_tbl[]：Per-Node 创建 pool_workqueue

pool_workqueue：

中间人 / 中介，负责建立起 workqueue 和 worker_pool 之间的关系。workqueue 和 pool_workqueue 是一对多的关系。

• pool：指向 worker_pool
• wq：指向所属的 workqueue
• nr_active：活跃的 work 数量
• max_active：活跃的最大 work 数量
• delayed_works：延迟执行的 work 挂入本链表
• pwqs_node：用于添加到 workqueue 链表中
• mayday_node：用于添加到 workqueue 链表中

worker_pool：

工人的集合。pool_workqueue 和 worker_pool 是一对一的关系，worker_pool 和 worker 是一对多的关系。

• cpu：绑定到 CPU 的 workqueue，代表 CPU ID
• node：非绑定类型的 workqueue，代表内存 Node ID
• worklist：pending 状态的 work 添加到本链表
• nr_workers：worker 的数量
• idle_list：处于 IDLE 状态的 worker 添加到本链表
• busy_hash：工作状态的 worker 添加到本哈希表中
• workers：worker_pool 管理的 worker 添加到本链表中
• hash_node：用于添加到 unbound_pool_hash 中

worker ：

工人。在代码中 worker 对应一个 work_thread() 内核线程。

• entry：用于添加到 worker_pool 的空闲链表中
• hentry：用于添加到 worker_pool 的忙碌列表中
• current_work：当前正在处理的 work
• current_func：当前正在执行的 work 回调函数
• current_pwq：指向当前 work 所属的 pool_workqueue
• scheduled：所有被调度执行的 work 都将添加到该链表中
• task：指向内核线程
• pool：该 worker 所属的 worker_pool
• node：添加到 worker_pool->workers 链表中

可以用下图来总结：

workqueue 的初始化

内核在启动的时候会对 workqueue 做初始化，workqueue 的初始化包含两个阶段，分别是 workqueue_init_early 和 workqueue_init。

workqueue_init_early

• 分配 worker_pool，并且对该结构中的字段进行初始化操作
• 分配 workqueue_struct，并且对该结构中的字段进行初始化操作
• alloc_and_link_pwqs：分配 pool_workqueue，将 workqueue_struct 和 worker_pool 关联起来

workqueue_init

这里主要完成的工作是给之前创建好的 worker_pool，添加一个初始的 worker，然后利用函数 create_worker，创建名字为 kworker/XX:YY 或者 kworker/uXX:YY 的内核线程。其中 XX 表示 worker_pool 的编号，YY 表示 worker 的编号，u 表示unbound。

• 分配 worker，并且对该结构中的字段进行初始化操作
• 为 worker 创建内核线程 worker_thread
• 将 worker 添加到 worker_pool 中
• worker 进入 IDLE 状态

经过上面两个阶段的初始化，workqueue 子系统基本就已经将数据结构的关联建立好了，当有 work 来进行调度的时候，就可以进行处理了。

使用 workqueue

内核推荐驱动开发者使用默认的 workqueue，而不是新建 workqueue。要使用系统默认的 workqueue，首先需要初始化 work，内核提供了相应的宏 INIT_WORK。

初始化 work

初始化 work 后，就可以调用 shedule_work 函数把 work 挂入系统默认的 workqueue 中。

work 调度

• 将 work 添加到系统的 system_wq 工作队列中。
• 判断 workqueue 的类型，如果是 bound 类型，根据 CPU 来获取 pool_workqueue。如果是 unbound 类型，通过 node 号来获取 pool_workqueue。
• 判断 pool_workqueue 活跃的 work 数量，少于最大限值则将 work 加入到 pool->worklist 中，否则加入到 pwq->delayed_works 链表中。
• 如果 __need_more_worker 判断没有 worker 在执行，则通过 wake_up_worker 唤醒 worker 内核线程。

worker_thread

worker 内核线程的执行函数是 worker_thread。

• 设置标志位 PF_WQ_WORKER，调度器在进行调度处理时会对 task 进行判断，针对 workerqueue worker 有特殊的处理。
• worker 被唤醒的时候，跳转到 woke_up 执行。
• woke_up 中，如果此时 worker 是需要销毁的，那就进行清理工作并返回。否则，离开 IDLE 状态，并进入 recheck 模块执行。
• recheck 中，判断是否需要更多的 worker 来处理，如果没有任务处理，跳转到 sleep 地方进行睡眠。如果有任务需要处理时，遍历工作链表，对链表中的每个节点调用 process_one_work 来执行 work 的回调函数，即 INIT_WORK 里的回调函数。

• sleep 中，没有任务处理时，worker 进入空闲状态，并将当前的内核线程设置成睡眠状态，让出 CPU。

总结

后台回复『Linux』『单片机』阅读更多相关文章。

点击“阅读原文”查看更多分享，欢迎点分享、收藏、点赞、在看。