CXL 访问坐标计算

延迟和带宽计算

内存区域性能坐标（延迟和带宽）通常通过 ACPI 表 SRAT 和 HMAT 提供。但是，平台固件 (BIOS) 无法为热插拔的 CXL 设备注释这些信息，因为它们在平台固件初始化期间不存在。CXL 驱动程序可以通过从多个组件检索数据来计算性能坐标。

SRAT 提供了一个通用端口亲和性子表，该子表将邻近域绑定到设备句柄，在这种情况下，该句柄将是 CXL 主桥。使用此关联，可以从 HMAT 子表中检索通用端口的性能坐标。这部分表示 CPU 和通用端口（CXL 主桥）之间的性能坐标。

CDAT 提供了 CXL 设备本身的性能坐标。即访问该设备内存区域的带宽和延迟。DSMAS 子表提供了一个 DSMADHandle，它绑定到设备物理地址 (DPA) 范围。DSLBIS 子表提供了与 DSMADhandle 绑定的性能坐标，并将两个表条目绑定在一起，从而为每个 DPA 区域提供性能坐标。例如，如果设备导出一个 DRAM 区域和一个 PMEM 区域，那么每个区域将具有不同的性能特征。

如果拓扑中存在 CXL 交换机，则交换机的性能坐标由 SSLBIS 子表提供。这提供了用于遍历交换机的带宽和延迟，从交换机上游端口到指向端点设备的交换机下游端口。

简单的拓扑示例

GP0/HB0/ACPI0016-0
       RP0
        |
        | L0
        |
    SW 0 / USP0
    SW 0 / DSP0
        |
        | L1
        |
       EP0

在此示例中，端点和根端口之间有一个 CXL 交换机。本示例中的延迟计算如下： L(EP0) - 来自 EP0 CDAT DSMAS+DSLBIS 的延迟 L(L1) - EP0 和 SW0DSP0 之间的链路延迟 L(SW0) - 来自 SW0 CDAT SSLBIS 的交换机延迟。 L(L0) - SW0 和 RP0 之间的链路延迟 L(RP0) - 通过 SRAT 和 HMAT（通用端口）从根端口到 CPU 的延迟。总读取和写入延迟是所有这些部分的总和。

本示例中的带宽计算如下： B(EP0) - 来自 EP0 CDAT DSMAS+DSLBIS 的带宽 B(L1) - EP0 和 SW0DSP0 之间的链路带宽 B(SW0) - 来自 SW0 CDAT SSLBIS 的交换机带宽。 B(L0) - SW0 和 RP0 之间的链路带宽 B(RP0) - 通过 SRAT 和 HMAT（通用端口）从根端口到 CPU 的带宽。总读取和写入带宽是所有这些部分中的 min()。

要计算链路带宽： LinkOperatingFrequency (GT/s) 是当前协商的链路速度。 DataRatePerLink (MB/s) = LinkOperatingFrequency / 8 带宽 (MB/s) = PCIeCurrentLinkWidth * DataRatePerLink 其中 PCIeCurrentLinkWidth 是链路中的通道数。

要计算链路延迟： LinkLatency (皮秒) = FlitSize / LinkBandwidth (MB/s)

有关详细信息，请参见 CXL 内存设备 SW 指南 r1.0，第 2.11.3 和 2.11.4 节。

最后，构造的内存区域的访问坐标是从每个 CXL 设备的一个或多个内存分区计算得出的。

共享上游链路计算

对于某些 CXL 区域构造，端点位于 CXL 交换机 (SW) 或根端口 (RP) 之后，交换机后面所有端点的总带宽可能大于交换机上游链路。在主机内部、根端口的上游也可能发生类似的情况。CXL 驱动程序在所有目标都已到达区域后执行额外的传递，以便重新计算带宽，同时考虑到可能的上游链路是限制因素。

该算法假定配置是对称拓扑，因为这样可以最大限度地提高性能。当检测到不对称拓扑时，计算将中止。在拓扑遍历期间检测到不对称拓扑，其中检测为祖父母的 RP 数量不等于同一迭代循环中迭代的设备数量。假设属性的细微不对称性不会发生，并且到 EP 的所有路径都相等。

一个 RP 下可以有多个交换机。一个 CXL 主桥 (HB) 下可以有多个 RP。在 CEDT 中，一个 CXL 固定内存窗口结构 (CFMWS) 下可以有多个 HB。

层次结构示例

               CFMWS 0
                 |
        _________|_________
       |                   |
   ACPI0017-0          ACPI0017-1
GP0/HB0/ACPI0016-0   GP1/HB1/ACPI0016-1
   |          |        |           |
  RP0        RP1      RP2         RP3
   |          |        |           |
 SW 0       SW 1     SW 2        SW 3
 |   |      |   |    |   |       |   |
EP0 EP1    EP2 EP3  EP4  EP5    EP6 EP7

示例层次结构的计算

Min (GP0 到 CPU BW,

Min(SW 0 到 RP0 的上游链路 BW,

Min(SW0SSLBIS for SW0DSP0 (EP0), EP0 DSLBIS, EP0 上游链路) + Min(SW0SSLBIS for SW0DSP1 (EP1), EP1 DSLBIS, EP1 上游链路)) +

Min(SW 1 到 RP1 的上游链路 BW,

Min(SW1SSLBIS for SW1DSP0 (EP2), EP2 DSLBIS, EP2 上游链路) + Min(SW1SSLBIS for SW1DSP1 (EP3), EP3 DSLBIS, EP3 上游链路))) +

Min (GP1 到 CPU BW,

Min(SW 2 到 RP2 的上游链路 BW,

Min(SW2SSLBIS for SW2DSP0 (EP4), EP4 DSLBIS, EP4 上游链路) + Min(SW2SSLBIS for SW2DSP1 (EP5), EP5 DSLBIS, EP5 上游链路)) +

Min(SW 3 到 RP3 的上游链路 BW,

Min(SW3SSLBIS for SW3DSP0 (EP6), EP6 DSLBIS, EP6 上游链路) + Min(SW3SSLBIS for SW3DSP1 (EP7), EP7 DSLBIS, EP7 上游链路))))

计算从 cxl_region_shared_upstream_perf_update() 开始。创建一个 xarray 以通过 cxl_endpoint_gather_bandwidth() 函数收集所有端点带宽。计算来自端点 CDAT 的带宽和上游链路带宽的 min()。如果端点的父级是 CXL 交换机，则计算计算出的带宽与来自与端点关联的交换机下游端口的 SSLBIS 的带宽的 min()。最终带宽存储在 xarray 中的“struct cxl_perf_ctx”中，由设备指针索引。如果端点直接连接到根端口 (RP)，则设备指针将是 RP 设备。如果端点位于交换机之后，则设备指针将是父交换机的上游设备。

在下一阶段，如果拓扑中存在一个或多个交换机，则代码会遍历这些交换机。对于直接连接到 RP 的端点，此步骤将被跳过。如果还有另一个交换机位于上游，则代码采用当前收集的带宽和上游链路带宽的 min()。如果上游有交换机，则为上游交换机的 SSLBIS。

一旦拓扑遍历到达 RP，无论是直接连接的端点还是遍历交换机，都会调用 cxl_rp_gather_bandwidth()。此时，每个主桥聚合所有带宽，这也是生成 xarray 的索引。

下一步是采用每个主桥带宽和来自通用端口 (GP) 的带宽的 min()。GP 的带宽通过 ACPI 表 (SRAT 和 HMAT) 检索。最小带宽在同一 ACPI0017 设备下聚合，以形成新的 xarray。

最后，调用 cxl_region_update_bandwidth()，并为驻留在 cxl 区域 (cxlr) 上下文中的访问坐标更新来自最后一个 xarray 的所有成员的聚合带宽。

QTG ID

每个 CEDT 都有一个 QTG ID 字段。此字段提供与 CFMWS 窗口的 QoS 节流组 (QTG) 关联的 ID。一旦计算出访问坐标，就可以向 ACPI0016 设备发出 ACPI 设备特定方法，以检索 QTG ID，具体取决于提供的访问坐标。该设备的 QTG ID 可用作匹配 CFMWS 的指导，以设置设备的最佳 Linux 根解码器性能。