当前位置：首页 > ICNP > 正文

【ICNP 2021】基于弱监督学习的ISP自助BGP异常检测

ICNP
2023-05-10
1419
更新：2023-05-10 11:40:34

> 摘要：边界网关协议 (BGP) 是网络中最重要的协议之一。然而，由于路由认证和验证的缺失，导致BGP极其容易受到路由泄漏、路由劫持、前缀劫持攻击。因此，在本文中我们提出了一个基于弱监督学习的、支持ISP独立部署的BGP异常检测通用框架。其中，为了解决BGP异常检测中数据不足的问题，我们提出，通过知识蒸馏从第三方异常检测系统中学习的方法。此外，为了减少不准确数据带来的负面影响，我们设计了一个基于self-attention的LSTM 模型，从时间和特征维度上自适应地挖掘BGP异常类别之间的差异。最后，我们实现了一个原型系统并通过广泛的实验验证了方案性能。

## 背景

边界网关协议 (BGP) 缺乏路由认证和验证，这使得互联网更容易受到恶意用户和错误配置的影响，例如前缀劫持、路由泄漏、中断和路由劫持等异常。这些攻击或异常可能会造成重大的经济损失、潜在的用户隐私泄露以及大规模网络不可避免的中断，影响着成千上万的用户和组织。

例如，2020 年 8 月 31 日，CenturyLink 错误配置 BGP 导致全球互联网流量下降 3.5%，这是历史上最大的互联网中断之一 。事实上，在互联网上发现了越来越多的 BGP 异常和漏洞 。因此，提供一种有效的方案来识别这些异常事件是非常重要的。

然而当下大多数 ISP 依赖第三方异常检测系统来检查他们的网络是否受到攻击，因为还没有一个通用的方法可以处理所有异常情况。而依赖第三方会导致一些问题。首先，一旦本地网络配置发生变化，他们需要及时更新第三方异常检测系统。其次，异常检测系统是为一些特定的异常设计的，不能有效地处理其他异常，所以没有一个系统可以检测到所有的异常。因此，ISP 必须与多个第三方异常检测系统达成协议，以检测所有异常。这使得ISP 无法做出足够快的反应来检测异常并避免大规模的 BGP 振荡。

因此，我们旨在为 AS 设计一个自营的异常检测系统，以识别所有 BGP 异常，并且无需其他 AS 的合作。

## BGP常见异常分类

BGP 在其设计中不考虑自治系统的身份验证 。它假设每个自治系统发布的公告都是可信可靠的，并且可以被对等体转发。这种设计导致了一系列BGP异常，使得网络容易出现路由泄露、劫持等异常情况。此外，劫持可以分为前缀劫持和路由劫持。基于图 1 所示的合法路由，我们在以下小节中提供定义和示例。

图1. 合法路线。每个AS公布的路径都是可信可靠的

### A. 前缀劫持

前缀劫持可以分为两大类：常规前缀劫持和子前缀劫持。

**常规前缀劫持：**如图2所示,劫持者在网络层可达信息（NLRI）中伪造目标AS1的前缀。在这种情况下，从AS3和AS4到AS1的数据将被AS5重新路由和窃取。

**子前缀劫持：** 如图3所示，劫持者不仅在NLRI公告中伪造前缀，而且使用目标AS的更长的子前缀，导致数据都被重新路由到劫持者AS5。

常规前缀劫持一般按照就近原则吸引劫持者附近的流量。此外，由于最长匹配原则，子前缀劫持通常会劫持更多流量。

图2. 常规前缀劫持。AS1 合法拥有 192.1.0.0/20 地址块。劫持者 AS5 非法通告地址为 192.1.0.0/20 的路由。则根据BGP最短路径原则，AS3&AS4到192.1.0.0/20的数据将被重定向到AS5

图3.子前缀劫持。AS5 声明了比 AS1 更长的前缀。根据最长匹配原则，所有数据流向劫持者AS5。

### B. 路由泄露

路由泄漏是最常见的 BGP 异常事件之一。它可能会导致多种类型的问题，从经济损失到网络中断。路由泄漏的定义是AS将一个Provider或Peer的路由传播到另一个Provider或Peer。根据路由策略优先级，提供商可能会选择客户的路由而不是对等方或提供商的路由，因此网络的路由将发生巨大变化。

### C. 路由劫持

在这种攻击场景中，劫持者只需要向目标AS通告一个虚假的 AS-PATH。假设假路径比从被感染AS到目标AS的路径短。根据AS-PATH最短路径优先原则，这将导致中间人 (MITM) 攻击。这种攻击更难检测，因为它避免了检测多源前缀冲突 (MOAS)。根据路径的真实性，路由劫持可以分为假路由（图4）和Defcon攻击（图5）。Defcon 攻击与假路由相比具有真实路径，但其伪造子前缀以实现 MITM 攻击。因此Defcon 检测起来更具挑战性，因为路径是可达的。

图4.虚假路由攻击。劫机者伪造了一条较短的路由 5,1，从而劫持了 AS4 的流量。

图5. Defcon 攻击。劫机者伪造更具体的前缀，以便它可以用于 MITM 攻击。

## 相关工作

现有的BGP安全方案可以分为安全协议保护和异常检测。安全协议保护（如RPKI和S-BGP）旨在防止各种路由认证技术引起的异常。然而，安全协议保护方法只有在大部分自治系统 (AS) 都部署时才有效。而由于升级成本及技术等问题，只有很少一部分AS部署了这些安全协议保护方法。因此，互联网服务提供商 (ISP) 更喜欢使用BGP异常检测安全方案。

现有的BGP异常检测方案可以分为两个类别：基于规则的方法和基于机器学习的方法。通常，基于规则的方法只能检测前缀劫持和一跳路由劫持。由于规则的不灵活性，这些方法无法检测其他异常或更复杂的劫持（例如，多于一跳的劫持、以及路由泄漏）。相比之下，基于机器学习的方法可以在复杂的劫持中拥有更好的泛化性能。

然而，现有的基于有监督的工作由于缺乏异常的训练集，只能在已有的公开异常数据集上进行分析和验证（如蠕虫攻击和路由泄露）。而基于无监督的工作，无法辨别正常路由更新和小规模的异常劫持（如路由劫持）。

总的来说，由于数据标记的高成本和高动态网络的挑战，无论是监督学习还是无监督学习都未能成功支持BGP异常检测。在本文中，我们建议使用弱监督学习进行BGP异常检测。利用具有庞大而全面的真实异常事件数据集的自适应弱监督学习模型，我们提供了一个能够检测所有异常的通用框架。

## 挑战

1)BGP异常事件由于复杂的商业考量，难以收集和验证，不准确的监督学习是必然的。因此，第一个挑战是构建一个规模可观的综合弱异常数据集。

2）给定的标签并不总是经过验证的基本事实，并且类别不平衡。因此，第二个挑战是从可能不准确和不平衡的数据中训练有效的异常检测模型。

## 模型框架

如图6所示，我们提出了一个基于弱监督学习的自适应通用框架。这分为以下模块：知识收集模块、特征提取模块和自适应异常检测模块。所有模块都可以在ISP中自行操作。

图6.流程图

第一个模块旨在提取知识。它从众所周知的异常检测系统如*BGPStream*和*BGPObservatory*中获取事件信息，然后从RIPE RIS数据库中获取原始BGP UPDATE消息。第二个模块是特征提取模块，从原始BGP UPDATE消息中提取特征。最后一个模块是自适应异常检测模块，它使用基于自注意力机制的LSTM模型。自注意力机制用于从全局探索异常事件时间序列的内部关系。此外，LSTM的隐藏层自适应地为特征分配权重，从而支持特征的选择。这些模块在以下小节中阐述。

### **A.知识采集模块**

知识收集模块通过访问众所周知的异常检测系统来收集异常事件。在给定的标签并不总是基于基本事实的情况下，它可能是不准确的数据。然而，数据遵循中心极限定理，这在第六节中得到了证明。此外，我们定制的弱监督学习模型可以学习异常之间的不同分布。每个异常事件都包含如下表一中对应的信息。需要注意的是，并非所有事件都具有这两个属性：事件结束时间和劫持者AS。例如，当发生前缀劫持时，异常可能会持续很长时间，因此不会有结束时间属性。在大多数情况下，没有针对突围事件的特定劫机者 AS。

然后，根据异常事件列表，我们使用pybgpstream的python API从控制平台RIPE RIS获取原始BGP UPDATE数据包。本模块完成后，我们将原始BGP UPDATE 数据包作为流量输入到下一个模块。

### **B.特征提取模块**

在本模块中，我们从原始 BGP 流量数据中提取特征。我们将 BGP 流量数据定义为以1分钟为时间间隔的时间序列特征。Sn=（x1,x2,x3,...,xn)。其中每个时间点x又由多个特征f组成，xt=(f1,f2,f3,...,fm)。同时我们采用滑动时间窗口来捕捉时间维度的变化，其大小定义为 w。

其中特征集如表二所示，我们将特征分为四类：前缀特征、Peer特征、AS-volume特征和AS-PATH特征。我们将在以下小节中讨论这些。

**前缀特征：**特征 f1-4 表征前缀劫持事件。f4 还可以识别 MITM 攻击。

**Peer特征：**特征 f5-7 与对等点的数量有关。f5 和 f7 描述了目标 AS 通知范围，f6 反映了 MITM 攻击。

**AS Volume特征：**特征 f8-13 是Volume类型特征。为了进一步区分路由工程和劫持，我们将公告分为MOAS公告和其他普通公告。

**AS-PATH特征：**我们可以通过测量给定时间段内的AS-PATH长度来估计目标AS更新的范围。AS-PATH 特性主要用于描述路由变化。我们使用编辑距离算法来估计路径差异。以及使用路径增加和减少来进一步区分路由工程和劫持。

### **C.自适应异常检测模块**

图7.自适应异常检测模型。

我们设计了自适应 LSTM 的功能，将每个时间戳提取的信息传递到下一个时间戳，并在最后一个时间戳识别异常。在 LSTM 模型中，Cell状态贯穿整个滑动时间窗口。同时，通过逻辑门，新的输入 xt 被选择性地添加到单元状态，并选择性地去除过去的信息。基于这些方法，我们可以从整个时间窗口中捕获长期信息。此外，LSTM 的神经网络层可以自适应地计算每个特征的重要性。而自注意力机制生成一系列权重，然后使用这些权重与输入参数相乘。然后它使用损失的反向传播来实现输入参数的重新分配。self-attention 的优点是从全局的角度观察每个时间戳信息的重要性，然后对输入进行重新加权输出。

## **数据集**

弱数据集收集：我们使用最著名的 BGP 异常检测系统（例如，BGPStream和BGPObservatory）作为异常事件的教师模型。此外，我们使用MANRS倡议的AS作为正常事件的教师模型，因为这些AS部署了RPKI并且可以相对信任。其中各异常检测系统的检测范围及收集的各事件数量如表三所示。对于弱数据集的训练和测试，每个异常事件获取异常数据集异常前后20分钟。同时，我们从MANRS获取20个具有代表性的AS作为正常数据的提供者，对其中每个AS收集1440分钟的数据作为正常数据。

Ground truth 数据集集合：为了解释不准确数据对模型的影响，我们使用公开异常数据集来测试我们训练的模型。该数据集包含四个众所周知的 BGP 事件，如表 IV 所示。其中包括来自土耳其电信 (TTnet)、Indosat（印度尼西亚）、马来西亚电信 (TM)以及对亚马逊网络服务 (AWS)的攻击的数据。其中每个案例包含1440个数据，并根据异常的持续时间标记数据。

## **数据预处理**

**丢弃重复事件和低覆盖率事件：**由于教师异常检测系统可能会报告一段时间内的重复事件，这可能会隐藏真实的事件开始时间。因此，我们以 15 分钟的间隔删除重复事件，只保留第一个事件。此外，我们的 BGP 数据是从 RIPE RIS 收集器收集的，可能存在一些覆盖率较差的区域。因此，我们在整个收集期间丢弃 f7 总和小于 5 的事件。

**数据集去噪：**为了防止特征在初始化期间发生剧烈变化，我们使用前 100 分钟作为初始化阶段。然后我们从训练数据中丢弃它。

**动态步幅采样方法：**为了解决类不平衡问题，我们设计了一种采样方法，在训练阶段对正常数据和异常数据使用不同的步幅大小。基于下面的公式3和4，我们可以得到数据集的大小。

其中 Di 表示事件 i 提供的数据大小， Ei 表示事件 i 的时间（以分钟为单位）。Wc 代表每个类别的滑动窗口大小，sc 定义每个类别的步幅。Nc 代表每个类别的事件数，Tc 定义每个类别的总数据大小。

**数据预处理分析：**为了便于特征分布的分析，我们将异常前后15分钟的特征总和作为单个样本，即每个异常总共30分钟。对于正常事件，我们使用 30 分钟的滑动窗口来生成正常事件集。

## **数据分析**

在本节中，我们展示弱数据集中不同特征对于各类异常的可区分性。结果表明，不同的异常类别确实是可分离的，并且数据集满足中心极限定理。

图 8. 基于前缀特征集将前缀劫持事件与正常事件进行比较。从左到右，f1-3 显着区分前缀劫持事件和正常事件，而 f4 用于表征路由劫持（例如，Defcon）。请注意，Y 轴使用的是对数刻度。

图 9. 基于AS Volume特征比较中断事件与正常事件。从左到右，基于 f9−13 的突破异常比普通事件高 1000 倍。f8 用于表征前缀劫持。请注意，Y 轴基于对数刻度。

图 10. 路径特征的重尾分布，其中每个重尾比例小于各自路径特征总和的 1%。此外，与正常事件相比，异常都表现出异常行为。

如图10，基于我们对AS-PATH特征集的重尾分布观察，我们将AS-PATH特征集划分为如表5所示，并在总特征量减少一半的同时，增强了特征集的信息量，由于重尾部分往往是异常，将其进行求和有助于异常的识别。

## **实验**

### **A.超参数选择**

根据我们的超参数选择，我们在后续的实验中采用128 hidden size大小，以及30分钟的滑动时间窗口。

图11.超参数选择

### **B.Self Attention的可解释性分析**

通过可视化每个异常类别的自注意力权重，我们可以发现注意力模型基于不同类型的异常有不同的侧重点。如图 12 所示，对于前缀劫持，权重随着时间序列的增加而增加，这比对所有时间戳使用相同权重的传统模型更合理。相比之下，路由泄漏检测模型更关注历史信息，因为路由策略的变化更难被检测到。此外，大规模事件（例如，突破）会导致大量消息无法访问，这会对网络产生巨大影响。因此，注意力模型需要更多地关注最近时间戳的特征。但是，对于典型的路径劫持（例如，假路由和Defcon），与前缀劫持和突破不同，路径劫持由于影响范围较小而难以检测。因此，模型也需要更多地关注过去的信息。

图 12. 每个事件的注意力权重。

### **C. 不同模型和特征集的比较**

相关框架仅使用我们的部分特征（例如，前缀特征、Peer Feature + AS Volume类型或仅使用 AS Volume）来识别异常，因此我们将它们组合起来并将它们设置为基线特征（BL）。

在这个实验中，我们成功地从异常检测系统中提取了知识，并通过我们的框架实现了更好的性能。此外，我们的模型具有比任何检测系统都更全面的异常检测能力，并且可以在目标 AS 中自我操作。

### **D.在公开数据集上的测试**

为了更好地表明在弱数据集上训练的模型具有更好的泛化性能，我们使用一个众所周知的异常事件集来测试训练后的模型。

**即时检测：**如图13所示，我们用不同的异常模型可视化事件的识别。我们的实验表明，可以立即识别异常。我们还发现，异常发生后，网络中的重路由会持续一段时间。

不同异常类别的关系：对于TTNet（AS9121）和IndoSat（AS4761）事件，我们可以观察到可以准确识别出路由泄漏引起的中断。我们还可以发现，该路由在中断后会立即重新路由，并带有大量新的路由路径，我们的模型将其识别为路由劫持。此外，对于TM（AS 4788）和AWS（AS 200759），虽然发生了路由泄漏，但并没有导致网络中断，说明这两个网络对异常的鲁棒性更强。通过这样的分析，我们发现了当大量异常事件发生时异常类别之间的关系。同时，这突出了我们的方法在其他数据集上的推广。

图13.基于已知异常的异常检测

### **E.迁移学习**

为了获得更好的性能，我们结合了现有的Ground truth数据集。我们使用从弱数据集学习的模型作为预训练的基础模型，并将我们的模型转移到众所周知的异常中。我们将预训练的模型转移到异常数据的小样本中进行微调，其中最后一层和骨干网络具有不同的学习率。此外，我们使用这些模型作为集成模型来检测异常。因此，该模型可以通过设置投票阈值来适应不同规模的 AS。

我们的基线模型是最先进的 BGP 检测模型 MLGF。MLGF 将图特征与 SVM 结合使用。图特征来源于AS拓扑，包括node centrality, clique theory, clusteringcoefficient and eccentricity。

如表7，我们采用交叉验证的方式将数据集划分为4部分。如表 VIII 所示，我们的方法在 RC 和 F1 指标方面都有显着改进。具体来说，我们的模型在 PR 仅降低 1.34% 的情况下提高了 20% 的召回率。同样值得注意的是，高召回率非常重要，因为当异常被忽略时，这可能会导致无法弥补的经济损失或安全问题企业/国家。此外，我们的集成模型具有良好的泛化性能，可以作为预警系统转移到各种AS。具体来说，当出现异常情况时，可以根据报警置信度的强弱采取不同的措施。例如，在强置信度告警的情况下，可以直接阻止异常BGP更新的传播。对于低置信度警报，我们可以实施 Route Flap Dampening 或限制更新速率或使用人工/专家审查。

结果表明，我们的弱数据集解决了BGP数据不足的问题，可以带来更多的先验知识。此外，预训练的模型也可以转移到其他地面实况数据集以实现更好的性能。

## **总结**

越来越多的BGP异常不断涌现，同时数据标记高成本和网络动态性导致：无论是有监督学习还是无监督学习都无法实现稳定高效的BGP异常检测。因此，在本工作中，我们提出一种弱监督学习框架来处理BGP异常检测。首选，方案从第三方系统中提取BGP知识；然后，使用弱数据集来训练一个可以处理数据噪声的自注意力LSTM模型；同时，将预先训练的模型转移到目标AS数据集以进行进一步的微调。据我们所知，这是第一个使用弱监督进行BGP异常检测的工作，框架的部署不依赖于其他AS，可以避免在第三方异常检测系统上进行繁琐的更新操作。实验中证明，在众多BGP异常事件下，检测框架同时实现了高精度和低开销。

**参考文献**： Y. Dong, Q. Li, R.Sinnott, Y. Jiang, and S. Xia, “ISP Self-Operated BGP Anomaly Detection Based on Weakly Supervised Learning,” in 2021 IEEE 29th International Conference on Network Protocols (ICNP). IEEE, 2021, pp. 1–11.

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

ICNP