奇安信攻防社区-DeepTective: 基于混合图神经网络的自动化漏洞挖掘框架

DeepTective: 基于混合图神经网络的自动化漏洞挖掘框架

PHP在Web应用中的普遍漏洞以及开发者、安全公司和白帽黑客为解决这些问题所做的努力。传统的静态、流和污点分析方法在性能上存在局限性，数据挖掘方法常受到误报/漏报的困扰，而近期基于深度学习的模型（主要是基于LSTM）并不天生适合程序语义等图结构数据。DeepTective是一种基于深度学习的PHP源代码漏洞检测方法，其核心创新在于采用混合架构，结合门控循环单元（GRU）处理代码令牌的线性序列（语法信息），以及图卷积网络（GCN）处理控制流图（CFG）（语义和上下文信息）

A Hybrid Graph Neural Network Approach for Detecting PHP Vulnerabilities
========================================================================

前沿续写
----

基于上一篇文章《RealVul: 基于大语言模型训练微调的PHP漏洞检测框架深度解析》研究分析了llm下的漏洞检测框架RealVul，后续笔者继续调研并分析了一个比较创新的漏洞挖掘框架：DeepTective。

引言
--

### **PHP漏洞检测背景**

PHP作为最常见的服务端语言，大量中小型网站依赖PHP构建后端，攻击者以此为目标发起SQL注入、XSS等漏洞攻击，造成严重经济损失和安全事故。传统方法（静态分析、污点传播分析、数据挖掘等）虽然可处理大量代码，但往往伴随高误报率或漏报率。近年来深度学习方法在软件漏洞检测中崭露头角，但在PHP领域应用尚属少数，多数采用LSTM等序列模型，难以充分利用程序语义结构。

**面临问题**：传统的静态、流和污点分析方法在性能上存在局限性，数据挖掘方法常受到误报/漏报的困扰，而近期基于深度学习的模型（主要是基于LSTM）并不天生适合程序语义等图结构数据。DeepTective旨在通过整合序列和基于图的处理来弥补这一空白

### **DeepTective方法核心思想**

DeepTective结合GRU和GCN两类神经网络，同时从代码的线性语法序列和控制流图（CFG）两个角度提取特征。其混合架构能够捕捉语法和语义信息，对SQL注入、XSS和OS命令注入（OSCI）漏洞进行分类。在合成数据集（SARD）上达到99.92%的F1值，并在真实项目数据集上获得88.12%的F1值，显著优于现有方法。此外，实测发现其在WordPress插件中发现了4个新的漏洞，验证了实用价值

*可以先看一下框架图了解一下流程，以便后续分析更好的理解*  
![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-87abc42452d9378351ecc571897e4ea7b5dddad3.png)

主要贡献
----

### DeepTective核心贡献

- 首次研究使用 **GCN 和 GRU** 检测 PHP 源代码中的漏洞，在机器学习模型中嵌入句法、结构和语义信息。
- 分析数据集定义对漏洞发现模型性能的影响，以及收集**新的函数和文件级标记**的 PHP 数据集。
- 对我们的 GNN DeepTective 进行扩展评估，将其与现有的 PHP 漏洞检测工具进行比较，并在野外使用，我们在现有的 **WordPress** 插件中发现了 4 个新漏洞。

### 与以往漏洞挖掘方法的对比分析

- **静态分析方法：** 早期PHP漏洞检测主要依赖静态分析工具，如RIPS、Pixy、SAFERPHP等，使用语法和污点传播分析检测漏洞路径。这些工具能高效扫描代码，但结果常含大量误报或漏报。例如SAFERPHP关注拒绝服务和授权检查漏洞，并引入控制依赖分析；Pixy和RIPS等工具广为使用，但在复杂场景下精度有限。
- **数据挖掘方法：** 针对PHP的机器学习方法也被提出。WAP利用污点分析提取特征并结合多个机器学习模型进行分类，Logistic回归在多类漏洞检测中表现最好。DEKANT利用自然语言处理技术（如隐马尔可夫模型）对代码切片建模，区别污点与非污点代码。WIRECAML结合数据流分析与机器学习，利用达到定义分析等从CFG提取特征，提升SQLi/XSS检测效果。这些方法在大规模代码分析时有优势，但对特征工程依赖较强，数据分布偏移时性能会下降。
- **深度学习方法：** 最近深度学习开始应用于PHP漏洞检测。TAP通过自定义词法分析器将PHP代码转为Token序列，使用Word2Vec嵌入并结合LSTM检测漏洞，在SARD等数据集上达到了AUC 0.9941、准确率0.9787。Vulhunter则将PHP代码编译为字节码切片，再用Bi-LSTM捕捉上下文特征。另一种方法直接使用VLD获取Zend字节码，训练双层LSTM实现SQLi/XSS分类。这些深度模型自动学习序列模式，但未利用程序的图结构语义。

创新性的框架
------

**基于图神经网络（GNN）的方法：** GNN近年来在漏洞检测中表现突出，如Devign（将C/C++代码的CFG与数据流图输入带门递归网络）和FUNDED（结合控制、数据流、调用依赖图的GNN模型）有效提升了漏洞检测效果。PHP的语义与C/C++不同，目前对PHP使用GNN的研究尚无先例。DeepTective正是首个将GCN用于PHP漏洞检测的尝试，创新性地结合了序列模型和图模型

- 第一个使用GCN和GRU检测PHP源代码漏洞，嵌入语法、结构和语义信息。
- 分析数据集定义对漏洞发现模型性能的影响，并构建了新的函数级和文件级PHP数据集。
- 对DeepTective进行了扩展评估，将其与现有PHP漏洞检测工具进行比较，并用于实际环境中发现了4个WordPress插件中的新漏洞。
    
    DeepTective方法论
    --------------

#### 前提知识

在基于机器学习的源代码漏洞检测流程中，第一个关键决策是样本由哪些代码单元构成。有很多选项可供选择，从代码行到整个代码库。根据所采用的技术、目标漏洞的特征以及检测目标，可以有多种合适的选项。在DeepTective中，选择了函数级和文件级粒度，并为此收集了新的数据集，并探索了两者之间的权衡。

- **函数级分类**有助于更好地定位易受攻击的代码，并减少学习阶段需要考虑的无关源代码的数量，从而提高效率并可能提高准确率。
- 一些漏洞是由于非本地代码片段的交互造成的，可能需要整个文件甚至更多文件才能识别。此外，**文件级样本**更容易以自动化方式进行标记，因此可以构成更好的学习数据集。
    
    ### **预处理**：PHP代码样本（函数体或整个文件）被转换。
- **代码令牌序列**：使用phply库（基于ply）将代码解析为有序的令牌序列。移除注释、制表符、空格和PHP标签（不影响漏洞存在与否）。用户定义的函数、变量和常量被合并为抽象令牌（例如VAR0-VAR9），而与漏洞相关的特定PHP函数（如query、exec、strip\_tags）则被保留。令牌随后使用LabelEncoder映射为数值向量，并填充/截断至固定长度（函数前200个变量，文件前3000个变量）。
- **控制流图（CFG）**：对于函数级别分析，CFG从AST中提取（使用phply的改编版本）。对于文件级别，使用joernphp以应对大型文件的鲁棒性。节点代表代码行，并转换为20维数值向量。CFG边缘表示为元组。

处理标记序列的 GRU 需要固定长度的向量作为输入。对于函数级样本，我们使用 200 的固定长度；对于文件级样本（它们通常要长得多），我们使用 3000 的固定长度。在每种情况下，如果样本的标记较少，我们会用零填充；如果标记较多，会从标记序列的末尾开始保留允许的最大标记数。这可能会导致信息丢失，但这是一种**使用固定长度神经架构分析可变长度输入**（尤其是源代码）的常用方法。

### **模型架构**：

现在我们详细分析这张框架图：

![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-dc7b04c1b202c2f5b983af8699e435dea174fa85.png)  
**嵌入层**：嵌入层的作用是将预处理阶段产生的每个数值输入转换为实数向量，并将该输入编码为低维空间中的因子组合。我们有两个嵌入层：一个用于标记序列，另一个用于 CFG 表示。两个嵌入层都使用长度为 100 的向量，这些向量在训练过程中通过反向传播学习，并随机初始化。更正式地说，这些层只是从数值标记函数 t 到向量 v∈R 的映射。

**GRU**：使用多层双向门控循环单元 从 token 表征序列中提取特征，该单元可以学习 token 之间的长期依赖关系。代码模式（例如导致漏洞的代码模式）在很大程度上取决于编程语言的语法及其出现的本地上下文。大多数 token 都包含序列中下一个 token 的信息。此信息流会一直传播到代码语句结束。GRU 利用这些信息流，通过学习源代码中代码 token 的双向序列（即正向和反向）。GRU为每一层对输入序列的每一个元素计算如下函数：  
![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-2a33ec45be4839fd6df4e0f55601ffea5748f354.png)

其中ht是时间t的隐藏状态，xt是时间t的输入，h（t 1）  
是时间t-1的层隐藏状态或时间的初始隐藏状态，而  
rt、zt、nt 分别是重置门、更新门和新门。a是 Sigmoid  
函数，`*`是 Hadamard 积。

**GCN**：CFG 表示代码示例中函数和语句的控制依赖关系。这些依赖关系近似于注入漏洞中典型的从不可信源到敏感接收器的信息流。因此，使用图卷积网络从 CFG 中提取特征，该网络能够将这些依赖关系嵌入到我们的模型中，并通过反向传播学习它们的重要性

**分类**：GCN（最大池化为4000维向量）和GRU的输出合并后，输入到三个带有Dropout（0.3）和ReLU激活函数的线性分类层。最终输出是一个4维概率向量，表示每个类别（安全、XSS、SQLi、OSCI）的置信度。

DeepTective框架下的**架构参数** 如下所示：  
![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-8ace3d2a9e76324b86e2e3a97e98f87ee388c45b.png)

### **数据集**：

实验使用两个数据源：合成数据集SARD和真实代码数据集（GitHub）。从NVD中检索相关CVE，找到对应修复的GitHub提交，克隆涉及的PHP项目代码。对于SARD（软件保证参考数据集）中的PHP漏洞子集，直接提取每个独立样本文件；去除几乎重复（仅标签不同）样本，得到精简的SARD#数据集。SARD#数据量相对平衡，无需进一步清洗

**文件级与函数级样本：** 同时构建函数粒度（Function-level）和文件粒度（File-level）两套数据集。文件级样本直接使用整个PHP文件，标注为含有某类漏洞或安全。函数级样本通过分析GitHub修复提交生成：假设被修复行所在的函数包含漏洞，该函数作为正例；同一文件未修改的函数作为负例。对SARD#仅保留文件级样本。

**合成样本（SARD#）**：源自软件保障参考数据集（SARD），由PHP漏洞测试套件生成器生成。这些样本简短、独立，并具有保证准确的标签。然而，它们过于简单，不能反映真实世界代码的复杂性。

**真实样本（GIT，GITf）**：从GitHub PHP项目中收集，通过NVD搜索与SQLi、XSS和OSCI相关的CVE。识别修复这些漏洞的提交，易受攻击的文件/函数作为正样本，未受影响的作为负样本

![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-89b44a91d78a377f963ee75d25b50bec1c59958a.png)

模型评估
----

**方法论**：实验使用PyTorch和Torch Geometric。性能评估指标包括真负例（TN）、假负例（FN）、真正例（TP）、假正例（FP）、准确率、精确率、召回率和F1分数。由于类别不平衡，F1分数被优先考虑。聚合结果使用二元分类问题（安全 vs. 不安全）。

- **函数级别粒度**：
    
    
    - Func-S（在SARD#上训练）在SARD#上表现良好（F1 94.9%），但在GITf上表现不佳（F1 6.35%），表明合成数据向真实数据泛化失败。
    - Func-G（在GITf上训练）在GITf上表现令人失望（F1 45.30%），表明函数级别模型对于真实世界代码通常不足，因为缺乏上下文信息。
    - Func-A（在组合ALLf上训练）表现出更好的泛化能力，在ALLf测试集上所有类别都超过60%的预测能力（图3(A））。

![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-891884738b5f01b857577407a4b337053d6bb17b.png)

- **文件级别粒度**：
    
    
    - File-S（在SARD#上训练）在SARD#上取得了完美分数（F1 100%），但在GIT上仍然表现不佳（F1 22.67%）。
    - File-G（在GIT上训练）在GIT上表现出显著改善（F1 87.40%），表明文件级别粒度为可用性能提供了关键上下文信息。
    - File-A（在组合ALL上训练）取得了最佳整体性能，在SARD#上F1 99.92%，在GIT上F1 88.12%，成为性能最优的模型。  
        ![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-cc4a25ddd9049bc8417632287309dcabf4f8d595.png)
- **工具比较**：DeepTective File-A与F1值方面优于所有其他工具，尤其是在真实数据集上

![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-891edb8a2ae62bc9076aad9df91fb84e594c9b3a.png)

实验结果
----

![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-d6786d39dba17763cffd3873d19d4df667fe5c9b.png)

- **执行性能**：DeepTective在8个流行的GitHub项目和5个较小的WordPress插件上进行了测试。处理时间通常与代码行数（LoC）呈线性关系（图4）。对一个27MB项目最坏情况的分析耗时不到半小时，每个文件的平均处理时间低于一秒，使其适用于持续集成流水线。

![image.png](https://cdn-yg-zzbm.yun.qianxin.com/attack-forum/2025/09/attach-0c60347e6ab73d5331d226165dc2eaef7479bd18.png)

- **漏洞检测**：采用分层方法（File-G进行文件级初步检测，然后Func-A进行精确函数级定位），DeepTective识别出60个潜在易受攻击的函数。人工检查确认了WordPress插件中的4个新漏洞：
    
    
    - CVE-2020-14092：在“Payment Form for PayPal Pro”中发现的严重SQLi（CVSS 9.8）。
    - CVE-2020-13892：在“SportsPress”中发现的中等XSS（CVSS 5.4）。
    - 值得注意的是，其他比较工具均未能检测到这些漏洞。

局限性
---

- **合成数据泛化问题**：仅在合成数据集（如SARD#）上训练的模型，在真实数据上进行测试时表现“差劲”。这突出表明了合成样本固有的简单性及其对真实世界代码复杂性的糟糕反映
- **漏洞类型范围有限**：DeepTective目前仅针对SQLi、XSS和OSCI漏洞。PHP应用程序容易受到更广泛的安全漏洞影响，而这些漏洞目前模型尚未涵盖。
- **误报控制：** 尽管DeepTective总体精度较高，误报（False Positive）仍需重视。在实验中发现，File-G模型相对保守（更倾向于标记安全），产生的误报比File-A少，导致在无漏洞代码上的准确率更高。然而为了提升对漏洞的召回（捕获更多真实漏洞），File-A牺牲了一部分精度，增加了误报。应用时需根据场景权衡误报率。当前方法并未专门对误报进行优化，如缺乏置信度校准或后处理模块。建议未来研究引入更多特征（如函数调用分析、参数依赖）或阈值策略，以控制误报。
- **跨项目适应性：** 模型对新代码库的适应性有限。实验表明，当模型在一组代码上训练后应用于另一组不同项目时，性能会下降。例如，在热门项目上测试时，File-G在见过的数据上有83.88%召回，但在全新项目集上的平均准确率仅71.37%。原因在于不同项目的编码风格、依赖库和漏洞模式不尽相同。改进策略包括：引入迁移学习或微调，使用更大规模的多项目训练集，以及提高模型对未见模式的鲁棒性（如使用图神经网络的更深模型或注意力机制等）。

优化与Idea
-------

**跨语言扩展：** 将方法推广到其他语言（如C/C++、Java、Python）是可行的方向。需要开发对应语言的Tokenizer和CFG提取工具（如使用JavaParser、ASTor等），并根据语言特性调整Token抽象策略。跨语言模型能为多种平台提供统一的漏洞检测能力，提升研究价值

**模型结构优化：** 可探索更先进的神经网络结构。如使用图注意力网络（GAT）或Transformer（如CodeBERT）替代传统GRU/GCN，以更灵活地捕捉远距离依赖和复杂交互。还可尝试多通道GNN，融合数据流图（DFG）等其他图结构信息，提高语义表

**在大型代码语料库上预训练**：在大规模无标签代码语料库上预训练语言模型或图神经网络，以学习通用的代码表示，然后可以针对特定的漏洞检测任务进行微调

**扩展漏洞类型**：将DeepTective扩展到检测更广泛的PHP漏洞，例如身份验证绕过、目录遍历、远程文件包含或反序列化漏洞

发表于 2025-10-23 09:47:12
阅读 ( 459 )
分类：AI 人工智能

DeepTective: 基于混合图神经网络的自动化漏洞挖掘框架

0 条评论