RSS订阅 立即发帖
筛选:  最新的 推荐的 热门的

AI安全之间接提示词注入实现RCE(CVE-2025-53773绕过分析)

AI安全之间接提示词注入实现RCE(CVE-2025-53773绕过分析)

  • 1
  • 1
  • mhxiang
  • 发布于 2025-12-29 09:45:04
  • 阅读 ( 1549 )

第三届“天网杯” AI赛道 writeup合集

  • 1
  • 1
  • Cain
  • 发布于 2025-12-30 09:00:01
  • 阅读 ( 1066 )

黑灰产从绕过到自建“无约束”的AI模型过程

市面上主流的大模型服务，都已经建立一套相对成熟的安全架构,这套架构通常可以概括为三层过滤防御体系 1. 输入检测：在用户请求进入模型之前，通过黑白词库、正则表达式和语义分析，拦截掉那些意图明显的恶意问题。 2. 内生安全：模型本身经过安全对齐，通过指令微调和人类反馈强化学习（RLHF），让模型从价值观层面理解并拒绝执行有害指令。 3. 输出检测：在模型生成响应后，再次进行扫描，确保内容合规。。但攻击者依然在生成恶意内容、钓鱼邮件，甚至大规模恶意软件。

  • 3
  • 1
  • 洺熙
  • 发布于 2025-11-28 09:00:02
  • 阅读 ( 2432 )

揭秘AI自动化渗透背后的迷雾

今年是Agent的主旋律，随着近期Blackhat DEFCON 以及各大赛事 会议的开展，AI与安全的话题不断碰撞，在这其中，AI自动化漏洞挖掘/渗透？AI是否能代替人类安全工作人员？或安全怎么才能不被AI代替? 一直是热门的话题 本文将以AI赋能安全方面，至少在明面上来说，目前产品工程与经营都比较完善的XBOW来进行分析 一同观看目前AI for安全的前沿在那一步？

  • 3
  • 1
  • 洺熙
  • 发布于 2025-10-22 09:46:28
  • 阅读 ( 4539 )

大模型投毒-训练、微调、供应链与RAG解析

人工智能系统的安全范式正从外部防御转向保障其内在的认知完整性。攻击通过污染训练数据、在微调阶段植入后门、利用供应链漏洞以及在推理时注入恶意上下文，旨在从根本上破坏模型的可靠性与安全性

  • 1
  • 1
  • 洺熙
  • 发布于 2025-09-04 09:00:02
  • 阅读 ( 5215 )

【补天白帽黑客城市沙龙-杭州站】让安全大模型不做花瓶

本议题聚焦于面向复杂场景的模型训练与架构设计，提出多种解决方案提升模型在网络安全场景下的理解与推理能力。在此方案下的实验中，体现了自动渗透、自动修复、自动信息收集、自动打靶、参与CTF竞赛等通用能力,初步具备无需人工干预的通用执行能力。

LLM安全交叉领域与从业者技能矩阵

着大型语言模型（LLM）在商业和社会领域的广泛应用，其安全性已成为一项关键议题。本文旨在为LLM安全领域奠定基础，阐述其核心定义、原则、面临的主要威胁，并介绍相关的治理框架，以展示LLM安...

  • 1
  • 1
  • 洺熙
  • 发布于 2025-07-04 16:15:01
  • 阅读 ( 4756 )

AI红队实践学习路线

AI红队实践学习路线 1.人工智能基础 从工程师视角出发，代码驱动，系统思考 这个阶段不仅是学习算法，更是建立一套工程化的思维习惯。你写的每一行代码，都应思考其在整个系统中的位置。一个AI...

  • 3
  • 1
  • 洺熙
  • 发布于 2025-07-04 16:14:58
  • 阅读 ( 5432 )

大模型应用提示词重构攻击

前言 用大模型LLM做安全业务的师傅们一定知道，提示词对于大模型在下游任务的表现的影响是很重要的。 因为大模型本质上是条件概率建模器，其输出严格依赖于输入上下文。在无监督预训练之后，这...

  • 0
  • 1
  • elwood1916
  • 发布于 2025-06-03 10:00:02
  • 阅读 ( 4281 )

LLM 时代下的 SAST ：Corgea 方案解读

本文解读了国外公司Corgea提出的结合LLM（大型语言模型）和SAST（静态应用安全测试）的创新解决方案——BLAST（业务逻辑应用安全测试）。其通过CodeIQ语义理解引擎结合AST（抽象语法树）技术，增强传统SAST的检测能力。BLAST能够处理特殊框架行为、减少误报，并通过语义理解检测业务逻辑漏洞。

  • 1
  • 1
  • wh4am1
  • 发布于 2025-05-20 09:00:00
  • 阅读 ( 4447 )

langflow: AI产品AST代码解析执行产生的RCE

本文主要是对langflow这一AI产品进行了漏洞分析，同时通过阅读官方文档的方式对漏洞的利用方式进行了进一步的扩展利用，剖析在AST解析执行的过程中因为`decorator`或者参数注入的方式导致的RCE漏洞的姿势，后续也将其添加到codeql规则中，进行AI产品代码的批量检测与漏洞挖掘

  • 3
  • 1
  • leeh
  • 发布于 2025-05-22 09:00:02
  • 阅读 ( 4949 )

基于树模型对恶意代码的静态分析方法

你将学到什么？​​ ✅ ​​决策树的数学基础​​：信息增益 vs. 基尼系数 vs. 增益率，如何影响模型表现？ ✅ ​​Bagging vs. Boosting​​：为什么随机森林能并行，而XGBoost必须串行训练？ ✅ ​​XGBoost的工程优化​​：二阶泰勒展开、正则化、特征重要性如何让预测更精准？ ✅ ​​AST（抽象语法树）实战​​：如何把PHP代码转换成机器学习可用的数值特征？ ✅ ​​调参技巧与评估指标​​：如何用网格搜索和Fβ分数平衡准确率与召回率？

  • 0
  • 1
  • 1gniT42e
  • 发布于 2025-04-30 09:01:48
  • 阅读 ( 3829 )

多智能体系统安全危机：从通信劫持到数据投毒，AI协作背后的隐患

在当今数字化浪潮中，多智能体系统（MAS）正逐渐成为解决问题的新范式。想象一下，一群由大型语言模型（LLM）驱动的智能体，它们各司其职，却又紧密协作，共同完成复杂的任务。这种系统不仅高效、可扩展性强，还能够像人类团队一样灵活应对各种挑战。然而，正如硬币的两面，这些强大的功能也带来了独特的安全风险。

  • 0
  • 1
  • Halo咯咯
  • 发布于 2025-04-25 09:33:57
  • 阅读 ( 6453 )

多智能体系统（MAS）：如何让AI团队协作解决复杂问题？

你有没有想过，世界上最复杂的问题，可能并不是靠单一的力量解决，而是通过一群智能体的协作来完成？**多智能体系统（Multi-Agent System, MAS）**正是这样一种技术框架，它允许多个独立的智能体（Agents）通过协作、思考和适应，共同完成复杂任务。

  • 0
  • 1
  • Halo咯咯
  • 发布于 2025-05-06 09:00:03
  • 阅读 ( 5483 )

补齐SDLC最后一块拼图：LLM 在应用安全中的实践探索

随着DevSecOps的推进，应用安全已逐步融入SDLC各阶段，一个长期存在的问题依然突出：安全工具往往能发现问题，却难以判断其真实性、可利用性及处置优先级。这些持续消耗研发与安全团队的时间精力。近年来随着大语言模型的迅速发展，为这一困境提供了新的可能，本文结合实际应用安全建设经验，重点探讨AI在硬编码、SCA、漏洞挖掘等场景中的应用安全实践方法。

  • 1
  • 0
  • hyyrent
  • 发布于 2026-01-21 09:00:01
  • 阅读 ( 597 )

KV-Cache：大语言模型推理加速的双刃剑—隐私风险与防御实战

在2025年，大语言模型（LLM）推理服务已全面进入多租户时代，KV Cache作为核心加速技术，让Prefill阶段并行计算、Decode阶段复用历史键值，带来5–8倍的吞吐提升。然而，这把“双刃剑”也暴露了严重的安全隐患：共享缓存下的时序侧信道可直接泄露用户Prompt；更隐蔽的History Swapping能悄无声息劫持输出话题；腐败攻击则通过扰动Key向量引发幻觉与性能崩坏。

  • 0
  • 0
  • Wh1tecell
  • 发布于 2026-01-20 09:00:02
  • 阅读 ( 599 )

【2025补天白帽黑客盛典】I flip WASM bits

我们针对Blackhat ASIA 2023议题:Attacking WebAssembly Compiler of WebKit使用的方法进行了改进，对Firefox、Chrome浏览器WASM模块进行fuzz并发现了多个漏洞。我们针对其中Firefox浏览器一个典型的WASM漏洞进行了详细分析,包含Firefox的一些机制和针对WASM memory的优化,揭示了漏洞产生的本质原因:新的WASM提案和功能的实现导致一些边界检查的绕过，实现新功能时旧功能的代码修改不完全导致新漏洞的出现。

【2025补天白帽黑客盛典】大模型时代的移动端攻防：基于LLM的App漏洞挖掘

本议题将分享一种基于LLM Agent的App漏洞挖掘。通过引入MCP方式，结合精细化的Prompt工程与工作流编排，将复杂的挖洞过程拆解为可控的原子任务。将展示如何使用LLM强大的代码审计能力，实现对App隐蔽漏洞的高效、精准捕获。

深度实例分析：攻防视角下的AI框架组件中的注入漏洞

在从事了一段时间对AI框架组件的安全审计研究后，也挖掘到了很多相似的注入漏洞，对于目前的AI框架组件（PandasAI，LlamaIndx，Langchain...）对于该类型漏洞的通病结合实战实例以及学术界的研究做了系统性的归纳，站在AI框架的顶层角度对该类AI框架组件中的注入漏洞进行研究分析，供师傅们交流指点...

  • 1
  • 0
  • Bear001
  • 发布于 2026-01-14 09:47:32
  • 阅读 ( 1494 )

从某BAT大厂开源框架实战审计揭秘 LLM 集成框架中的隐蔽加载漏洞

最近在研究LLM集成应用框架时，在审计某BAT大厂的github18k大型开源LLM集成应用框架项目时发现了一处隐蔽的加载漏洞，虽然开发者打过了防御补丁，但仍然可进行绕过并已提交CVE。遂深入进行了该类型的漏洞在LLM集成应用框架中的探究，供师傅们交流指点...

  • 1
  • 0
  • Bear001
  • 发布于 2026-01-08 09:00:02
  • 阅读 ( 3128 )