扩散模型的背后一个很核心的风险就是未授权数据集使用的问题。当然,这种侵权分为两种,一种是使用文生图模型得到的图像,其版权归属问题,比如之前的新闻提到,北京互联网法院全国首例“AI文生图”著作权侵权案获最高法院“两会”工作报告关注
上篇文章中我们已经基本了解了微调一个基座大模型的流程,本文我们将集中于微调出一个实际的安全大模型。 因此首先有必要必要了解微调出一个安全大模型存在的难点
本文主要是对langflow这一AI产品进行了漏洞分析,同时通过阅读官方文档的方式对漏洞的利用方式进行了进一步的扩展利用,剖析在AST解析执行的过程中因为`decorator`或者参数注入的方式导致的RCE漏洞的姿势,后续也将其添加到codeql规则中,进行AI产品代码的批量检测与漏洞挖掘
本文提出了一种基于DQN强化学习的XSS载荷自动生成方法,通过神经网络替代Q表格,结合经验回放和目标网络优化训练。系统包含特征提取(257维向量)、WAF检测(正则规则)和免杀变形(6种字符级操作)三大模块,在Gym框架下实现智能体与WAF的对抗训练。实验表明,经过100轮训练后,智能体可生成有效绕过WAF的XSS载荷,为AI驱动的Web安全测试提供了新思路。
本文解读了国外公司Corgea提出的结合LLM(大型语言模型)和SAST(静态应用安全测试)的创新解决方案——BLAST(业务逻辑应用安全测试)。其通过CodeIQ语义理解引擎结合AST(抽象语法树)技术,增强传统SAST的检测能力。BLAST能够处理特殊框架行为、减少误报,并通过语义理解检测业务逻辑漏洞。
最近的文生图模型因为卓越的图像质量和看似无限的生成能力而受到关注。最近出圈,可能是因为openai的模型可以将大家的图像转变为吉卜力风格。
在传统系统安全中有一个典型的技术—影子栈(shadow stacks),它可以防御内存溢出攻击。那么类似于影子栈创建一个影子内存空间,如果可以正常栈中建立与目标LLM实例(LLMtarget)并行的影子LLM防御实例(LLMdefense),那理论上就是可以实现防御的
你有没有想过,世界上最复杂的问题,可能并不是靠单一的力量解决,而是通过一群智能体的协作来完成?**多智能体系统(Multi-Agent System, MAS)**正是这样一种技术框架,它允许多个独立的智能体(Agents)通过协作、思考和适应,共同完成复杂任务。
你将学到什么? ✅ 决策树的数学基础:信息增益 vs. 基尼系数 vs. 增益率,如何影响模型表现? ✅ Bagging vs. Boosting:为什么随机森林能并行,而XGBoost必须串行训练? ✅ XGBoost的工程优化:二阶泰勒展开、正则化、特征重要性如何让预测更精准? ✅ AST(抽象语法树)实战:如何把PHP代码转换成机器学习可用的数值特征? ✅ 调参技巧与评估指标:如何用网格搜索和Fβ分数平衡准确率与召回率?
本工具结合了当下的MCP协议中sse方案,给传统的目录扫描工具dirsearch对接上了AI大模型,并对扫描结果进行数据筛选及深度分析并输出漏洞报告。
本文将深入探讨多语言音频模型在实际应用中面临的安全挑战,特别是音频越狱攻击的机制与影响。我们将学习攻击者如何利用模型的漏洞,通过精心设计的音频输入绕过安全机制,诱导模型生成不当内容。
通过结合静态代码分析和大语言模型(LLM)的方式来批量检测AI产品中的潜在漏洞
在当今数字化浪潮中,多智能体系统(MAS)正逐渐成为解决问题的新范式。想象一下,一群由大型语言模型(LLM)驱动的智能体,它们各司其职,却又紧密协作,共同完成复杂的任务。这种系统不仅高效、可扩展性强,还能够像人类团队一样灵活应对各种挑战。然而,正如硬币的两面,这些强大的功能也带来了独特的安全风险。
大模型(以下均用LLMs指代)发展迅速,但引发了大家对其潜在滥用的担忧。虽然模型开发者进行了大量安全对齐工作,以防止 LLMs 被用于有害活动,但这些努力可被多种攻击方法破解,典型的就是在社区里多篇文章中一直在强调的越狱攻击。这些攻击方法能找出安全对齐技术的漏洞,促使开发者及时修复,降低 LLMs 带来的安全风险
在人工智能飞速发展的今天,大型语言模型(LLMs)已经深入到我们生活的方方面面,从智能客服到内容创作,从医疗诊断到金融分析,它们的身影无处不在。然而,随着 LLMs 的广泛应用,其安全性问题也日益凸显。数据泄露、未经授权的访问、模型被恶意操纵……这些风险不仅威胁到企业的正常运营,还可能对用户隐私和社会稳定造成严重影响。今天,就让我们一起走进 LLM 安全的世界,看看那些在 2025年值得关注的安全工具,它们是如何为 LLMs 筑起坚固的安全防线的。
在人工智能飞速发展的今天,我们已经习惯了与各种智能系统打交道,从聊天机器人到智能搜索引擎,它们似乎无处不在。但你有没有想过,这些系统是如何真正理解我们的需求,并给出准确回答的呢?今天,就让我们一起深入探索一下前沿的RAG(Retrieval-Augmented Generation,检索增强生成)技术,看看它如何让AI变得更“聪明”。
本文系统拆解大模型面临的越狱攻击技术,揭示攻击者如何通过巧妙设计突破AI安全限制
总结了一些部署过程中出现可能的漏洞点位,并且分析了对应的攻防思路
演讲议题:AIGC安全实践 –– AI Red Teaming