AI Red Teaming是模拟针对AI系统的对抗性攻击的实践,旨在恶意行为者之前主动识别漏洞,潜在的误用场景和故障模式。
扩散模型的背后一个很核心的风险就是未授权数据集使用的问题。当然,这种侵权分为两种,一种是使用文生图模型得到的图像,其版权归属问题,比如之前的新闻提到,北京互联网法院全国首例“AI文生图”著作权侵权案获最高法院“两会”工作报告关注
攻击者通过伪装成司法部门,进行钓鱼攻击。
CCBCISCN初赛Pwn部分题解
在刚刚过去的RSA大会上,AI安全领域迎来了井喷式的发展。从SIEM(安全信息与事件管理)、SOAR(安全编排自动化与响应)、ITDR(身份威胁检测与响应)到DSPM(数据安全态势管理)、红队测试和防...
前言 用大模型LLM做安全业务的师傅们一定知道,提示词对于大模型在下游任务的表现的影响是很重要的。 因为大模型本质上是条件概率建模器,其输出严格依赖于输入上下文。在无监督预训练之后,这...
vmpwn从入门到精通
trick来自于p神知识星球挑战
之前很多研究工作已经表明,大语言模型(LLMs)的一个显著特点是它们能够通过激活中的丰富表示来处理高级概念。这一特性也使得在去年NeurIPS(人工智能顶会)上出现了很多与激活引导(activation steering)等技术的有关的工作