奇安信攻防社区-AI安全：生成式AI原理与应用分析

AI安全：生成式AI原理与应用分析

ai本质仍然被看作是一种“幻觉智能,而人应该更像人而非像马哲里面的被物化和异化的概念，人应该更像人才不会被机器所淘汰

AI安全：生成式AI原理与应用分析
-----------------

术语解释：

机器学习ML：使AI从数据中学习并做出决策或预测，分为监督学习 无监督学习 强化学习

监督学习=小时候你妈教你数学，通过大量正确的数学试题来指导你

无监督学习=你刷短视频时候经常刷美女 一定程度后 自动给你推送美女

强化学习=华为M9智能驾驶 通过与环境互动不断高强度试错完成训练

深度学习=会了加减法（基础学习） 教你乘除法（高级特征学习） 会了乘除法 教你微分几何代数（复杂决策和推理） 神经网络在不断进行层次化的学习，且每一次都在前一层的基础上进行更复杂的运算进化

自然语言处理NLP：让计算机能够理解人类的语言，比如谷歌的语言翻译和AI女友 苹果的Siri

**所以生成式AI由数据，算法，框架和构建出基本模型，通过机器学习，深度学习，强化学习与自然语言处理，学习大量的语料库，从中提取出规律，并根据这些理解来生成新的文本或语音输出**

训练生成式AI的整个过程
------------

选择你所想要生成的内容 从而去进行大量的数据收集，将这些繁乱复杂的数据清洗和标准化，有利于模型的构建，如果你想要生成文本 便可以采用循环神经网络模型RNN或者变换器TFormer（很多GPT便是基于TF变换器），生成图像便可以选择生成对抗网络GAN（列如小帆船和Sora），这里提一下 sora的核心原理抽象出来并不神奇，关键在于两个东西 生成器和判别器之间对抗 类似于师傅们的红蓝对抗，生成器目标是生成高质量的图像，防止被判别器检测，而判别器的目标是区分真实图像和生成器图像的差距 通过这两个的不断深化对抗 从而提升了图像的真实多样性，回顾正题，在模型选择后便可投入整理好的数据和模型算法进行训练，直到完成了模型评估，优化后便可投入实践环境，后期由监督进行不断的迭代更新

**基础架构：过程选择生成的内容——数据收集——数据预处理——模型选择**

**架构深化：模型训练——模型评估与优化——实际生产应用——迭代更新**

生成式AI的法律风险
----------

###### 基本总则

**谨慎对待可能具备欺骗人类、自我复制、自我改造能 力的AI，并重点关注生成式AI可能被用于编写恶意软件、制造生物武器或化学 武器等安全风险**

**核心：语料安全与模型安全**

语料分类 1.开源数据 2.自采数据 3.商业数据 4.使用者输入进入自循环数据

提高语料来源追溯性：数据从哪里来 到哪里去

语料使用性：丰富多来源性的语料 开源与商业 采集前后 危害数据不达到百分之五

模型安全

1.在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一

2.在每次对话中，应对使用者输入信息进行安全性检测，引导模型生成积极正向内容

3.建立常态化监测测评手段，对监测测评发现的提供服务过程中的安全问题，及时处置并通过针对性的指令微调、强化学习方式优化模型

**法律风险** 详情请见 国内第一部AI安全起草法律规范 由于敏感词太多 下面我使用的是列举法

不良信息与歧视性内容：如同叛逆的青少年，开始在社交媒体上发布一些“颠覆性”的言论

商业违法 知识产权违规：侵犯他人权益：盗版他人作品或者泄露使用者隐私

特定服务类型的安全需求：AI医生和AI心理专家，却给出了极其不合理的建议，用兽医方法治疗人类

模型与数据安全：如果AI模型在训练时“学坏了”，开始生成一些不安全的内容或者泄露用户隐私

服务透明度：AI服务提供者在公开其服务的相关信息时不够透明，比如不明确说明服务的使用人群、场合、用途，或者不透露所使用的模型和算法的基本信息，使用者感觉在玩捉迷藏

AI在网络安全领域的应用与风险
---------------

应用
--

1. **入侵检测**：AI可以学习网络的正常行为模式，并检测任何偏离这些模式的行为，帮助识别未知的攻击
2. **风险评估和响应**：AI能够根据已知的威胁和系统的漏洞自动评估系统的风险，并据此优化安全响应策略
3. **自动化、连续的控制和漏洞测试**：AI实时监控网络流量，并在检测到潜在威胁时立即采取防御措施，可以自动持续监控和测试网络安全控制、漏洞和补丁管理
4. **减少误报的模式识别**：AI擅长模式识别，能够更准确地检测异常情况，减少误报
5. **沙盒网络钓鱼培训**：生成式AI可以创建逼真的网络钓鱼场景，用于实操类网络安全培训

### 风险

**AI已成攻击工具，带来迫在眉睫的威胁，AI相关的网络攻击频次越来越高。**数据显示，在2023年，基于AI的深度伪造欺诈暴增了3000%，基于AI的钓鱼邮件数量增长了1000%；奇安信威胁情报中心监测发现，已有多个有国家背景的APT组织利用AI实施了十余起网络攻击事件。同时，各类基于AI的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意AI机器人、自动化攻击等，在全球造成了严重的危害。

1. **自动化恶意软件攻击**：
    
    攻击者使用生成式AI技术，如神经网络，来设计和生成恶意软件，这种智能化的恶意软件增加了系统遭受攻击的风险，可能导致系统中断和数据泄露
2. **高级网络钓鱼攻击**：
    
    生成式AI分析用户的行为和交流模式，学习其写作风格和个人信息，利用这些信息创建高度个性化的钓鱼邮件，提高欺骗性，这些邮件看似来自可信来源，诱使受害者泄露敏感信息，如密码、银行账户
3. **逼真的深度伪造**：
    
    利用深度学习技术，攻击者可以创建高度逼真的伪造内容，包括图片、音频和视频，深度伪造内容可能用于传播虚假信息、进行欺诈或假冒身份，对社会秩序和个人信誉造成严重破坏。
4. **数据安全和隐私保护**：
    
    AI系统的训练和运行需要大量数据，这可能导致敏感信息的泄露，例如，ChatGPT因Redis库漏洞而遭遇数据泄露，暴露了用户聊天历史

比如利用暗网数据训练出来AI工具 WormGPT与FraudGPT, 可用于定制钓鱼邮件和恶意软件的开发

WormGPT：旨在协助犯罪团伙进行他们的黑产和编程活动，没有做道德或伦理监督限制，可以为任何黑产任务提供未经过滤和非道德的建议和解决方案，WormGPT是在源代码的大数据上训练的，在一定程度上具备专家级的技能 FraudGPT：这是一个专门为攻击性活动设计的AI机器人，可在黑网市场和Telegram上找到，可以用来编写功能复杂的恶意代码，开发无法检测的恶意软件，并在目标平台中识别数据泄漏和漏洞，FraudGPT像WormGPT一样，使用聊天框来制作SMS钓鱼信息

面对ai时代的一二观点（个人观点）
-----------------

AI是颠覆性的技术 这点无可质疑，从G3到G4，打通了很多产业的技术壁垒，小帆船绘画，AI换脸，幻兽帕鲁等就是最好的证明，而后面从G4到G5，能用的场景数量会随着时间指数级上升，**但AI现在的学术派想的是 怎么做出来更好更完善的模型**， 工业派想的是 怎么结合去落地实现，但他们都有担忧 学术派担忧的是 我这条路对嘛？会不会走偏了 而工业派担忧的是 我现在落地 后面被降维打击了怎么办 就像三体里面的歌者文明打击其他文明一样，**所以真正的AI时代还没有真正的到来，我们还有时间去了解运用他**

但我们也不用太过于AI焦虑**，AI是工具，是器，君子不器，我们要去学习的是怎么结合AI ，赋能自己**，AI可以处理大量的数据和执行复杂的计算，但是它无法像人类那样进行创新和灵活的思考，且**ai的训练是基于算法的 算法是基于思维的，本质上来说思维的竞争 智商与智商的对抗 那么ai时代本质上比拼的 就是灵活 创新，创新灵活的脑子会更加的值钱**，我为什么会这样去肯定？

1.现在爆发的**通用性AI缺乏人类的情感，直觉和创造力，不如人类的思维情感复杂和丰富**，这是AI无法代替的，目前业内也没有统一的模型来让人工智能更像人的解决办法，真正的实现图灵人工智能（让**A和B在一间黑暗的房子里面进行高频率情感的对话，而角落的C无法区分出来 其中AB谁是机器人 这样人工智能才算真正意义上的人工智能而不是现在的靠参数模仿大力出奇迹**），AI的发展应该追求的是创造出能够自主学习和适应的智能系统 但这一点从**图灵开始提出 到如今数不清的年数 实验 依然没有很好的办法实现**

2.当前的大型通用AI模型，尽管在处理语言和回答问题方面表现出色，但它们的**本质仍然被看作是一种“幻觉智能”。**这种智能的局限性在于，它们依赖于大量的数据输入和预先训练好的模型。这些模型在训练完成后，无法自主地增长知识或学习新信息。每当需要扩展知识库时，就必须进行新一轮的训练，这不仅耗时耗力，而且成本高昂,无论是OpenAI提出的七万亿美元计划，或是通过使用一亿个芯片来训练更强大的AI模型的方式，都没有解决AI无法自主学习的问题，人类学习的方式是动态的，我们能够不断地从经验中学习并适应新环境，而不需要从头开始重新学习。**AI目前还无法模仿这种自学习的能力，另外扯一句 在国内 ai想懂人情世故 再来五十年他都不会 他也不能代替会背锅的我**

**如何在AI时代下保持竞争力 观点： 人应该更像人 而非像马哲里面的 被物化和异化的概念 人变得如机器一样**

AI并不是洪水猛兽，再具颠覆性，也只是人类文明史上的界碑而已.从狩猎时代——&gt;农耕时代——&gt;工业时代——&gt;PC互联网时代——&gt;移动互联网时代——&gt;人工智能时代，历史的浓烟浩浩荡荡 时间长河川流不息，日月星轨更替，技术变革，都不过是往更高级别进发的必然，**时代的灰尘落在个人的头上就是座大山，个人是无法阻挡时代洪流的趋势**

那么面对未来的AI时代，积极拥抱它，资本无非追求技术和生产力也就是增值和效率，技术一定会带来生产力的跃进，顺势而为才不会淘汰，保持终身学习的能力，培养创新跨学科的多元化思维（人是可以用AI进行创新和多元化学习的）， 提高综合能力，唯有情感不可代替，人性难测，人与人，团队与团队，企业与企业之间是基于人性的交往与博弈，人工智能是数理的统计 算法 它懂逻辑 讲理性 却很难明白人类的情感，**人应该更像人 才不会被机器所淘汰。**

本人授权转载，首发原创为[AI安全：生成式AI原理与应用分析 - 先知社区 (aliyun.com)](https://xz.aliyun.com/t/14078?u_atoken=79f41525be5bfc4b53bac7bb6bff6265&u_asession=01DzygUUUEHa1icdbFKtDhC-gmbTgrs3kt34YzIUMUSu0BprQWcTziowfJYI-byNsvdlmHJsN3PcAI060GRB4YZGyPlBJUEqctiaTooWaXr7I&u_asig=05-jpoU3oa8Yaz-vAp4Ot1F7hvRIfDFOnp_eL50K9darNMtoRWGxfhS4NibYSNtgEtX48uHl3hKFo50T1U8mGpkDHnE2ibqZK4Xb8M5cO54Ksq-ElSLX0FMjL8kw4HvS_mSL0MQDmE5HCLJ9o_1hG57dbaVDpw0L7kdVcJNgcjL3Ng2QMxYs6lyXb1lFWKql56L0aRM8KYPlnP8yrs751YpNKLN_atIzBd7Cah5U1gzhd-lCdcMlW2V3P71cVDTou1PsSKjaiRA6XceutxF5HpQseIL1H0JcFt-TCSDXsy3896gx6UxFgdF3ARCQ86jS_u_XR5hatHQVh06VuUZ-D1wA&u_aref=6MvqHTuyzjtwuKwSP4xzzE6EiQQ%3D)

发表于 2024-03-27 09:33:23
阅读 ( 5058 )
分类：其他

AI安全：生成式AI原理与应用分析

0 条评论