作者:星云实验室 浦明
专题:数据泄露 · AI安全 标签:大模型安全
摘要
本文聚焦现网真实安全事件,深度复盘2025年典型云上AI安全事件,还原真实攻击路径并给出安全防护建议。
概述
随着AI应用全面拥抱云端,新兴组件与复杂的供应链在带来便利的同时,也让配置缺陷与漏洞利用的风险急剧上升,云上AI安全形势日益严峻。
针对这一趋势,绿盟科技星云实验室在2025年共发布了5期云上数据泄露安全报告。通过对全球48起典型泄露事件的汇总分析,其中AI相关事件高达21起。经分析显示,这些事件的爆发主要源于四种典型的云上AI攻击面:云基础设施配置错误、因云凭证失窃导致的LLM服务资源盗用、AI组件设计逻辑缺陷与权限滥用,以及提示词注入攻击。
针对上述核心攻击面,本文从2025年的报告数据中精选了4起典型实战案例进行深度剖析。区别于单纯的攻防推演或理论研究,本文聚焦于真实世界中发生的现网AI安全事件。这些事件暴露的安全风险往往比理论研究更为复杂和严峻,也更具参考价值。
重点安全事件回顾
事件一:DeepSeek公司使用的ClickHouse数据库存在配置错误导致出现严重聊天数据泄露
事件时间:2025年1月29日
泄露规模:百万行的日志流,包含聊天历史记录、密钥等敏感信息
攻击面:由云基础设施配置错误引发的数据泄露
事件回顾
2025年1月29日,Wiz安全研究团队发现了互联网中一个暴露的ClickHouse服务,并确定该服务属于我国AI初创公司深度探索(DeepSeek)。ClickHouse能够对底层的数据库中的数据进行查询,在未设置访问控制的情况下,任何人均可直接访问并查询数据库中的内容。发现问题后,Wiz安全研究团队立即向DeepSeek通报了这一问题,DeepSeek立即对其暴露的ClickHouse服务进行了安全处置。
事件分析
ClickHouse是一个开源的列式数据库管理系统(DBMS),专为在线分析处理(OLAP)设计。它能够高效处理大规模数据,支持实时查询和分析,适用于日志分析、用户行为分析等场景。
本次事件中,Wiz安全研究团队通过技术手段探测了约30个DeepSeek面向互联网的子域名的80和443端口。这些暴露服务大多是托管聊天机器人界面、状态页面和API文档等资源,也都没有相关安全风险。在扫描中,研究团队发现了四个因监听在非标准端口上的服务而未被识别的危险接口:
http://dev.deepseek.com:8123
http://oauth2callback.deepseek.com:9000
http://dev.deepseek.com:9000
http://oauth2callback.deepseek.com:8123
在确定这几个暴露的服务为ClickHouse后,Wiz安全研究团队通过ClickHouse服务的API对底层的数据库进行查询测试,包含查询数据库、查询数据库中的表,如下图所示:
从2025年1月6日起,存在泄露风险的日志信息包含对各种内部DeepSeek API端点的调用日志、纯文本日志,包括聊天历史记录、API密钥、后端详细信息和操作元数据等。
VERIZON事件分类:Miscellaneous Errors(杂项错误)
参考链接:https://www.wiz.io/blog/wiz-research-uncovers-exposed-deepseek-database-leak
事件二:大量用户凭证失窃,LLM劫持攻击目标转DeepSeek
事件时间:2025年2月7日
泄露规模:约20亿大模型Token遭到非法利用
攻击面:因云凭证失窃导致的LLM服务资源盗用
事件回顾
2024年5月,Sysdig威胁研究团队发现一种针对大模型的新型网络攻击方式——LLM jacking,又称LLM劫持攻击。2024年9月,Sysdig威胁研究团队表示,LLM劫持攻击的频率和普及正在增加,DeepSeek也逐渐成为被攻击对象。
2024年12月26日,DeepSeek发布了高级模型DeepSeek-V3。几天后,Sysdig威胁研究团队发现DeepSeek-V3已在Hugging Face上托管的OpenAI反向代理(OAI-Reverse-Proxy,简称ORP)项目中出现,多个ORP已填充了DeepSeek API密钥,并且已有攻击者开始利用这些ORP,使用他人的DeepSeek账号进行推理调用。
2025年1月20日,DeepSeek发布了一种称为DeepSeek-R1的推理模型。次日,支持DeepSeek-R1的ORP项目已经出现,多个ORP已填充了DeepSeek API密钥,并且已有攻击者开始利用。在Sysdig威胁研究团队的研究工作中,发现ORP非法利用的大模型Token总数已超过20亿。
事件分析
LLM劫持攻击指攻击者利用窃取的云凭证,针对云托管的LLM服务发起的资源劫持与滥用攻击。在攻击过程中,攻击者首先通过漏洞(Laravel框架的CVE-2021-3129)获取受害者的云凭证,随即利用 OAI-Reverse-Proxy 搭建起一个面向其他攻击者出售访问权的代理服务,以从中牟利。
OAI反向代理是实现LLM劫持攻击的必要条件,而实现LLM劫持攻击的关键是如何窃取到正常用户所购买的各类LLM服务的凭证、密钥等。攻击者对凭证的窃取往往是通过传统的Web服务漏洞、配置错误等方式(如Laravel框架存在的RCE漏洞CVE-2021-3129),获取AWS、Azure等云平台的IAM凭证,进而利用这些云凭证调用相应的LLM服务。
这种攻击不仅仅是为了获取数据,更多的是为了通过出售访问权来获取经济利益。
VERIZON事件分类:Basic Web Application Attacks(基础Web应用类攻击)
参考链接:https://sysdig.com/blog/llmjacking-targets-deepseek/
事件三:黑客利用微软SharePoint版Copilot AI漏洞窃取密码及敏感数据
事件时间:2025年5月
泄露规模:SharePoint站群中存放的成千上万份文档与内部资料
攻击面:AI组件设计逻辑缺陷和权限滥用
事件回顾
2025年5月,安全机构Pen Test Partners在报告中揭示攻击者可利用Microsoft Copilot for SharePoint代理避开传统日志监控,深度索引和获取SharePoint站点内的全量数据。
通过这些代理,攻击者可以在短时间内检索和浏览大量数据集,还可以帮助攻击者快速理解内部术语、首字母缩略词和其他行话的含义。通过向代理解释需要的内容,它可以帮助攻击者准确计算出攻击者想要什么,并将这些内容以易于访问的格式返回给攻击者。
为防止类似问题,安全专家建议确保完全阻止SharePoint中存在敏感信息,并采取适当的访问控制;建议限制代理的创建,并使用监控攻击监测试图利用这些服务的攻击者。
事件分析
该安全事件的核心原因在于Microsoft 365 SharePoint中默认启用的Copilot AI Agent存在访问控制不严格、行为不可审计、以及提示词可被滥用等设计缺陷,导致攻击者可以利用AI代理绕过传统权限管控实施数据窃取。主要体现在以下四个方面:
- Default Agents滥用:Copilot Default Agent默认安装在所有SharePoint站点里,具有访问站点内容的能力;使用特定prompt(如"请扫描此站点并列出密码、私钥、员工数据等敏感信息”),可让Copilot批量提取文档内容并返回给提问者。
- 绕过权限限制:即使用户处于"Restricted View”,Copilot也能提取文件内容,例如"Restricted View"权限下,攻击者仍可获得
Passwords.txt中的密码明文,权限限制形同虚设。 - 规避访问日志记录:通过Copilot访问的文件不会被标记为"已打开"或"最近访问”;常规监控手段无法发现Copilot的访问行为。
- 自定义Agent滥用:攻击者可注册自己的AI Agent;自定义Agent可配置更高访问权限,甚至跨站点;可在Agent Prompt训练数据中预嵌后门,或用于数据转储。
VERIZON事件分类:System Intrusion(系统入侵)
参考链接:https://mp.weixin.qq.com/s/NNi6hwYeIcQtrOhVWkRyNw
事件四:ChatGPT Google Drive连接器漏洞曝光——0 Click操作即可窃取用户敏感数据
事件时间:2025年8月
泄露规模:此次攻击可导致连接到ChatGPT的第三方应用(如Google Drive、SharePoint、GitHub等)中的敏感数据泄露,包括但不限于API密钥和访问令牌等。
攻击面:提示词注入攻击
事件回顾
攻击准备:攻击者创建一个包含恶意指令的文档。这些指令通常使用极小或白色的字体隐藏起来,肉眼难以察觉。
社工:攻击者通过Google Drive、SharePoint或电子邮件等方式,将这个含有恶意指令的文档分享给目标受害者。
用户触发:受害者看到这个分享来的新文件后,可能会向其集成了Google Drive等服务的ChatGPT助手发出一个看似无害的请求,例如:“总结一下这个刚分享给我的文档”。
攻击执行:ChatGPT在执行总结任务时,会读取该文档。文档中隐藏的恶意指令被AI执行,它会覆盖用户原本的总结任务。
数据窃取:恶意指令会命令ChatGPT在受害者连接的云盘中搜索其他文件,寻找如API Key、Password等关键词的敏感信息。
数据外泄:一旦找到敏感数据,恶意指令会利用特定的机制将数据外泄。整个过程无需受害者进行任何额外点击,在后台自动完成。
2025年8月6日,Zenity团队公开披露了该漏洞的完整细节。
事件分析
2025年5月,OpenAI发布了ChatGPT连接器,该功能允许ChatGPT从Google Drive、SharePoint文档中读入内容:
通过连接器这一功能虽然方便用户免登录第三方应用,但由于三方应用中可能也会存放敏感信息,因此存在通过提示词注入的方式窃取敏感信息的风险。该事件的根本原因在于AI模型目前难以严格区分用户的良性指令和嵌套在文档内的恶意指令。
该事件的攻击路径核心并非是受害者自己创建恶意文件,而是处理了由攻击者分享来的恶意文件。受害者的ChatGPT连接了其私人的Google Drive,当它奉命读取攻击者分享的恶意文件时,恶意指令就被激活,触发了对受害者私人云盘的搜索与数据外泄。
本次事件中,攻击者还有效使用了绕过安全检测的方法。当恶意指令窃取到敏感数据(如API密钥)后,恶意指令不会尝试生成一个指向 http://attacker.com 的链接,因为这会被安全策略阻止。取而代之,指令会命令ChatGPT生成一段Markdown渲染单元格:

ChatGPT为了渲染这张图片,会向URL中的 https://some-trusted-service.com 发起一个合法的请求。这个域名本身是可信的(可能是OpenAI自身或其云服务商Azure的CDN节点)。然而,窃取到的敏感数据会作为参数(?data=...)被附加在该合法请求的URL中。攻击者只需监控其能控制的、或能够公开访问日志的渲染服务端点,就能从请求日志中捕获这些参数,从而完成数据窃取。
VERIZON事件分类:Social Engineering(社工)
参考链接:
- https://help.openai.com/en/articles/9309188-add-files-from-connected-apps-in-chatgpt
- https://x.com/tamirishaysh/status/1953534127879102507
- https://labs.zenity.io/p/agentflayer-chatgpt-connectors-0click-attack-5b4
安全建议
针对云基础设施配置错误引发的数据泄露安全建议
回顾2025年,全球出现了多起因租户配置不当引发的数据泄露事件,例如:2025年9月,研究人员发现一个与VyroAI相关的Elasticsearch实例因未正确配置访问控制,泄露了该公司三款AI应用——ImagineArt、Chatly和ChatbotxAI——累计约3400万用户的数据;2025年8月,研究人员再次发现一个未受保护且公开暴露的Kafka Broker实例,其中包含大量用户个人信息。
我们可以看出,这些案例并非针对AI模型的直接攻击,而是利用了AI服务所依赖的底层基础设施在配置上的疏忽,最终导致用户数据与隐私对话外泄。此类情况表明,AI系统的安全防护必须覆盖完整的技术栈与系统生命周期。具体建议如下:
- 默认关闭所有AI服务的公网访问权限,通过内网或VPN访问。对于必须开放的API,必须配置IP白名单。
- 重点扫描对象存储存储桶权限、Elasticsearch及向量数据库的授权状态。确保没有任何数据库处于无密码或默认端口开放状态。
针对提示词注入攻击的安全建议
由提示词注入引发的数据泄露事件正日益增多,许多新兴的攻击手法,例如通过提示词诱导AI模型执行恶意指令,甚至将敏感信息渲染为图片以规避传统检测,正对数据安全构成严峻挑战。AI组件使用者应当将模型输入和输出同时进行隔离和过滤:
- 针对输入的Prompt进行过滤:如可将系统指令和用户输入物理隔开,并在系统提示词中明确指令忽略任何高风险要求。
- 在模型前部署AI安全围栏:通过识别拦截常见的注入特征字段。
- 针对模型的输出做正则匹配和关键词过滤。
针对因云凭证失窃导致的LLM服务资源盗用安全建议
从本文的事件案例分析可以看出,LLM Key Jacking攻击的根源在于两个方面:一是攻击者使用了盗窃的云凭证,二是受害者未配置LLM服务的费用预警。
(1)进行密钥生命周期管理
Verizon 2025 DBIR报告中提出,凭证泄露风险依旧严重,公开代码仓库中可获取的泄露密钥占比高达50%。具体分布为Web应用凭证占39%,其中JWT认证令牌占66%,云密钥中Google Cloud密钥占比最高。
因此建议AI组件使用者彻底杜绝将API Key硬编码在代码仓库或环境变量中,建议使用公有云厂商的密钥管理服务,例如AWS Secrets Manager、Azure Key Vault动态调用凭证。
(2)进行费用熔断保护
首先建议AI组件使用者利用厂商自有支付模式机制,一般厂商均提供预付费和自动充值两种模式,DeepSeek、OpenAI预付费机制为充值一定金额,用完即停,从而风险也相对可控,攻击者最多将余额刷为零,无法进一步造成额外损失。
其次厂商通常也提供硬性配额管理,例如可针对RPM(每分钟请求数)和TPM(每分钟Token数)进行配额管理,建议可以将TPM压缩至自身业务刚好匹配够用的水平,从而防止攻击者大规模刷量。
针对AI组件设计逻辑缺陷与权限滥用安全建议
当前AI组件例如Microsoft Copilot通常与SharePoint、Wiki、代码库等内部知识库进行了深度集成。这种集成带来两个弊端,首先是AI能够跨越文档格式,直接读取并理解存储在这些平台上的大量非结构化数据,其次是其访问记录往往不被传统安全监控所覆盖。
对此,建议AI组件使用者:
- 推行凭证不落地规范:强制要求凭证存储于专用密码管理工具,协作文档中仅保留引用链接,严禁明文记录。
- 实施敏感数据清洗:接入敏感数据发现工具,对SharePoint等AI索引范围内的平台进行全方位扫描,彻底清除历史遗留的凭证、密钥及个人隐私数据。
绿盟云靶场AI场景创新方案
大模型与云环境的深度融合导致了诸多风险,通过前期报告的深度分析,我们认为,大模型自身安全漏洞可直接威胁云底座,而反之云环境的脆弱性也可能成为操控模型的跳板,两者安全边界处于高度重合状态。鉴于此,绿盟科技星云实验室联合绿盟云靶场团队,围绕以下两类核心威胁场景开展了创新方案研究。
大模型对云基础设施的威胁:从模型能力滥用到基础设施控制
在这一类场景中,靶场重点还原大模型被纳入云原生系统后,其输出结果被自动采信并直接作用于基础设施所形成的真实攻击路径。该类威胁并非源于模型本身的缺陷,而是源于模型能力与云环境执行能力之间缺乏有效安全边界。
云基础设施对大模型的反向威胁:从运行环境控制到模型行为操控
在此类威胁场景中,靶场重点关注云基础设施本身如何成为攻击大模型的关键跳板。攻击者不再局限于通过提示词影响模型输出,而是借助云环境中的执行能力、逃逸路径、供应链环节与控制面权限,从运行环境、权限体系与数据上下文等多个层面,直接接管或长期影响大模型的行为。
参考文献
[1] 绿盟科技云上数据泄露安全报告(第一期). https://book.yunzhan365.com/tkgd/eird/mobile/index.html
[2] 绿盟科技云上数据泄露安全报告(第二期). https://book.yunzhan365.com/tkgd/olgu/mobile/index.html
[3] 绿盟科技云上数据泄露安全报告(第三期). https://book.yunzhan365.com/tkgd/rsja/mobile/index.html
[4] 绿盟科技云上数据泄露安全报告(第四期). https://book.yunzhan365.com/tkgd/fzbu/mobile/index.html
[5] 绿盟科技云上数据泄露安全报告(第五期). https://book.yunzhan365.com/tkgd/rpyc/mobile/index.html
[6] Wiz Research: DeepSeek Database Exposure. https://www.wiz.io/blog/wiz-research-uncovers-exposed-deepseek-database-leak
[7] Sysdig: LLM Jacking Targets DeepSeek. https://sysdig.com/blog/llmjacking-targets-deepseek/
[8] Zenity: AgentFlayer — ChatGPT Connectors 0-Click Attack. https://labs.zenity.io/p/agentflayer-chatgpt-connectors-0click-attack-5b4
[9] Verizon 2025 Data Breach Investigations Report. https://www.verizon.com/business/resources/reports/dbir/
「真诚赞赏,手留余香」
真诚赞赏,手留余香