内蒙古一位公司老板与好友进行微信视频通话，对方声称在外地竞标，急需430万元保证金，并希望借用公司账户转账。视频聊天中，由于对方的面孔和声音与好友无异，科技公司老板深信不疑，分两笔将钱款转入对方银行账户。然而，事后经电话确认，好友并未借款，老板方知受骗。骗子运用AI换脸和拟声技术，伪造了好友的身份进行诈骗。

这一事件并非孤例。随着生成式AI技术的快速普及，大模型在提升效率的同时，也暴露出前所未有的安全隐患：AI换脸诈骗、训练数据泄露、恶意代码生成、深度伪造攻击等问题频发。《2025-2030年全球及中国人工智能行业市场现状调研及发展前景分析报告》显示，超过60%的企业级大模型部署至少遭遇一种安全事件。如何为AI大模型筑起一道坚固的“安全围栏”，已成为全球技术界和产业界的共同命题。

在近日举办的A2M人工智能创新峰会上，数美科技CTO梁堃分享了当前大模型存在的安全风险和解决方案。

以DeepSeek、百川智能为代表的开源平台大幅降低了技术门槛，催生出“千模千面”的差异化应用生态。然而，当AI技术从实验室走向千家万户，攻击面也呈几何级扩张。

据统计，全球大模型安全事件损失已从2023年的85亿美元，剧增至2024年的143亿美元，预计2025年损失将突破235亿美元。

攻击者只需一次成功入侵即可获利，而作为防守方的企业却需要应对海量威胁。开源AI工具被攻击者滥用，降低网络攻击门槛，使得网络攻击高度规模化。而大模型使得攻击分析、攻击手段更加精准化、持续化，挑战传统防护手段的同时形成难以检测的攻击代码和海量“零样本”恶意程序，以绕过传统检测规则，给网络安全攻防带来了高度对抗性。

AI时代的安全风险与防控成本呈指数级增长，安全挑战也已经从简单的技术问题上升为影响商业模式、社会稳定甚至文明发展的关键议题。

梁堃提出“规划-训练-运营”三阶段防御体系，在大模型开始运营后再进行风险防控往往是“被动堵漏”，应从开发阶段就将安全要求融入AI基因。

在规划阶段，建立风险坐标系，按行业特性划分数据保密等级（如金融客户交易数据为绝密级，医疗基因数据为机密级），基于“最小权限原则”，通过角色权限控制（RBAC）和多因素认证（MFA）限制数据访问范围。例如，算法工程师仅可访问训练所需子集，禁止接触全量机密数据。

在训练阶段，采用自然语言处理技术（NLP）对原始语料进行自动化筛查，识别并拦截包含敏感词、机密信息、违规数据的样本。对医疗影像、产品设计图纸等高密级数据进行去标识化处理。通过规则引擎和机器学习模型检测用户输入的高危指令，通过强化学习引导模型优先选择安全数据，对违规输出行为进行负向惩罚。

在模型运营阶段，在用户与模型交互的第一环节设置“访问控制闸门”，结合正则表达式匹配与意图识别模型，拦截隐含风险内容的输入，为不同密级的知识库设置访问壁垒（如高管战略会议记录仅限特定人员访问）。

针对高风险场景，采用“动态风险校验+安全代答”机制，对生成内容进行实时安全评分，预置合规回复模板，应对三种敏感问题：必须准确回答的问题（如国家政策解读），必须纠错的问题（如用户的表述中有明显错误），需正向引导的问题（如拒绝提供犯罪方法内容，转而引导用户话题至合规方向）。实现高风险拦截、中风险转人工、低风险留痕审计。

“只有大模型能解决大模型的问题”，梁堃指出。未来安全防护将依赖更大规模的模型进行对抗训练。例如，通过训练专门的“攻击模型”模拟黑客行为，再用防御模型进行迭代优化。

智能化时代的AI大模型防御体系在不断进化，但仍面临着多重挑战。第一，算力风险，当千亿级参数成为大模型标配，算力饥荒正在蔓延。据工信部统计，截至2024年底，全国算力总规模突破230EFLOPS（百亿亿次浮点运算/秒），但供需缺口仍达35%，中小企业尤为艰难。更危险的是算力黑产。例如，浙江某云计算平台遭黑客利用漏洞非法盗用价值3700万元的算力资源。

当AI系统处理超过10亿条数据时，哪怕最初的数据采样存在0.1%的偏差，经过算法放大后可能演变成系统性歧视。就像用带有色镜的相机拍摄世界，最终呈现的画面必然失真。例如，美国某医疗AI因训练数据中非裔患者样本不足，导致糖尿病并发症误诊率高达42%，间接造成数百人延误治疗。

第二，可解释性风险，大模型基于深度学习架构，通过海量数据训练形成复杂的参数网络，其决策过程如同“黑箱”，难以向用户直观呈现推理逻辑与依据，易引发决策信任危机。

第三，物理+智能风险。大模型已经被广泛应用于无人机等领域的自动控制，AI智能体需要长时间运行，其幻觉问题不仅是文字输出错误，而是直接引发错误后果。例如在自动驾驶场景中，若智能体误识别交通标志，便可能导致物理事故。

当技术奇点临近，安全边界成为人类掌控AI的最后堡垒。这道“安全围栏”的建造，将决定我们是驾驭AI的浪潮，还是被浪潮吞没。

特别声明：智慧医疗网转载其他网站内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。

凡来源注明智慧医疗网的内容为智慧医疗网原创，转载需获授权。