AI如何激增生化风险

幸运的是，在当前这个阶段，开发生化武器仍需要克服许多障碍。首先，世界上存在数十亿的病毒和细菌。选择哪种病原体作为生物武器至关重要：例如，若选择繁殖速度过慢的细菌，那么该武器就无法实现快速扩散，从而产生足够的杀伤力。而如果细菌变异速度过快，那么在发动袭击时就有可能表现出与预期不同的特性。实际上，这只是开发生物武器当中的第一步，其简化流程如图3所示。

图源：报告原文

为了应对人工智能带来的生物风险，政府有必要在生物武器研制路径当中的多个阶段设置多层防御措施。例如，有效的AI模型安全控制机制可防止模型回答关于部署、执行生物武器攻击的咨询（图3中的步骤0、1、3、4、5）。同样，核酸合成筛查机制可在序列合成前识别有害序列（图3中的步骤2）。此处只列举了两种生物安全措施，还有许多其他措施，如物理安全控制和管理程序等，不过这些都不在本文的讨论范围之内。

然而，随着人工智能的持续进步，部分生物安全措施可能无法有效防范人工智能赋能的生物威胁。以下将重点阐述生物设计工具安全措施及合成筛查机制目前存在的核心问题。

（一）生物设计工具安全保障机制：Evo模型系列中的漏洞

若缺乏适当的安全保障，人工智能就有可能会创建出适合用于生化武器的病毒序列。为应对这一风险，Evo2的开发团队旨在确保其训练数据库中不包含对人类、动物和植物具有传染性的病原体信息。这意味着Evo2难以预测某些有害病毒的遗传序列，且无法模拟这些病毒的遗传密码。Evo2开发团队所做的工作大致相当于向学生教授化学知识时，将教材中关于爆炸物的章节直接撕掉。

然而，若未来类似 Evo2的模型确实能生成全新生物的基因序列，那么开发团队将无法保证该模型不会用来设计新的致病生物。以化学类比，这就像一个学生在学习过程中逐渐成为化学专家，哪怕他从未学习过如何制造爆炸物，他也很有可能会推断出爆炸物的基本原理。

还有一种可能，即用户在后续阶段将被移除的训练数据重新添加回模型当中。此种情况在Evo1模型当中就已发生过。2024年，有学者指出，Evo1模型的开发团队为防止该模型被滥用，选择将“感染真核宿主的病毒基因组”从模型训练数据中排除了出去。随后，他们按照当前学术界的惯例发布了模型权重。

而就在Evo1发布数周后，就有科学家利用感染人类的病毒数据对模型权重进行了优化。尽管该案例涉及的病毒属于无害病毒家族，但此案例依旧能够说明，对开放模型进行微调要比训练新的大模型成本更低。

实际上，Evo2模型所采取的生物安全方法与Evo1非常相似，因此这些措施可能会被绕过。至少从目前来看，此类生化武器的制作路径仍需相当程度的专业知识。然而，正如Evo1的案例所示，专家也可将有害病毒序列重新引入模型当中，从而为技术水平较低之人打开大门。

令人担忧的是，Evo系列模型是目前仅有的少数几个具备安全防护措施的生物设计工具之一。Epoch AI在对370个生物模型进行调查后指出，只有不到3%的模型包含风险应对措施。如果Evo系列模型代表了该领域最强大的生物安全措施，但依旧可以被轻易规避，那么这足以说明生物设计工具在应对生物风险方面存在根本性缺陷。

（二）核酸合成筛查：基于现有清单方法的局限性

在生化武器开发的过程中，除了生成具有适当传染性和致命性的病毒序列外，还存在其他障碍。例如，即使像Evo2这样的生物设计工具能够设计出传染性生物体，犯罪分子仍需获取物质层面的DNA链 （如图3所示的步骤2）。

遗憾的是，此类障碍也在逐渐消除。随着合成生物学技术的进步，现如今的商业公司可“打印”定制的合成核酸（DNA或RNA）序列，同时还能将其快递到全球任何一个地方。客户可通过互联网下单，并在两到四个工作日内以每碱基对（核酸的基本单位）几美分的成本获得合成好的核酸样本。

美国政府已发布安全指南，要求DNA合成公司采取相应措施，应对这一行业可能面对的生物安全风险。截至该报告撰写时，美国卫生与公众服务部（HHS）和科技政策办公室（OSTP）已发布三项主要框架，鼓励企业对合成订单进行有害遗传内容筛查

（三）2023年美国卫生与公众服务部合成核酸筛查框架指南

2023年，该部门更新了2010年发布的指导文件，为合成供应链中的各方提出了相应的安全监管建议：

供应商应筛查所有核酸序列（即单链和双链DNA及RNA）与受联邦监管的病原体是否匹配，此外，“在合成时”，他们还应筛查已知会增强病毒毒性的非受监管序列。

供应商和客户应验证、跟踪并记录相关序列的最终用户。

供应商和设备制造商应加强网络和信息安全保障措施，以保护自身的知识产权和客户信息。

设备制造商应对客户进行筛查，并采取安全措施确保未授权实体无法使用相关设备。

图4：2023年美国卫生与公众服务部核酸合成服务提供商筛查框架的简化分步示意图 图源：报告原文

随着人工智能与生物技术的日益融合，这些措施很快就会过时。也许在不久的将来，我们就会遇到这样一种情况：一家DNA合成公司接到客户请求，要求其合成一段序列。按照最新的政府指南，公司员工认真将序列与公司的数据库（包括受联邦监管的物质和毒素）进行比对，并未发现异常。然而，这段序列可能是客户用人工智能新开发出来的。面对此种情况，员工应如何处理？

2024年12月，多家生物技术公司和生物安全组织代表发表研究指出，现有的AI蛋白质模型“已经能够生成……与已知最接近的天然蛋白质相差数百个突变的蛋白质”。为验证这些AI生成的蛋白质是否能绕过合成公司的筛选工具，研究人员生成了数万个与已知序列功能等同但排列不同的有害序列。随后，他们在安全、保密的环境下将这些序列输入商业生物安全筛选软件进行测试。

研究人员报告称，多家公司的软件（包括主要供应商所使用的筛选方法）“无法可靠地检测出此类由人工智能重新设计出的毒素和病毒蛋白”，其中“甚至有某些蛋白质的变体没有被任何一个软件检测出来”。通过调整筛查软件，研究人员最终将检测成功率提升至97%。然而，该研究仍然认为：“从长远来看，我们不应仅依赖基于序列筛查的生物安全策略，因为用不了多久，人工智能就能生成自然界中从未出现过的序列。”

事实上，上述研究凸显了当前美国政府筛查指南所包含的三大关键局限性。

1.当前列出的63种受监管的病原体清单很可能无法覆盖到未来生物设计工具设计出的新型病原体。2025年4月，美国国会委托国家新兴生物技术安全委员会发布的报告指出，当前美国生物安全措施（如受控病原体清单）过于“粗放且被动”。就连2023年卫生与公众服务部的框架也承认了这一不足，其中指出生物技术的进步可能帮助用户“设计出具有完全新型序列的致病或有毒蛋白质”。

2.扩大合成筛查覆盖范围的努力尚处于初期阶段，且很有可能跟不上技术的发展。近年来美国政府合成筛查指南的最大更新之一，就是鼓励服务商扩大筛查范围，纳入更多有害的、未受监管的遗传序列。尽管这一举措在理论上有利于提升生物安全，但在实践中面临三大关键挑战：

目前，行业和政府利益相关方对哪些序列需受监管尚无共识。

除联邦监管清单外，目前尚无标准化的监管数据库。

未来人工智能生物学模型的生成能力可能导致数据库持续落后。

3.当前政府框架鼓励供应商及其他相关方自行制定安全规范，而这可能会导致生物安全体系碎片化，而且那些忽视安全措施的企业可能会因成本或研发速度优势在竞争中占据优势地位。此外，有企业表示，遵守当前政府筛查指南的成本十分高昂，而且这些成本很可能会成为企业运营的主要成本。因此，高筛查成本可能会促使企业为降低成本而忽视安全规范，客户也可能会利用当前缺乏国际合成安全标准的漏洞，选择不采用安全措施的外国供应商，在境外生产危险序列。