AI再添乱!美国药监局新药审批AI工具翻车

FDA最近上线了一款名字听起来像迪士尼公主的AI工具——Elsa。它被包装成“审批新药的加速器”、“提高监管效率的神器”,甚至是“医疗支出减负的救世主”。特朗普政府任命的卫生与公共服务部长小小罗伯特·F·肯尼迪在国会听证会上铿锵有力地宣称:“AI革命已经抵达华盛顿。”

但这场革命,正在内部被打上问号。

从“审批革命”到“AI添乱”

Elsa,全称曾是“Efficient Language System for Analysis”(后来取消了这个正经名字,只保留了“Elsa”这个昵称),是FDA宣布提前交付、预算节省的“科技样板工程”。按照美国FDA署长Marty Makary的话,它能“加速临床协议审查、缩短科学评估周期、识别高优先级的检查对象”。

然而,据CNN获得的多位FDA现任与前员工透露,这位AI“助理”并没有实际介入新药和设备的核心评估工作。更严重的是:Elsa不仅会产生“幻觉”(生成根本不存在的研究),还经常误读真实研究内容。

“它很自信地讲错话,但你没时间一个字一个字去复核。”一位员工这样形容,“AI不是帮我省时间,而是让我加班警惕。”

你问它药,它给你写小说

作为生成式AI的一种,Elsa和我们熟悉的ChatGPT一样,有“张嘴就来”的问题。多位FDA员工向CNN展示了这样一些“翻车现场”:

  • 曾引用根本不存在的临床试验;
  • 错误统计某类儿童药品的获批数量;
  • 曲解了20页研究的结论,只给出了一段误导性总结;

在被指出错误后,Elsa往往“礼貌道歉”,但没能提供正确答案。

“当它说某人是FDA员工,其实不是;或者坚持某个领域不是FDA的职责范围,而其实是的时候……你会有一种AI在胡搅蛮缠的无力感。”一位使用者抱怨道。

更令人不安的是,目前Elsa无法访问行业提交的核心文档,意味着它根本无法独立完成药品评审所需的分析任务。

面对内部质疑,FDA高层的回应耐人寻味。署长Makary表示:“使用Elsa是可选的,不满意可以不用。”而负责AI工作的Jeremy Walsh则承认:“它的确会产生幻觉,但这很常见。”

FDA官员的辩护是:Elsa还处于优化中,未来将允许用户上传自己的文件库以增强回答准确度。系统里也已加入“可点击溯源”的功能,用户可以看到答案引用了哪些内部文件。

不过,目前这一溯源功能只适用于FDA内部资料,尚不支持外部医学文献。而“哪些信息最重要”仍得靠用户提问方式来引导。

也就是说:如果你问得不对,Elsa也能对答如流,但经常跑错方向。

特朗普的“AI零监管”政策风险初现

在欧洲,欧盟已于2024年实施AI法案,对包括医疗AI在内的高风险模型设立严格监管。相比之下,美国目前对AI在医疗监管中的应用几乎没有任何明确的制度约束。

特朗普政府的AI安全和监管核心策略就是两个字“放任”,甚至要求各州十年内不得出台AI监管法规。事实上,拜登政府时期成立的AI监管工作组早已在2024年被解散。

如今FDA内部正靠“Elsa Champion”(内部推广大使)在部门内“游说”员工试用这款AI工具。培训课程是自愿的,使用频率也极不均衡。

换句话说,这款本该改变药审体系的AI,更多时候只是个会议记录工具,一张带咖啡色边框的“聊天界面”,写着:“Ask Elsa anything”。

AI在医疗监管领域的潜力毋庸置疑。但FDA的Elsa项目正在暴露一个关键问题:当科技发展快于制度,当宣传大于实际效能,当监督缺位,AI就不再是提升公信力的工具,而是制造“幻觉”的隐患源。

如果连“新药是否能上市”这种事关公众卫生安全的决策,背后都可能掺杂AI的“自信胡说”,那Elsa恐怕就不是“审批助手”,而成了“风险发生器”。

除带来新的安全风险外,AI对企业信息系统和业务流程的“内容污染”问题不可忽视。根据GoUpSec此前的报道,一些匆忙部署AI替代人力的企业,不仅没有品尝到“AI红利”,反而“花钱买罪受”,在研发、营销环节和企业的知识系统内产生了大量AI生成的垃圾和错误内容,需要花高价聘请专业人士手动清理。

迪士尼影片“冰雪奇缘”里的Elsa能把世界冻结,而FDA的Elsa,或许更可能把政府监管信誉冻裂。

前一篇特朗普AI行动计划曝光:用AI保卫国家关键基础设施