尽管医疗领域的人工智能显示出巨大的前景，但随着AI工具展现出可能的有害结果，全球监管机构面临的压力正在加大。

在一种药物获得美国食品和药物管理局（FDA）批准之前，它必须证明其安全性和有效性。然而，FDA并不要求理解药物作用机制以获得批准。这种接受未解释结果的做法引发了一个问题，即一个安全有效的人工智能模型的“黑箱”决策过程是否必须完全解释清楚，才能获得FDA的批准。

这个话题是12月4日星期一在麻省理工学院阿卜杜勒·拉提夫·贾米尔机器学习与健康诊所（贾米尔诊所）举办的AI与健康监管政策会议上讨论的诸多议题之一，该会议激发了来自美国、欧盟和尼日利亚的监管机构，以及业内专家之间关于医疗领域AI监管的一系列讨论和辩论。

随着机器学习的快速发展，监管机构是否能跟上并减少有害影响的可能性，同时确保各自国家在创新方面保持竞争力，这仍然是一个不确定的问题。为了促进坦率和公开的讨论环境，贾米尔诊所活动的出席人数被精心策划，仅限100名与会者，他们通过执行查塔姆宫规则进行辩论，以允许发言者在不被识别的情况下讨论有争议的观点和论点。

贾米尔诊所举办的活动不是为了围绕医疗领域的AI制造热点，而是为了创建一个空间，让监管机构了解AI最前沿的进展，同时允许学院和业界专家提出医疗领域AI监管框架的新方法或不同方法，特别是在临床设置和药物开发中使用AI。

在后疫情时代劳动力短缺、成本增加（“并非薪酬问题，尽管普遍认为如此，”一位发言者说），以及卫生保健专业人员的高离职率和倦怠情绪下，人工智能在医学中的作用比以往任何时候都更为重要。一位发言者建议，临床AI部署的重点应更多地放在操作工具上，而不是病人诊断和治疗上。

一位与会者指出，“所有相关方——不仅仅是开发者社区和医疗保健系统，还包括患者和监管机构——都明显缺乏教育。”鉴于医生通常是临床AI工具的主要使用者，许多出席的医生恳求监管机构在采取行动之前咨询他们。

数据可用性是出席的大多数AI研究人员的一个关键问题。他们哀叹缺乏有效运作其AI工具的数据。许多人面临着知识产权限制访问或仅仅是大型高质量数据集稀缺的障碍。“开发者无法花费数十亿创造数据，但FDA可以，”一位发言者在活动中指出。“存在价格不确定性可能导致对AI的投资不足。”来自欧盟的发言者宣称正在开发一套强制政府向AI研究人员提供健康数据的系统。

在为期一天的活动结束时，许多与会者建议延长讨论，并赞扬了精心策划和封闭环境，这创造了一个有利于开放和富有成效的医疗AI监管讨论的独特空间。一旦未来的后续活动得到确认，贾米尔诊所将开发类似性质的额外研讨会，以保持动力并让监管机构了解该领域的最新发展。

“任何监管系统的北极星都是安全，”一位与会者承认。“一切都是从这个思想开始，然后顺流而下。”