以色列理工学院的生物学家和数据科学家Roy Kishony和其学生Tal Ifargan。他们使用ChatGPT在极短时间内写完了一篇论文，题为《果蔬摄入量和体育锻炼对成年人糖尿病的影响》。这篇论文行文流畅，论证严密，并以研究论文的预期结构呈现。

Kishony认为，“它制作的手稿一点也不差。”

不久前，还有一位科学家用ChatGPT搞出了一件大事情。美国田纳西大学健康科学中心的放射科医生Som Biswas，在4个月内使用ChatGPT写了16篇论文，并在4个不同的期刊上发表了其中5篇。

必须说，随着ChatGPT的入局，AIGC（人工智能生成内容）数量井喷，尤其是在学界，ChatGPT更是成为科研人员的得力助手。

Transformer的应用就像一枚硬币的两面，模拟生物神经系统的学习方式让大模型就像李楠老师在《“ChatGPT+医疗”的应用场景探讨》一文中所说，更有“人味儿 ”。

大模型的效果非常出色，但带来的问题是模型可解释性低，也就是“黑盒”效应。

Transformer的内部是一个高度非线性的模型，包含众多的神经元以及大量的参数，这意味着模型从输入到输出结果的过程受到繁杂的变量影响，这个过程与人类分析问题常用的“排除变量法”是相悖的，导致“论证”的过程无法被揭开。

协和医院的朱医生也参与了本次调研，作为一名医生，她对于大模型却颇有研究，朱医生告诉我们：“现代医学之所以被称为'循证医学'，其核心思想便是根据可靠的临床研究及数据来制定治疗方案，以支持和确保医疗决策是基于科学证据而不是一堆非线性数据的推理。”

据Google称，医疗大模型Med-PaLM 2已进入实测阶段，（Med-PaLM 2为首个在美国医疗执照考试中达到专家水平的大模型）但在Google2023年5月份发布的《Large Language Models Encode Clinical Knowledge》论文中，和其他大模型类似，Med-PaLM 2也存在“幻觉”问题，容易“胡言乱语”。

严格的说，幻觉并不是“问题”，而是大模型推理过程中涌现出来的，也体现了大模型的创造性。既然是创造性的产物，必然既有真实，又有幻想。这可能也是大模型和搜索引擎最大的差别，搜索引擎没有幻想，只给出真实搜到的结果。

学术界对于降低幻觉给出了大致两个解决方向：

1、预训练与强化学习等技术方向

例如，让大模型先生成一个基准回答，然后根据事实数据以灵活的方式生成相关的待验证问题，再让大模型通过各种变体生成验证问题的答案，这时进行交叉检查，确认答案是否和原始答案一致。通过这些步骤的明确执行，系统就能更容易得掌握减少幻觉的推理步骤。

2、Agent智能体辅助工具方向

大模型的能力众所周知，但“智商”只是Agent落地的一部分。目前无论是中国还是美国，新的共识正在逐渐形成：第一是Agent需要调用外部工具，第二是调用工具的方式就是输出代码——由LLM大脑输出一种可执行的代码，像是一个语义分析器，由它理解每句话的含义，然后将其转换成一种机器指令，再去调用外部的工具来执行或生成答案。尽管现在的 Function Call 形式还有待改进，但是这种调用工具的方式是非常必要的，是解决幻觉问题的最彻底的手段。

尽管大模型的幻觉问题在技术上已经不断进步，但是在医疗、教育、金融、法律等应用上，对大模型幻觉的容错率需要降到足够低的水准。

中国科学院院士何积丰发言指出，大模型当前面临的安全问题主要涵盖两方面，分别是隐私保护和价值观对齐两大难题。

隐私保护问题的是，在未经允许的情况下，大模型是否会收集、使用和泄露个人信息。

价值观对齐问题的是，使得大模型的价值观与人类的价值观相对齐。使得大模型按照设计者的意愿行事，而不作出超出意图之外的举动。

数据可以说是构成大模型的骨骼，为其提供了基础支撑。

在机器学习和深度学习的领域中，数据的获取、加工及利用的方式决定了模型的性能和准确性。但是，数据层面的安全隐患却是不可避免的。

其中最常见的问题包括数据的非法泄漏，这可能导致敏感信息暴露；数据被恶意篡改，这可能导致训练出的模型有误导性；还有非法获取或使用未经授权的数据，这不仅违法，还可能使得模型偏离了其原本的目的。

这些隐患都可能对模型的训练和应用带来不良影响，使其失去原有的效果甚至产生误导。