人工智能（AI）模型长期以来一直以其神秘的「黑匣子」形态令人们感到不安。人们对于这些强大模型是如何从数据中学到信息，又是如何进行推理的了解甚少。然而，最新的研究表明，一支由波恩大学的化学信息学专家Jürgen Bajorath教授领导的团队取得了重大突破，揭示了某些人工智能系统的运行机制。

模型依赖于回忆而非学习

研究结果显示，这些人工智能模型在药物研究中主要依赖于回忆现有数据，而不是真正学习特定的化学相互作用来预测药物的有效性。换句话说，AI预测的过程实际上是通过拼凑记忆来完成的，而并非真正的机器学习。

这一研究成果最近发表在《自然机器智能》（Nature Machine Intelligence）杂志上，论文地址：https://www.nature.com/articles/s42256-023-00756-9。

医药领域中的人工智能应用

在医药领域，研究人员正迫切寻找有效的活性物质来对抗疾病。对于哪种药物分子最为有效，这是一个巨大的挑战。通常，这些有效的分子会与蛋白质结合，而蛋白质则作为触发特定生理作用链的酶或受体。

为了解决这一难题，研究人员首先使用AI模型来预测，哪些分子最能与各自的靶蛋白对接并牢固结合。然后，在实验研究中，他们进一步筛选这些候选药物，以找到最有效的化合物。

图神经网络在药物研究中的应用

随着人工智能的发展，药物发现研究也越来越多地采用与AI相关的技术，其中包括图神经网络（GNN）。这种网络适用于预测某种分子与靶蛋白结合的强度。图神经网络的图由表示对象的节点和表示节点之间关系的边组成。

然而，Jürgen Bajorath教授表示，图神经网络模型对于研究人员来说就像一个黑匣子，无法得知它如何得出预测。为了解决这一问题，波恩大学化学信息学的研究人员与罗马Sapienza大学的同事一起详细分析了图神经网络是否真的学到了蛋白质与配体的相互作用。

EdgeSHAPer方法揭示模型内部机制

研究人员使用了他们专门开发的「EdgeSHAPer」方法，对六种不同的图神经网络架构进行了详细分析。这个程序可以判断GNN是否真的学到了化合物和蛋白质之间最重要的相互作用，或者是通过其他的方式来得出预测。

科学家们使用从蛋白质配体复合物结构中提取的图训练了这六个GNN。然后，在其他复合物上测试经过训练的GNN，并使用EdgeSHAPer分析GNN如何产生预测。

结果分析与发现

实验结果显示，六个GNN基本上都未能真正学到化合物和蛋白质之间的相互作用。大多数GNN只学到了一些蛋白质与药物的相互作用，而且主要集中在配体上。

这一现象让人想起「聪明的汉斯效应」（Clever Hans effect），即模型的预测在很大程度上被高估，因为它们可能是通过记住化学相似分子的方式来完成预测，而不是真正学到了相互作用的本质。

未来展望

尽管研究发现了这一问题，但也发现当测试化合物的效力增加时，模型倾向于学到更多的相互作用。或许通过修改表征和训练技术，这些GNN还能朝着理想的方向进一步改进。然而，对于可以根据分子图学习物理量的假设，一般来说应该谨慎对待。

这项研究为人工智能模型内部原理的理解提供了新的视角，也引发了对于AI在药物研究中真正学习能力的质疑。未来，我们可以期待更多关于人工智能内部工作机制的深入研究，以推动这一领域的发展。