最近的技术进步为大语言模型（LLM）的开发和运行带来了新的可能性，有望降低相关成本。这对于人工智能领域的初创公司和开发者来说是一个积极的趋势。然而，这是否足以将大语言模型开发转变为高利润的软件业务尚不明确，但这些技术进步至少能够缓解一些最紧迫的成本问题。

成本挑战

在过去，开发大语言模型一直是一项昂贵的任务，包括模型研发和在云端运行的费用。一些初创公司，比如Anthropic，发现云端运行模型的费用几乎占据了上个月收入的一大部分，而这还不包括训练模型的成本。

技术进步的影响

一些初创公司如Writer正在看到由于技术进步而带来的降低成本的好处。Writer的联合创始人兼首席技术官瓦西姆·阿尔谢赫表示，过去几个月内，一些老式人工智能芯片的价格下降了，帮助他们将模型培训成本降低了约60%。此外，新款芯片的优化也使开发者能够更快地训练和运行大型模型。

然而，随着云计算服务商推出更多高性能芯片，一些公司可能转向使用更昂贵但训练速度更快的新款芯片。这种权衡需要开发者谨慎考虑，因为高昂的芯片成本可能对利润产生影响。

新技术和配置的应用

开发者还在利用新的培训技术和配置来进一步降低成本。例如，一些大型语言模型如GPT-4实际上是由多个“专家”模型组成的，而非一个庞大的模型。这种混合专家系统的计算效率更高，因为查询只触发模型的某些部分，而非整个模型。

其他技术，如量化和大语言模型的低阶自适应，也在降低训练和调整模型的成本，同时对模型性能的影响微乎其微。

更有效地利用硬件资源

通过采用不同的技术，开发者能够更有效地利用硬件资源。例如，在训练GPT-3时，有研究估计OpenAI的GPU有80%的时间处于闲置状态，等待数据输入。采用名为FlashAttention-2的技术，可以将这一闲置时间缩短至30%左右，提高硬件资源的利用率。

公司策略和挑战

一些公司，尤其是实力雄厚的公司，愿意投资重金购买尖端芯片，即便老款芯片更为亲民。这展示了公司在技术上的追求卓越和对未来发展的投资。

然而，除了硬件成本，还有获取新数据以训练大语言模型的成本。公司需要支付内容授权费用，这虽然目前看起来微不足道，但未来可能会大幅增长。即便大语言模型逐渐生成用于新模型的“合成”训练数据，仍有许多高质量信息是无法复制的。

结论

技术进步为大语言模型的开发和运行带来了一系列机遇，尤其是在成本方面。然而，开发者需要在降低成本和追求卓越之间取得平衡。公司策略、硬件选择以及获取训练数据的成本都是需要仔细考虑的因素。随着技术的不断演进，人工智能领域的发展仍将面临新的挑战和机遇。