初创公司Databricks发布全球最强大的开源语言模型DBRX

AI快讯 1年前 (2024) admin
2,449 0

近日,初创公司Databricks正式发布了一款名为DBRX的开源AI模型,声称该模型是迄今为止全球最强大的开源大型语言模型,超越了Meta公司的Llama 2。

据悉,DBRX采用了Transformer架构,包含了1320亿个参数,由16个专家网络组成,每次推理使用其中的4个专家网络,激活了360亿个参数。

初创公司Databricks发布全球最强大的开源语言模型DBRX

Databricks在其博客文章中介绍道,无论是在语言理解、编程、数学还是逻辑方面,DBRX都表现出优势,超越了Meta公司的Llama 2-70B、法国MixtralAI公司的Mixtral以及马斯克旗下的xAI开发的Grok-1等主流开源模型。

在语言理解方面,DBRX的得分为73.7%,高于GPT-3.5的70.0%、Llama 2-70B的69.8%、Mixtral的71.4%以及Grok-1的73.0%。

在编程能力方面,DBRX的得分为70.1%,远超GPT-3.5的48.1%,高于Llama 2-70B的32.3%、Mixtral的54.8%以及Grok-1的63.2%。

初创公司Databricks发布全球最强大的开源语言模型DBRX

而在数学方面,DBRX的得分为66.9%,高于GPT-3.5的57.1%,也高于Llama 2-70B的54.1%、Mixtral的61.1%以及Grok-1的62.9%。

Databricks介绍说,DBRX是基于MegaBlocks研究和开源项目构建的混合专家模型(MoE),因此每秒输出token的速度非常快。Databricks相信,这将为MoE未来最先进的开源模型铺平道路。

DBRX的推出将为开源语言模型领域带来新的突破和进展,也将为人工智能的发展提供更为强大的工具和平台。期待DBRX能够为各行业带来更多的创新和应用。

版权声明:admin 发表于 2024-03-28 11:26:29。
转载请注明:初创公司Databricks发布全球最强大的开源语言模型DBRX | ai导航网

暂无评论

暂无评论...