近日,初创公司Databricks正式发布了一款名为DBRX的开源AI模型,声称该模型是迄今为止全球最强大的开源大型语言模型,超越了Meta公司的Llama 2。
据悉,DBRX采用了Transformer架构,包含了1320亿个参数,由16个专家网络组成,每次推理使用其中的4个专家网络,激活了360亿个参数。

Databricks在其博客文章中介绍道,无论是在语言理解、编程、数学还是逻辑方面,DBRX都表现出优势,超越了Meta公司的Llama 2-70B、法国MixtralAI公司的Mixtral以及马斯克旗下的xAI开发的Grok-1等主流开源模型。
在语言理解方面,DBRX的得分为73.7%,高于GPT-3.5的70.0%、Llama 2-70B的69.8%、Mixtral的71.4%以及Grok-1的73.0%。
在编程能力方面,DBRX的得分为70.1%,远超GPT-3.5的48.1%,高于Llama 2-70B的32.3%、Mixtral的54.8%以及Grok-1的63.2%。

而在数学方面,DBRX的得分为66.9%,高于GPT-3.5的57.1%,也高于Llama 2-70B的54.1%、Mixtral的61.1%以及Grok-1的62.9%。
Databricks介绍说,DBRX是基于MegaBlocks研究和开源项目构建的混合专家模型(MoE),因此每秒输出token的速度非常快。Databricks相信,这将为MoE未来最先进的开源模型铺平道路。
DBRX的推出将为开源语言模型领域带来新的突破和进展,也将为人工智能的发展提供更为强大的工具和平台。期待DBRX能够为各行业带来更多的创新和应用。
暂无评论...