人工智能创业公司 Hugging Face 最近推出了一款名为 IDEFIX 的开源多模态 AI 模型。IDEFIX 可以处理图像和文本输入，并生成连贯的文本输出。
IDEFIX 基于视觉语言模型 Flamingo 构建，Flamingo 是去年由 DeepMind 开发的一款领先的多模态 AI 模型。IDEFIX 使用了包括维基百科、公共多模态数据集和 LAION 在内的各种开放数据集进行了训练。此外，Hugging Face 还引入了一个新的多模态数据集 OBELIX，其中包含1.41亿个从互联网收集的图像文本文档。
与专有模型相比，IDEFIX 在各种图像文本理解评估中的表现非常优异。它有两个版本，基本版本有90亿个参数，指导版本有800亿个参数。这标志着多模态 AI 开源模型的一个重要进步。
相比之下，OpenAI 的 ChatGPT 目前还不支持处理图像。GPT-4尽管宣称具有多模态功能，但其图像处理能力还非常有限。
除了 IDEFICS 之外，目前 Bard 和 Bing 还接受图像作为输入并创建文本。
您可以在这里尝试 IDEFICS:https://huggingface.co/spaces/HuggingFaceM4/idefics_playground
声明：本网页内容为来源互联网，旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理,E-MAIL:320919107#qq.com。#改@
Hugging Face 推出开源多模态 AI 模型 IDEFIX：http://www.shiyongwenba.com/fenxiang/165616.html