例如告诉ChatGPT“解释这张图像”，并扔给它一张海狸照片。ChatGPT就能调用图像解释器，输出“海狸正在水里游泳”：

　　Transformer Agent负责“教会”这些大模型直接调用Hugging Face上的任意AI模型，并输出处理好的结果。

　　简单来说，Transformers Agents是一个大模型专属的“抱抱脸AI工具集成包”。

　　HuggingFace上各种大大小小的AI模型，都被收纳在这个包里，并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”……

　　这样一来，只需要一段简单的代码+提示词，就能让大模型帮助你直接运行AI模型，并将输出结果实时返还给你，过程一共分为三步：

　　1、视觉文档理解模型Donut。给定图片格式的文件（PDF转图片也可以），它就能回答关于这个文件的问题。

　　2、文字问答模型Flan-T5。给定长文章和一个问题，它就能回答各种文字问题，帮你做阅读理解。

　　5、多模态图像分割模型CLIPseg。只需要给它一个模型和一个提示词，它就能根据这个提示分割出图像中指定的内容（mask）。

　　9、200种语言翻译模型NLLB。除了常见语言外，还能翻译一些不太常见的语言，包括老挝语和卡姆巴语等。

　　通过调用上面这些AI模型，包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。

　　除此之外，抱抱脸还“夹带私货”，包含了一些Transformer库以外的模型，包括从网页下载文本、文生图翻墙用谷歌浏览器、图生图、文生视频：

　　这些模型不仅能单独调用，还可以混合在一起使用，例如要求大模型“生成并描述一张好看的海狸照片”，它就会分别调用“文生图”和“图片理解”AI模型。

　　当然，如果我们不想用这些默认AI模型，想设置一套更好用的“工具集成包”，也可以根据步骤自行设置。

　　原标题：《让ChatGPT调用10万+开源AI模型！HuggingFace新功能爆火：大模型可随取随用多模态AI工具》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。