谷歌浏览器翻墙差距
不仅如此,2.0 Flash 还能调用第三方应用和服务,比如可以使用谷歌搜索、运行代码等功能。
不过,生成图片和语音的功能暂时只对「早期合作伙伴」开放,要等到明年 1 月才会向所有人开放。谷歌表示,在接下来几个月里,会把 2.0 Flash 的各种版本整合到多个产品中,包括:
除了速度是「前任」的 2 倍, 支持图像、视频和音频等多模态输入外,2.0 Flash 现在还支持多模态输出,比如原生生成的图像与文本混合,以及可控制的多语言文本转语音( TTS )音频。
总体来看,新模型在编程、数学和多模态处理方面都有明显提升,特别是在代码生成方面的进步最为显著。
Gemini 2.0 Flash 的正式版本将于 1 月份推出。但在此期间,谷歌正在发布一个 API —— Multimodal Live API(多模态实时 API ),帮助开发者构建具有实时音频和视频流功能的应用程序。
使用 Multimodal Live API,开发者可以创建实时的多模态应用,这些应用能够接收来自摄像头或屏幕的音频和视频输入。该 API 支持集成各种工具来完成任务,并且能够处理自然对话模式。
今年 5 月份,谷歌发布了通用 AI 助手研究原型 Project Astra ,这是一个多模态 AI 智能体项目,旨在为用户提供一个能够理解和响应复杂、动态真实世界「 AI 助手」。
更流畅的对话:Project Astra 现在能够用多种语言和混合语言进行交流,对各种口音和生僻词汇的理解也更加精准。
新工具的运用:借助Gemini 2.0,Project Astra 能够使用谷歌搜索、谷歌镜头和谷歌地图,使其成为你日常生活中更加得力的助手。
更强大的记忆功能:增强了 Project Astra 的记忆能力,并确保你可以控制其记忆。它现在能够保持长达 10 分钟的会话记忆,并能记住你过去与它进行的更多对话,从而为你提供更加个性化的服务。
更低的延迟:通过新的流媒体功能和原生音频理解技术,智能体能够以接近人类对话的延迟速度理解语言。
他们正致力于将这些功能引入谷歌产品,如 Gemini app 以及眼镜等其他形态的产品。同时,他们也开始在原型眼镜上测试 Project Astra。
在官方演示视频中,外国小哥用一部安装了最新测试版 Project Astra 的 Pixel 手机进行测试。
只需要使用摄像头拍摄衣服上的标签和洗衣机上复杂的按钮,它就能告诉你这件衣服是否能机洗、漂白、烘干,以及洗衣机该如何使用。
偶遇一辆巴士,问它是否可以去唐人街附近。Project Astra不仅可以搜索出该巴士的行驶路线,还能回答出沿线著名地标。
Project Mariner 是一个基于 Gemini 2.0 构建的早期研究原型。它通过 Chrome 浏览器插件,能理解你屏幕上的所有内容 —— 不管是文字、代码、图片还是表单。
它的厉害之处在于,在 WebVoyager 基准测试中,Project Mariner 作为一个独立智能体设置,完成网页任务的准确率达到了 83.5% ,这在目前来说是相当不错的成绩。
比如,它只能在你当前打开的网页标签里操作,要做一些重要的事情(比如网购)时,还得先问问你同意不同意。这就像有个助手帮你办事,但重要决定还是由你来做。
Jules 是一个懂编程的智能助理,直接集成在 GitHub 工作流程中。假设你有一个程序问题需要解决,它能理解问题,制定解决方案,然后在你的指导和监督下把代码写出来。
就像是你多了一个有经验的编程搭档,能帮你分析问题、规划方案、写代码,但最终的决定权还是在你手中。你可以随时检查它的工作,确保一切都符合你的要求。
谷歌 DeepMind 一直喜欢用游戏来锻炼 AI 的能力,就像前几天推出的 Genie 2 ,只要给它一张图片,它就能创造出可以玩的 3D 世界谷歌浏览器翻墙差距。
它特别有意思,能看懂你在玩什么游戏,理解游戏画面里发生的事情,然后实时跟你聊天,给你建议该怎么玩。就像有个资深玩家朋友在旁边指点你。
他们还和 Supercell 这样的大游戏公司合作,在《部落冲突》这样的策略游戏和《卡通农场》这样的模拟经营游戏中测试 AI 。AI 需要理解不同类型游戏的规则和挑战,这可不是件容易的事。
更厉害的是,这个智能体还能用谷歌搜索,帮你找到网上的游戏攻略和技巧。就像是一个既懂游戏、又知道去哪找答案的玩伴。
除了在虚拟世界中探索智能体能力,谷歌还在尝试将 Gemini 2.0 的空间推理能力应用于机器人技术,帮助智能体在现实世界中提供帮助,不过目前仍处于早期阶段。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。