一连串烟雾弹后，昨天 OpenAI 用一个可以看到、听到真实世界，并可以实时无延迟对话的 AI 智能助手「GPT-4o」震撼了世界。而把发布 4o 的时间点特别选在谷歌 I/O 大会开幕前一天，当时就有媒体预测，OpenAI 这是在狙击谷歌。

　　但最受关注的，还是谷歌 DeepMind 负责人兼谷歌 AI 领导者 Demis Hassabis 口中，真正通向 AGI 的万能助手项目——「Project Astra」。以及面向 Gemini Advanced 订阅者新推出的语音聊天功能 Live，后者预计还将在年内加入相机功能，让 AI 可以基于用户所处的真实环境展开对话。

　　这两个产品都有点像「GPT-4o」，但先不论三者的真实效果到底如何，从产品进展来看 OpenAI 已经领先一筹。不过这也不意味着 OpenAI 注定成为最后的赢家，目前来看手机依然是这些超级智能助手最重要的硬件载体，掌握安卓系统的谷歌有着天然的优势。从这个角度看，前段时间苹果与 OpenAI 的合作传闻，可能正是来源于二者对抗谷歌因而各取所需。

　　不论如何，具备「真实世界感知 Input」+「低延迟语音 Output」的超级智能助手，已经成为下一阶段 AI 公司军备竞赛的关键。接下来更多大模型公司、云计算平台，甚至手机公司谷歌翻墙啥意思、AI 应用开发者都会卷入其中。

　　I/O 大会上，谷歌发了一段非常惊艳的 AI 助手演示视频，这次还了发誓，没有以任何方式伪造或篡改。

　　Project Astra 是一个实时、多模式的人工智能助手，通过接收信息、记住它所看到的内容、处理该信息和理解上下文细节来与周围的世界进行交互，它的语音交互比当前形式的 Google Assistant 更自然，没有延迟或延迟，可以回答问题或帮助你做几乎任何事情。

　　演示视频中，用户要求 Project Astra 在看到发出声音的东西时告诉她，助手回答说，它可以看到一个发出声音的扬声器。

　　交互是实时语音进行的，且并没有「嘿，Google、Gemini」等唤起词，用户问 Project Astra 视频中显示器上的代码有什么作用，Project Astra 没有一丝延迟地进行了解释。

　　Project Astra 关于视觉的处理甚至算整场发布会最大的亮点。「你记得我把眼睛放哪了吗？」「你的眼镜在桌子上的红苹果旁边。」Project Astra 甚至通过镜头记住了一闪而过的眼镜，并准确回答出在苹果旁。这里可能夹带了一点「私货」，这副眼镜上或许也有 Project Astra。

　　从演示看，Project Astra 可以很快处理收到的信息，可以通过连续编码视频帧并将视频和语音组合成事件时间线来做到这一点，然后缓存信息以供回忆。谷歌表示，其中一些功能将在今年晚些时候添加到 Gemini 应用程序和其他产品中。

　　谷歌称 DeepMind 团队还在研究如何最好地将多模态模型整合在一起，以及如何平衡超大型通用模型与更小、更集中的模型。

　　昨天刚发布 GPT-4o 的 OpenAI 最重大的突破也在多模态上，看下来似乎昨日重现。最大的一个区别在视觉处理上，是目前 GPT-4o 只能处理静态图像，Astra 已经可以处理视频。

　　Project Astra 背后的 Gemini 系列大模型能力也有更新。上个月举办的 Google Cloud Next 2024 大会上发布，发布的 Gemini 1.5 Pro，具有原生音频理解、系统指令、JSON 模式等，可提供 100 万长文本能力，宣布已经向全球开发者开放。

　　谷歌还预告了接下来的动作，宣布今年晚些时候将模型的现有上下文窗口增加一倍，达到 200 万个 token。这将使其能够同时处理 2 小时的视频、22 小时的音频、超过 60,000 行代码或超过 140 万个单词。

　　谷歌去年 12 月发布的一个预录演示遭到「造假」质疑，通过剪辑误导人们高估 Gemini 的视频处理能力，不过现在，这些能力都是线. 基于大模型的 AI 应用生态方面的进展

　　在这次 I/O 大会上，谷歌基于大模型的 AI 应用生态也有所升级，涵盖搜索、照片、创作、工具以及工作应用等方方面面。

　　谷歌首席执行官桑达尔皮查伊（Sundar Pichai）在 I/O 大会上宣布，人工智能生成的搜索摘要，现在被称为「人工智能概述」，将在「本周」向美国的所有人推出，更多国家/地区即将推出。