文章来源：

出品｜网易科技《态度》栏目组

作者｜闫妍

编辑｜丁广胜

图片来源：由无界AI生成

14日晚间，阿里巴巴集团发布2024财年Q4及全年业绩。财报显示，阿里巴巴集团Q4收入2218.74亿元，同比增长7%，超市场预期。

2024财年全年，营收为9411.68亿元，同比增长8%。净利润为713.32亿元，同比增长9%；不按美国通用会计准则，净利润为1574.79亿元，同比增长11%（注：阿里巴巴财年与自然年不同步，2023财年4月1日至2024年3月31日为2024财年）。

经过一年剧烈变革，阿里重回健康增长轨道：本季度，淘宝天猫GMV双位数增长，阿里云核心公共云产品收入双位数增长、AI相关收入三位数增长，海外电商实现45%的同比增长，本地生活集团营收同比增长19%。

但纵观本季度财报，挤压式增长已成阿里新常态，最为核心且重要的淘系业务仍然承压。

主动求变，

但核心业务增长仍乏力

本季度，阿里交上了一份喜忧参半的成绩单。

财报显示，阿里巴巴集团Q4收入2218.74亿元，同比增长7%，超市场预期。而上一季度，阿里营收2603.5亿元，低于市场预期2612.47亿元，同比增长仅5%，创下三个季度以来的最低增速。

继上一季度阿里巴巴经营利润、净利润双双下滑，本季度这两组数字仍不理想。

财报显示，这一季度阿里经营利润为147.65亿元，同比下降3%。净利润为9.19亿元，同比下滑96%，主要是由于所持上市公司股权投资按市值计价变动而产生的净亏损，而去年同期则为净收益所致；不按美国通用会计准则，净利润为244.18亿元，同比下滑11%。

值得注意的是，处于集团最高优先级的电商和云计算两大核心业务重燃了增长动力，海外电商、本地生活、菜鸟等回归健康增长轨道。

淘天集团方面，本季度营收932.16亿元（约合129.10亿美元），同比增长4%；整个2024财年营收4348.93亿元（约合602.32亿美元），同比增长5%。上一季度淘天集团的收入为1290.7亿元，同比增长仅为2%。

财报显示，淘宝天猫的季度购买人数和购买频次强劲增长，推动线上GMV及订单量实现同比双位数增长。来自搜索和推荐的收入强劲增长，带动客户管理收入同比增长5%。

但对于电商平台来说，重要的用户数据，阿里这次依旧没披露。无论是ACC（年活跃买家数），亦或是DAU（日活跃用户数），均在阿里该季度业绩报告中无从寻觅，仅交代了淘天GMV、订单量均实现了双位数增长。

本季度，阿里云收入255.95亿元，同比增长3%，其中核心公共云产品收入实现双位数同比增长，AI相关收入增长加快，持续实现三位数同比增长。同时，阿里云持续盈利，经调整EBITA同比增长45%。

阿里海外相关业务继续保持强劲势头，本季度，阿里国际数字商业集团收入同比增长45%，旗下零售平台的季度整体订单同比增长20%。

本季度，菜鸟撤回IPO，继续与国内外电商业务增强协同。2024年1-3月菜鸟单季营收245.57亿元人民币，同比增长30%，全年营收同比增长28%至990.2亿元人民币。

2024财年第四季度受饿了么和高德订单快速增长所驱动，本地生活集团收入146.28亿元人民币，相比2023年同期的123.40亿元增长19%。季度内，本地生活集团亏损已由2023年同期的40.63亿元缩减至31.98亿元，同比减亏21.3%。

2024财年，大文娱集团收入同比增长15%，并实现亏损同比收窄。

寻求增长，

“四小龙”被寄予厚望

2023年11月16日晚的阿里巴巴财报电话会上，阿里巴巴CEO吴泳铭公布了第一批战略级创新业务——“四小龙”，分别为1688，闲鱼，钉钉，夸克，这批战略级创新业务也是阿里未来发展的关键所在。并承诺，阿里将以3-5年为周期持续投入，培育面向未来的新动能。

其中，钉钉发展迅猛，承载着阿里AI驱动的厚望。

钉钉拥有着庞大的用户基数。1月9日，在钉钉7.5产品发布会上，钉钉交出2023年的成绩单：截至2023年底，钉钉注册用户数达7亿人。此外，钉钉企业组织数达2500万，软件付费企业数达12万。值得注意的是，预计2025财年钉钉开始盈利。

闲鱼，则成为了阿里接触z世代年轻消费者的“抓手”。

去年5月，闲鱼公布用户数超5亿，其中95后用户占比43%，成为最活跃的用户，00后占比22%。最新数据显示，闲鱼日均交易额已突破10亿，过去一年超1亿人在闲鱼挂出闲置宝贝。目前闲鱼上活跃兴趣用户数已达8300万，45%的交易与潮玩、动漫、宠植等兴趣相关。

闲鱼在2023年的频频动作，先是进行了全方位的产品和战略升级，推出信用评级新体系“鱼力值”，促进闲置交易行业标准化建设；推出社区化产品“海鲜市场”；升级“会玩”社区，分享最前沿的资讯和产品；面向所有兴趣达人推出“星灿计划”，培育扶持兴趣达人……

“阿里四小龙”中相对比较低调的夸克，其实是当前整个互联网行业少见的、能保持双位数高增长的产品。

2016年8月，夸克由UC浏览器内部孵化，上线1年后用户数达到百万。随后，夸克战略重心进行调整，逐渐从浏览器转变为智能搜索，内含网盘、扫描、学习、文档、健康、小说等业务。2023年11月14日，夸克发布了自己自研的千亿参数通用大模型，迈向下一代搜索的临界点。

从公开数据来看，2020年—2023年，夸克每年用户增长率都在200%以上，2023年11月累计服务用户过亿。夸克技术负责人蒋冠军曾透露，夸克用户中，50%以上都是25岁以下年轻用户。

而作为“阿里四小龙”中最“古早”的业务，1688在2023年底突然成了“重头戏”，尤其是宣布正式布局跨境业务的消息，一度引发各方讨论。

事实上，成立于1999年的1688是阿里的第二块业务，在批发业务上几乎打遍天下无对手，年GMV能达到8000亿。随着“平替经济”大行其道，1688在新消费浪潮下也被彻底被翻红。

过去一年，1699加速了跨界至C端的脚步。1688面向买家的会员产品1688 PLUS的会员数已突破100万，成为B2B电商行业首个会员数过百万的买家付费产品。去年11月，1688跨境业务正式亮相，平台背后拥有100万的源头厂商，整个平台销售额中大概1/4是跨境（产生）的，无疑是跨境电商中一匹黑马。

1688总裁余涌也披露了一系列相关数据，2023年1~11月，跨境注册买家数同比增长76%，跨境注册买家数超594万，跨境动销品超过1.3亿，平台跨境采购规模近2000亿元，其中每年采购金额超1000万元的跨境大买家超过1000家。

可以看出，“四小龙”是阿里寻找新增长极的有力“新武器”，或许能为阿里应对新变化、新周期带来新机遇。随着“四小龙”的不断做大，甚至实现正增长，有朝一日或许也能替阿里缓解一定的营收压力。

阿里披露六大业务领导班子名单，

人事地震已结束？

过去一年，阿里巴巴内部调整动荡不已。

2023年3月，阿里启动成立24年来最大规模的一场组织变革，正式拆分成“1+6+N”结构，即设立阿里云智能、淘宝天猫、本地生活、菜鸟、国际数字商业、大文娱等六大业务集团和多家业务公司。

2023年9月，在阿里担任了8年CEO、4年董事会主席的张勇退休，由蔡崇信和吴泳铭分别出任阿里巴巴集团董事会主席、阿里集团CEO。

2023年11月16日，阿里巴巴公布2024财年第二财季财报，并宣布一系列重大调整：盒马的首次公开募股计划暂缓；阿里巴巴不再推进云智能集团的完全分拆；菜鸟集团已申请在香港进行首次公开募股；1688，闲鱼，钉钉，夸克成为阿里巴巴第一批战略级创新业务“四小龙”。

12月，淘天集团高层发生变阵。担任淘天集团CEO仅半年，戴珊便宣布卸任，接力棒来到吴泳铭手中。与此同时，淘天集团核心管理层几乎全部更换，阿里智能事业群总裁吴嘉、饿了么首席运营官谌伟业等“少壮派”全面接管。

从一系列大刀阔斧的组织调整中可以看出，阿里在完成“大象转身”主动分拆之后，正试图重构组织以适应新周期，主动求变唤醒不同业务的新增长方式，为阿里找到全新的增长道路。

但当事物在流动时，变革是容易的，当事物凝固时，变革就十分困难。

作为电子商务的先驱，阿里正在面对拼多多、抖音等新锐平台的激烈挑战。如今阿里的业绩表现，远远不及当年井喷式的增长，这无疑给拆分重组中的阿里带来了更大的挑战。

在蔡崇信和吴泳铭接手后，阿里过去一年对内精简组织，对外战略聚焦，带领“大象”转身重拾增长。但目前来看，阿里在提升组织效能、保持应对外部变化的活力和创新力等方面，仍面临着严峻的考验。

但最起码，阿里已经有了直面问题、直面未来的勇气。

近日，阿里联合创始人、董事局主席蔡崇信与挪威主权财富基金首席投资官Nicolai Tangen对话的视频中，主持人问到，“你们面临的最严峻的竞争是什么？”

蔡崇信回答说，阿里过去几年忘记了真正的客户是谁，并说道：“我们的客户是使用我们的应用程序购物的用户，我们没有给他们最好的体验。所以在某种程度上，我们有点自食其果，并没有真正关注价值所在，我们能在哪里提供价值。”

值得注意的是，本季度财报还披露了业务集团董事和首席执行官的变更。或许，这意味着历时一年的阿里“人事地震”终于告一段落？

今晚财报电话会上，阿里巴巴集团首席执行官、淘天集团董事长吴泳铭表示：“随着‘用户为先’战略下的产品改进和投资策略逐步推进，我们对于持续赢得消费者信任，保持市场份额领先地位具备充分信心。”

通过自我革新、主动开刀，或许不久的将来阿里将重新回归效率至上、市场至上，变得简单和敏捷。

来源：机器之心

机器之心编辑部

通用的 AI，能够真正日常用的 AI，不做成这样现在都不好意思开发布会了。

5 月 15 日凌晨，一年一度的「科技界春晚」Google I/O 开发者大会正式开幕。长达 110 分钟的主 Keynote 提到了几次人工智能？谷歌自己统计了一下：

是的，每一分钟都在讲 AI。

生成式 AI 的竞争，最近又达到了新的高潮，本次 I/O 大会的内容自然全面围绕人工智能展开。

「一年前在这个舞台上，我们首次分享了原生多模态大模型 Gemini 的计划。它标志着新一代的 I/O，」谷歌首席执行官桑达尔・皮查伊（Sundar Pichai）说道。「今天，我们希望每个人都能从 Gemini 的技术中受益。这些突破性的功能将进入搜索、图片、生产力工具、安卓系统等方方面面。」

24 小时以前，OpenAI 故意抢先发布 GPT-4o，通过实时的语音、视频和文本交互震撼了全世界。今天，谷歌展示的 Project Astra 和 Veo，直接对标了目前 OpenAI 领先的 GPT-4o 与 Sora。

这是 Project Astra 原型的实时拍摄：

我们正在见证最高端的商战，以最朴实的方式进行着。

最新版 Gemini 革新谷歌生态

在 I/O 大会上，谷歌展示了最新版 Gemini 加持的搜索能力。

25 年前，谷歌通过搜索引擎推动了第一波信息时代的浪潮。现在，随着生成式 AI 技术的演进，搜索引擎可以更好地帮你回答问题，它可以更好地利用上下文内容、位置感知和实时信息能力。

基于最新版本的定制化 Gemini 大模型，你可以对搜索引擎提出任何你想到的事情，或任何需要完成的事 —— 从研究到计划到想象，谷歌将负责所有工作。

有时你想要快速得到答案，但没有时间将所有信息拼凑在一起。这个时候，搜索引擎将通过 AI 概述为你完成工作。通过人工智能概述，AI 可以自动访问大量网站来提供一个复杂问题的答案。

借助定制 Gemini 的多步推理功能，AI 概述将有助于解决日益复杂的问题。你无需再将问题分解为多个搜索，现在可以一次性提出最复杂的问题，以及你想到的所有细微差别和注意事项。

除了为复杂问题找到正确的答案或信息之外，搜索引擎还可以与你一起，一步步制定计划。

在 I/O 大会上，谷歌重点强调了大模型的多模态和长文本能力。技术的进步为 Google Workspace 等生产力工具变得更加智能化。

例如，现在我们可以要求 Gemini 总结一下学校最近发来的所有电子邮件。它会在后台识别相关的 Email，甚至分析 PDF 等附件。随后你就能获得其中的要点和行动项目的摘要。

如果你正在旅行，无法参加项目会议，而会议的录音长达一个小时。如果是 Google Meet 上开的会，你可以要求 Gemini 给你介绍一下重点。有一个小组在寻找志愿者，那天你有空。Gemini 可以帮你写一封邮件进行申请。

更进一步，谷歌在大模型 Agent 上看到了更多的机会，认为它们可作为具有推理、计划和记忆能力的智能系统。利用 Agent 的应用能够提前「思考」多个步骤，并跨软件和系统工作，更加便捷地帮你完成任务。这种思路已经在搜索引擎等产品中得到了体现，人们都可以直接看到 AI 能力的提升。

至少在全家桶应用方面，谷歌是领先于 OpenAI 的。

Gemini 家族大更新

Project Astra 上线

生态上谷歌有先天优势，但大模型基础很重要，谷歌为此整合了自身团队和 DeepMind 的力量。今天哈萨比斯也首次在 I/O 大会上登台，亲自介绍了神秘的新模型。

去年 12 月，谷歌推出了首款原生多模态模型 Gemini 1.0，共有三种尺寸：Ultra、Pro 和 Nano。仅仅几个月后，谷歌发布新版本 1.5 Pro，其性能得到了增强，并且上下文窗口突破了 100 万 token。

现在，谷歌宣布在 Gemini 系列模型中引入了一系列更新，包括新的 Gemini 1.5 Flash（这是谷歌追求速度和效率的轻量级模型）以及 Project Astra（这是谷歌对人工智能助手未来的愿景）。

目前，1.5 Pro 和 1.5 Flash 均已提供公共预览版，并在 Google AI Studio 和 Vertex AI 中提供 100 万 token 上下文窗口。现在，1.5 Pro 还通过候补名单向使用 API 的开发人员和 Google Cloud 客户提供了 200 万 token 上下文窗口。

此外，Gemini Nano 也从纯文本输入扩展到可以图片输入。今年晚些时候，从 Pixel 开始，谷歌将推出多模态 Gemini Nano 。这意味着手机用户不仅能够处理文本输入，还能够理解更多上下文信息，例如视觉、声音和口语。

Gemini 家族迎来新成员：Gemini 1.5 Flash

新的 1.5 Flash 针对速度和效率进行了优化。

1.5 Flash 是 Gemini 模型系列的最新成员，也是 API 中速度最快的 Gemini 模型。它针对大规模、大批量、高频任务进行了优化，服务更具成本效益，并具有突破性的长上下文窗口（100 万 token ）。

Gemini 1.5 Flash 具有很强的多模态推理能力，并具有突破性的长上下文窗口。

1.5 Flash 擅长摘要、聊天应用程序、图像和视频字幕、从长文档和表格中提取数据等。这是因为 1.5 Pro 通过一个名为「蒸馏」的过程对其进行了训练，将较大模型中最基本的知识和技能迁移到较小、更高效的模型中。

Gemini 1.5 Flash 性能表现。来源 https://deepmind.google/technologies/gemini/#introduction

改进的 Gemini 1.5 Pro 上下文窗口扩展到 200 万 token

谷歌提到，如今有超过 150 万的开发人员在使用 Gemini 模型，超过 20 亿的产品用户都用到了 Gemini。

在过去的几个月里，谷歌除了将 Gemini 1.5 Pro 上下文窗口扩展到 200 万 token 之外，谷歌还通过数据和算法的改进增强了其代码生成、逻辑推理和规划、多轮对话以及音频和图像理解能力。 

1.5 Pro 现在可以遵循日益复杂和细致的指令，包括那些指定涉及角色，格式和风格的产品级行为的指令。此外，谷歌还让用户能够通过设置系统指令来引导模型行为。

现在，谷歌在 Gemini API 和 Google AI Studio 中添加了音频理解，因此 1.5 Pro 现在可以对 Google AI Studio 中上传的视频图像和音频进行推理。此外，谷歌还将 1.5 Pro 集成到 Google 产品中，包括 Gemini Advanced 和 Workspace 应用程序。

Gemini 1.5 Pro 的定价为每 100 万 token 3.5 美元。

其实，Gemini 最令人兴奋的转变之一是 Google 搜索。

在过去的一年里，作为搜索生成体验的一部分，Google 搜索回答了数十亿个查询。现在，人们可以使用它以全新的方式进行搜索，提出新类型的问题、更长、更复杂的查询，甚至使用照片进行搜索，并获得网络所提供的最佳信息。

谷歌即将推出 Ask Photos 功能。以 Google Photos 举例，该功能大约在九年前推出。如今，用户每天上传的照片和视频数量超过 60 亿张。人们喜欢使用照片来搜索他们的生活。Gemini 让这一切变得更加容易。

假设你正在停车场付款，但不记得自己的车牌号码。之前，你可以在照片中搜索关键字，然后滚动浏览多年的照片，寻找车牌。现在，你只需询问照片即可。

又比如，你回忆女儿露西娅的早期生活。现在，你可以问照片：露西亚什么时候学会游泳的？你还可以跟进一些更复杂的事情：告诉我露西娅的游泳进展如何。

在这里，Gemini 超越了简单的搜索，识别了不同的背景 —— 包括游泳池、大海等不同场景，照片将所有内容汇总在一起，以便用户查看。谷歌将于今年夏天推出 Ask Photos 功能，并且还将推出更多功能。

新一代开源大模型 Gemma 2

今天，谷歌还发布了开源大模型 Gemma 的一系列更新 ——Gemma 2 来了。 

据介绍，Gemma 2 采用全新架构，旨在实现突破性的性能和效率，新开源的模型参数为 27B。

此外，Gemma 家族也在随着 PaliGemma 的扩展而扩展，PaliGemma 是谷歌受 PaLI-3 启发的第一个视觉语言模型。

通用 AI 智能体 Project Astra

一直以来，智能体都是 Google DeepMind 的重点研究方向。

昨天，我们围观了 OpenAI 的 GPT-4o，为其强大的实时语音、视频交互能力所震撼。

今天，DeepMind 的视觉与语音交互通用 AI 智能体项目 Project Astra 亮相，这是 Google DeepMind 对未来 AI 助手的一个展望。

谷歌表示，为了真正发挥作用，智能体需要像人类一样理解和响应复杂、动态的真实世界，也需要吸收并记住所看到和听到的内容，以了解上下文并采取行动。此外，智能体还需要具有主动性、可教育和个性化，以便用户可以自然地与它交谈，没有滞后或延迟。

在过去的几年里，谷歌一直致力于改进模型的感知、推理和对话方式，以使交互的速度和质量更加自然。

在今天的 Keynote 中， Google DeepMind 展示了 Project Astra 的交互能力：

据介绍，谷歌是在 Gemini 的基础上开发了智能体原型，它可以通过连续编码视频帧、将视频和语音输入组合到事件时间线中并缓存此信息以进行有效调用，从而更快地处理信息。

通过语音模型，谷歌还强化了智能体的发音，为智能体提供了更广泛的语调。这些智能体可以更好地理解他们所使用的上下文，并在对话中快速做出响应。

这里简单评论一下。机器之心感觉 Project Astra 项目发布的 Demo，在交互体验上要比 GPT-4o 实时演示的能力要差许多。无论是响应的时长、语音的情感丰富度、可打断等方面，GPT-4o 的交互体验似乎更自然。不知道读者们感觉如何？

反击 Sora：发布视频生成模型 Veo

在 AI 生成视频方面，谷歌宣布推出视频生成模型 Veo。Veo 能够生成各种风格的高质量 1080p 分辨率视频，时长可以超过一分钟。

凭借对自然语言和视觉语义的深入理解，Veo 模型在理解视频内容、渲染高清图像、模拟物理原理等方面都有所突破。Veo 生成的视频能够准确、细致地表达用户的创作意图。

例如，输入文本 prompt：

Many spotted jellyfish pulsating under water. Their bodies are transparent and glowing in deep ocean.

（许多斑点水母在水下搏动。它们的身体透明，在深海中闪闪发光。）

再比如生成人物视频，输入 prompt：

A lone cowboy rides his horse across an open plain at beautiful sunset, soft light, warm colors.

（在美丽的日落、柔和的光线、温暖的色彩下，一个孤独的牛仔骑着马穿过开阔的平原。）

近景人物视频，输入 prompt：

A woman sitting alone in a dimly lit cafe, a half-finished novel open in front of her. Film noir aesthetic, mysterious atmosphere. Black and white.

（一个女人独自坐在灯光昏暗的咖啡馆里，一本未完成的小说摊在她面前。黑色电影唯美，神秘气氛。黑白。）

值得注意的是，Veo 模型提供了前所未有的创意控制水平，并理解「延时拍摄」、「航拍」等电影术语，使视频连贯、逼真。

例如电影级海岸线航拍镜头，输入 prompt：

Drone shot along the Hawaii jungle coastline, sunny day

（无人机沿夏威夷丛林海岸线拍摄，阳光明媚的日子）

Veo 还支持以图像和文本一起作为 prompt，来生成视频。通过提供参考图像与文本提示，Veo 生成的视频会遵循图像风格和用户文本说明。

有趣的是，谷歌发布的 demo 是 Veo 生成的「羊驼」视频，很容易让人联想到 Meta 的开源系列模型 Llama。

在长视频方面，Veo 能够制作 60 秒甚至更长的视频。它可以通过单个 prompt 来完成此操作，也可以通过提供一系列 prompt 来完成此操作，这些 prompt 一起讲述一个故事。这一点对视频生成模型应用于影视制作非常关键。

Veo 以谷歌的视觉内容生成工作为基础，包括生成式查询网络 (GQN)、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet、Lumiere 等。

从今天开始，谷歌会为一些创作者在 VideoFX 中提供预览版 Veo，创作者可以加入谷歌的 waitlist。谷歌还将把 Veo 的一些功能引入 YouTube Shorts 等产品。

文生图新模型 Imagen 3

在文本到图像生成方面，谷歌再次升级了系列模型 —— 发布 Imagen 3。

Imagen 3 在生成细节、光照、干扰等方面进行了优化升级，并且理解 prompt 的能力显著增强。

为了帮助 Imagen 3 从较长的 prompt 中捕捉细节，例如特定的摄像机角度或构图，谷歌在训练数据中每个图像的标题中添加了更丰富的细节。

例如，在输入 prompt 中添加「在前景中略微虚焦」、「温暖光线」等，Imagen 3 就可以按照要求生成图像：

此外，谷歌特别针对图像生成中「文字模糊」的问题进行了改进，即优化了图像渲染，使生成图像中文字清晰并风格化。

为了提高可用性，Imagen 3 将提供多个版本，每个版本都针对不同类型的任务进行了优化。

从今天开始，谷歌为一些创作者在 ImageFX 中提供 Imagen 3 预览版，用户可以注册加入 waitlist。

第六代 TPU 芯片 Trillium

生成式 AI 正在改变人类与技术交互的方式，同时为企业带来巨大的增效机会。但这些进步需要更多的计算、内存和通信能力，以训练和微调功能最强大的模型。

为此，谷歌推出第六代 TPU Trillium，这是迄今为止性能最强大、能效最高的 TPU，将于 2024 年底正式上市。

TPU Trillium 是一种高度定制化的 AI 专用硬件，此次 Google I/O 大会上宣布的多项创新，包括 Gemini 1.5 Flash、Imagen 3 和 Gemma 2 等新模型，均在 TPU 上进行训练并使用 TPU 提供服务。

据介绍，与 TPU v5e 相比，Trillium TPU 的每芯片峰值计算性能提高了 4.7 倍，同时它还把高带宽内存（HBM）以及芯片间互连（ICI）带宽加倍。此外，Trillium 配备了第三代 SparseCore，专门用于处理高级排名和推荐工作负载中常见的超大型嵌入。

谷歌表示，Trillium 能够以更快的速度训练新一代 AI 模型，同时减少延迟和降低成本。此外，Trillium 还被称为迄今为止谷歌最具可持续性的 TPU，与其前代产品相比，能效提高了超过 67%。

Trillium 可以在单个高带宽、低延迟的计算集群（pod）中扩展到多达 256 个 TPU（张量处理单元）。除了这种集群级别的扩展能力之外，通过多片技术（multislice technology）和智能处理单元（Titanium Intelligence Processing Units，IPUs），Trillium TPU 可以扩展到数百个集群，连接成千上万的芯片，形成一个由每秒数 PB（multi-petabit-per-second）数据中心网络互联的超级计算机。

谷歌早在 2013 年就推出了首款 TPU v1，随后在 2017 年推出了云 TPU，这些 TPU 一直在为实时语音搜索、照片对象识别、语言翻译等各种服务提供支持，甚至为自动驾驶汽车公司 Nuro 等产品提供技术动力。

Trillium 也是谷歌 AI Hypercomputer 的一部分，这是一种开创性的超级计算架构，专为处理尖端的 AI 工作负载而设计。谷歌正在与 Hugging Face 合作，优化开源模型训练和服务的硬件。

以上，就是今天谷歌 I/O 大会的所有重点内容了。可以看出，谷歌在大模型技术与产品方面与 OpenAI 展开了全面竞争的态势。而通过这两天 OpenAI 与谷歌的发布，我们也能发现大模型竞争进入了到了一个新的阶段：多模态、更自然地交互体验成为了大模型技术产品化并为更多人所接受的关键。

期待 2024 年，大模型技术与产品创新，能为我们带来更多的惊喜。

作者：屠敏，CSDN

今年的 5 月宛如梦回 2023 年的 3 月，一场场热闹的 AI 盛宴相继开席。

不过，不知是有意还是无意，去年 3 月，Google 选择开放大语言模型 PaLM API 之际，几乎在同一时间 OpenAI 释出最强模型 GPT-4 惊艳四座，此外仅时隔几天后，微软又在一场发布会上官宣自家 Office 全家桶被 GPT-4 革新，导致 Google 似乎成为被众人忽视的存在。

些许尴尬的是，今年同样的情形似乎正在上演，一方面 OpenAI 于昨日凌晨带来了全面升级的旗舰级 GPT4o 作为本月 AI 小春晚的开场，另一方面微软将于下周召开 Bulid 2024，那么，这一次再次遭到夹击的 Google 能否逆风翻了其两家“组的局”，我们将从今日凌晨开幕的 I/O 2024 开发者大会中窥见一斑。

今年的 I/O 大会也是 Google 旗帜鲜明地推行“AI First”战略的第八个年头。

01 亮点抢先看

正如此前所料，在这场时长近 2 小时的 Keynote 上，「AI」是贯穿 I/O 大会全场的关键词，只是没想到的是，它被提及的次数能高达 121 次，也不难看出 Google 对 AI 的焦虑了。

面对外部来势汹汹的竞争对手，Google CEO Sundar Pichai（桑达尔·皮查伊）近日在做客一档节目时表示，「AI 目前还处于发展的早期阶段，相信谷歌最终将赢得这场战争，正如谷歌当初并不是第一家做搜索的公司」。

在 I/O 发布会现场，Sundar Pichai 同样强调了这一点，「我们仍处于人工智能平台转变的早期阶段。对于创作者、开发者、初创公司和每个人来说，我们看到了巨大的机遇。」

Sundar Pichai 表示，去年发布 Gemini（双子座）时，它的定位便是多模态的大模型，可以跨文本、图像、视频、代码等进行推理。今年 2 月，Google 发布了 Gemini 1.5 Pro，在长文本方面实现了突破，将上下文窗口长度扩展到 100 万个 tokens，比任何其他大规模基础模型都要多。如今，超过 150 万的开发者在 Google 工具中使用 Gemini 模型。

在发布会上，Sundar Pichi 分享了 Google 内部的最新的进展：

• Gemini 应用程序现在已上线 Android 和 iOS 系统。通过 Gemini Advanced，用户可以访问 Google 最强大的模型。

• Google 将向全球所有开发者推出 Gemini 1.5 Pro 的改进版本。此外，今天拥有 100 万个 token 上下文的 Gemini 1.5 Pro 现在可以直接在 Gemini Advanced 中供消费者使用，它可以跨 35 种语言使用。

• Google 将 Gemini 1.5 Pro 上下文窗口扩展到了 200 万个 tokens，并以私人预览版的形式提供给开发人员。

• 虽然我们还处于 Agent 的早期阶段，但是 Google 已经开始先行探索，尝试了 Project Astra，通过智能手机摄像头分析世界，识别及解释代码、帮助人类寻找眼镜、还能辨别声音…

• 比 Gemini 1.5 Pro 更轻量级的 Gemini 1.5 Flash 发布，针对低延迟和成本等重要的任务进行了优化。

• 可制作“高质量” 1080p 视频的 Veo 模型和文本生成图像模型 Imagen 3 发布；

• 采用全新架构、27B 大小尺寸的 Gemma 2.0 来了；

• Android，第一个包含内置设备基础模型的移动操作系统，深度集成了 Gemini 模型，成为以 Google AI 为核心的操作系统；

• 第六代 TPU Trillium 发布，与上一代 TPU v5e 相比，每个芯片的计算性能提高了 4.7 倍。

02 Google “杀疯了”，多款模型齐发

都说做大模型的很“卷”，没想到在加速赶超的路途中，Google 的“卷”远超乎想象。在发布会上，Google 不仅对过往的大模型进行了升级，还发布了多款新模型。

Gemini 1.5 Pro 升级更新

去年发布 Gemini（双子座）时，Google 对它的定位便是多模态的大模型，可以跨文本、图像、视频、代码等进行推理。今年 2 月，Google 发布了 Gemini 1.5 Pro，在长文本方面实现了突破，将上下文窗口长度扩展到 100 万个 tokens，比任何其他大规模基础模型都要多。

发布会上，Google 首先对 Gemini 1.5 Pro 一些关键用例进行了质量改进，例如翻译、编码、推理等，可以处理更广泛、更复杂的任务。1.5 Pro 现在可以遵循一些复杂和细致的指令，包括指定涉及角色、格式和风格的产品级行为的指令。也可以让用户能够通过设置系统指令来控制模型行为。

同时，Google 在 Gemini API 和 Google AI Studio 中添加了音频理解，因此 1.5 Pro 现在可以对 Google AI Studio 中上传的视频的图像和音频进行推理。

更值得注意的是，如果说 100 万 token 的上下文已经足够长了，就在今天，Google 进一步拓展它的能力，将上下文窗口扩展到 200 万个 token，并以私人预览版的形式提供给开发人员，这意味着其朝着无限上下文的最终目标迈出了下一步。

要访问具有 200 万 token 上下文窗口的 1.5 Pro，需要加入 Google AI Studio或适用于 Google Cloud 客户的 Vertex AI 中的候补名单。

更轻量级的新模型 Gemini 1.5 Flash

Gemini 1.5 Flash，这是一款专为扩展而打造的轻量级型号，也是 API 中速度最快的 Gemini 型号。它针对低延迟和成本最重要的任务进行了优化，服务成本效益更高，并具有突破性的长上下文窗口。

虽然它比 1.5 Pro 模型重量更轻，但能在海量信息中进行多模态推理。默认情况下，Flash 也是具有 100 万个 token 上下文窗口，这意味着你可以处理一小时的视频、11 小时的音频、超过 30,000 行代码的代码库或超过 700,000 个单词。

Gemini 1.5 Flash 擅长做摘要、聊天、图像和视频字幕、从长文档和表格中提取数据等。这是因为 1.5 Pro 通过一个名为“distillation”（蒸馏）的过程对其进行了训练，将较大模型中最重要的知识和技能转移到更小、更高效的模型中。

Gemini 1.5 Flash 的价格定为每 100 万个token 35 美分，这比 GPT-4o 的每 100 万个token 5 美元的价格要便宜一些。

Gemini 1.5 Pro 和 1.5 Flash 均已推出公共预览版，并在 Google AI Studio 和 Vertex AI 中提供。

Google 第一个视觉语言开放模型 PaliGemma 现已推出

PaliGemma 是一个功能强大的开放式 VLM（视觉语言模型），灵感来自 PaLI-3。PaliGemma 基于 SigLIP 视觉模型和 Gemma 语言模型等开放组件构建，旨在在各种视觉语言任务上实现一流的微调性能。这包括图像和短视频字幕、视觉问答、理解图像中的文本、对象检测和对象分割。

Google 表示，为了促进开放探索和研究，PaliGemma 可通过各种平台和资源获得，你可以在 GitHub、Hugging Face 模型、Kaggle、Vertex AI Model Garden 和 ai.nvidia.com（使用 TensoRT-LLM 加速）上找到 PaliGemma，并通过 JAX 和 Hugging Face Transformers  轻松集成。

Gemma 2 发布

全部发布 Gemma 2 将提供新尺寸，并采用专为突破性性能和效率而设计的全新架构。Gemma 2 具有 270 亿个参数，其性能可与 Llama 3 70B 相媲美，但尺寸却只有 Llama 3 70B 的一半。

据 Google 透露，Gemma 2 的高效设计使其所需的计算量少于同类模型的一半。27B 模型经过优化，可以在 NVIDIA 的 GPU 上运行，也可以在 Vertex AI 中的单个 TPU 主机上高效运行，从而使更广泛的用户更易于部署且更具成本效益。

Gemma 2 将于 6 月推出。

Veo：最新、最先进的视频生成模型

可以视为对标 OpenAI 的 Sora，Google 在今天推出了视频生成模型 Veo，它可以生成各种电影和视觉风格的高质量 1080p 分辨率视频，时间可以超过一分钟。

Veo 以 Google 多年的生成视频模型工作为基础，包括生成查询网络(GQN)、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet 和 Lumiere，结合架构、缩放法则和其他技术来提高质量和输出分辨率。

从今天开始，用户可以加入候补名单，申请使用 Veo。

Imagen 3：高质量的文本到图像模型

与 Google 之前的模型相比，最新发布的 Imagen 3 分散注意力的视觉伪影要少得多，它可以更好地理解自然语言、提示背后的意图，并融合较长提示中的小细节。

从今天开始，Imagen 3 可供选择的创作者在 ImageFX 中进行私人预览，并加入候补名单。Imagen 3 即将推出 Vertex AI。

未来畅想：通用 AI 代理 Project Astra

所谓 Agent，是指具有推理、计划和记忆能力的智能系统，它们能够提前“思考”多个步骤，并跨软件和系统工作。

在今天发布会上，Google DeepMind CEO、联合创始人 Demis Harbis 透露，Google 内部一直在致力于开发对日常生活有帮助的通用 AI Agent，Project Astra（高级视觉和说话响应代理）便是主要的尝试之一。

这个项目是在 Gemini 的基础上，Google 开发了原型代理，可以通过连续编码视频帧、将视频和语音输入组合到事件时间线中并缓存此信息以进行有效调用，从而更快地处理信息。

通过利用语音模型，Google 还增强了它们的发音，为代理提供了更广泛的语调。这些代理可以更好地理解他们所使用的上下文，并在对话中快速做出响应。

在发布会上演示的示例中，通过 Project Astra，可以自动识别出现实场景中发出声响的东西、甚至可以直接定位到发出声音的具体部件、也能解释电脑屏幕上出现代码的作用、还可以帮助人类找到眼镜等等。

”有了这样的技术，我们很容易想象未来人们可以通过手机或眼镜设备拥有专业的人工智能助手。其中一些功能将于今年晚些时候出现在 Google 产品中“，Google 表示。

03 Gemini Advanced 升级，可定制 Gemini

现如今，改进之后的 Gemini 1.5 Pro 引入了 Gemini Advanced 订阅中，面向全球所有开发者推出 Gemini 1.5 Pro 的改进版本，它可以跨 35 种语言使用。

如上文所述默认情况下，Gemini 1.5 Pro 拥有 100 万 token 上下文，这么长的上下文窗口意味着 Gemini Advanced 这可以理解多个大型文档，预计总共最多 1,500 页，或总结 100 封电子邮件，处理一小时的视频内容或超过 30,000 行的代码库。

借助 Google Drive 或直接从设备上传文件的功能，Google 透露，很快，Gemini Advanced 将充当数据分析师，从上传的数据文件（如电子表格）中发现见解并动态构建自定义可视化和图表。

为了获得更加个性化的体验，Gemini Advanced 订阅者很快就能创建 Gems——Gemini 的定制版本。你可以创建任何你想要创建的 Gem，如健身伙伴、副主厨、编码伙伴或创意写作指南。只需描述你希望 Gem 做什么以及你希望它如何响应，例如“你是我的跑步教练，给我一个每日跑步计划，并保持积极、乐观和激励。” Gemini 将接受这些说明，只需单击一下即可增强它们，以创建满足特定需求的 Gem。

04 用 AI 改写 Google 搜索

没有商业场景的落地应用，大模型技术的迭代似乎只是“纸上谈兵”。和 OpenAI 走的路线有所不同，Google、微软都在 AI 应用赛道上比拼速度。对于搜索起家的 Google 而言，其势必不会错过 AI 这波浪潮。

Google 副总裁、搜索主管 Liz Reid 表示，“借助生成式人工智能，搜索可以做的事情超出你的想象。因此，你可以提出任何你想到的事情或任何你需要完成的事情——从研究到计划再到集思广益——Google 将负责所有的跑腿工作。”

AI Overviews：「一次搜索，获得所有信息」

在发布会上，Google 发布了一个名为“AI 概述”（AI Overviews）的功能，做到「一次搜索，获得所有信息」。

简单来看，有时你想要快速得到答案，但没有时间将所需的所有信息拼凑在一起，如“你正在寻找一家新的瑜伽或普拉提工作室，并且想要一家受当地人欢迎、交通便利且还为新会员提供折扣的工作室”，你只需说清楚自己的需求进行一次搜索，AI Overviews 会给出解决复杂问题的答案。

拍摄视频，获得 AI 帮助

由于视频理解的进步，Google 也对视觉搜索功能进行了增强。可以通过 Google Lens 视频搜索，对你遇到的问题或周围看到的事物（包括运动的物体）进行拍摄，从而进行搜索得到解答，节省用文字描述不清楚造成的时间浪费和麻烦。

不过，以上两项功能目前仅对美国地区推出，后续会向更多国家推出。

除了在搜索层面，大模型的到来，也将进一步提升产品的智能性。

Ask Photos

在照片搜索应用层面上，Google 带来了一个“询问照片”（Ask Photos）功能。

可以借助 Gemini，识别照片不同背景信息，如询问：自己的女儿什么时候学会游泳的？游泳进展如何？照片将所有内容汇总在一起，帮助用户快速收集信息并解惑。

这一项功能目前还没有上线，Google 称今年夏季将推出。

Gemini 1.5 Pro 引入到 Google Workspace 

Google 还将大模型集成到 Google Workspace，譬如，在 Gmail 中搜索电子邮件，通过与学校最近往来的邮件，随时了解孩子学校发生的一切情况。我们可以要求 Gemini 总结一下学校最近发来的所有电子邮件。它在后台识别相关电子邮件，甚至分析 PDF 等附件。

新增 NotebookLM 中的音频输出

NotebookLM 是 Google 在去年 7 月推出的一款AI 笔记应用 ，可围绕用户上传文档完成摘要、创建想法。

基于多模态大模型技术，Google 在该应用上新增了音频输出功能。它使用 Gemini 1.5 Pro 获取用户的源材料并生成个性化的交互式音频对话。

05 深度集成 Gemini 的 Android

用 AI 对操作系统进行升级，是微软和 Google 正在大力推进的事情。作为全球第一大移动操作系统，Android 拥有数十亿用户。Google 对此表示，已将 Gemini 模型整合到 Android 中，并引入了很多实用的 AI 功能。

如通过“Circle to Search”（划圈搜索），可以使用户无需切换应用程序，使用画圈、涂鸦、点击等简单的交互方式获取更多信息，如今，Circle to Search 可以帮助学生完成作业，当学生圈出他们遇到的提示时，他们将获得解决一系列物理和数学问题的分步说明从而获得更深入的理解，而不仅仅是答案。

另外，Google 将很快在 Android 系统上更新 Gemini，方便用户在应用程序顶部调出 Gemini 的叠加层，以便以更多方式轻松使用 Gemini。

「Android 是第一个包含内置设备基础模型的移动操作系统」，借助 Gemini Nano，Android 用户可以快速体验 AI 功能。Google 透露，从今年晚些时候的 Pixel 开始，其将推出最新型号 Gemini Nano 与多模态。这意味着新版 Pixel 手机不仅能够处理文本输入，还能够理解更多上下文信息，例如视觉、声音和口语。

此外，Google 在 Android 中借助 Gemini Nano 在通话过程中检测到通常与诈骗相关的对话时，提供实时警报，例如，如果有声称”银行“的人要求你紧急转账、使用礼品卡付款或要求提供卡 PIN 码或密码等个人信息（这些都是不常见的银行要求），你就会收到提醒，不过这项功能还在测试中。

06 第六代 TPU Trillium

Sundar Pichai 表示，训练最先进的模型需要大量的计算能力。过去六年中，行业对 ML 计算的需求增长了 100 万倍。并且每年都会增加十倍。

为了适应 ML 计算的增长需求，其推出了第六代 TPU—— Trillium，与上一代 TPU v5e 相比，每个 Trillium 芯片的计算性能提高了 4.7 倍。为了达到这种性能水平，Google 扩大了矩阵乘法单元 (MXU)的大小并提高了时钟速度。

此外，Trillium 还配备了第三代 SparseCore，这是一种专用加速器，用于处理高级排名和推荐工作负载中常见的超大嵌入。Trillium TPU 可以更快地训练下一波基础模型，并以更少的延迟和更低的成本为这些模型提供服务。

Trillium TPU 的能效比 TPU v5e 高出 67% 以上。

据悉，Google 将于 2024 年底向其云客户提供 Trillium。

07 安全措施

除了以上模型与产品更新外，Google 在安全方面也有了最新动作，旨在放在 AI 滥用等情况。

一方面，Google 推出了一个基于 Gemini 的新模型系列，并针对学习进行了微调，发布了 LearnLM。其将研究支持的学习科学和学术原则集成到 Google 的产品中，帮助管理认知负荷并适应学习者的目标、需求和动机。

另一方面，为了让知识更容易获取和消化，Google 构建了一种新的实验工具 Illuminate，它利用 Gemini 1.5 Pro 的长上下文功能将复杂的研究论文转换为简短的音频对话。Illuminate 可以在几分钟内生成由两个人工智能生成的声音组成的对话，提供对研究论文中关键见解的概述和简短讨论。

最后，Google 采用了 “人工智能辅助红队”的技术来主动测试自己的系统是否存在弱点并试图打破它们，并通过将水印工具 SynthID 扩展为两种新模式：文本和视频，使 AI 生成的内容更易于识别。

08 你如何看待 Google I/O 这场发布会？

以上便是 Google I/O 2024 Keynote 的主要内容，产品非常丰富，不过多数都需要等待。

随着这一场发布会的结束，不少专家也发表了一些看法。来自 NVIDIA 高级研究经理 Jim Fan 表示：

Google I/O。一些想法：该模型似乎是多模式输入，但不是多模式输出。Imagen-3 和 music gen 模型仍作为独立组件与双子座分离。将所有模态输入/输出原生合并是不可避免的未来趋势： 

• 使“使用更像机器人的声音”、“说话速度提高 2 倍”、“迭代编辑此图像”和“生成一致的连环画”等任务成为可能。

• 不会丢失跨模态边界的信息，如情感和背景声音。

• 提供新的语境功能。你可以通过少量的示例，教模型以新颖的方式将不同的感官结合起来。

• GPT-4o 做得并不完美，但它的形式因素是正确的。用 Andrej 的 LLM-as-OS 比喻：我们需要模型原生支持尽可能多的文件扩展名。

• 谷歌正在做的一件事是正确的：他们终于在认真努力地将人工智能整合到搜索框中。我感觉到了 Agent 流：规划、实时浏览和多模态输入，所有这些都来自登录页面。谷歌最强大的护城河是分销。Gemini 不一定要成为最好的模型，也可以成为世界上最常用的模型。

AI 著名学者吴恩达表示，“祝贺我所有的 Google 朋友在 I/O 上发布了很酷的公告！我个人期待 Gemini 拥有 200 万个 token 输入上下文窗口以及对设备上 AI 的更好支持——应该会为应用程序构建者带来新的机会！”