Meta AI梦之队上新,梦想做能帮妈妈订机票的AI浏览器

  程浅发自凹非寺

  量子位 | 公众号 QbitAI

  Meta 的亿元俱乐部又添一中国面孔。

  最新消息,哈工大校友、WebArena 作者 Shuyan Zhou,宣布自己于今年年初离开学术界,加入了 Meta 的“AI 梦之队”超级智能实验室。

  这次来到 Meta,她明确说了最核心的工作:开发 AI 浏览器。

  还透露,这一研究兴趣源于自己申请博士时的初心——她希望有一天能送给妈妈一台可以由对话驱动,能自动购买机票的设备。

  Shuyan Zhou 是谁?

  Shuyan Zhou,哈工大 CS 校友,同时拥有港大 CS 学士学位。

  18 年本科毕业后,她进入了卡内基梅隆大学的语言技术研究所,接连攻读硕博,随后 2024 年博士毕业。

  尽管此时距 Shuyan Zhou 拿到博士学位才两年,但她谷歌学术的论文引用已高达 9569 次,h-index 25,可以说是相当突出的青年学者了……

  早在 2020 年,Shuyan Zhou 开始读博时,她的研究重心就收敛到了数年后的一个关键问题上:

  如何让 AI 进入真实的数字环境,替用户完成任务?

  也就是,用户只需要讲出来想做什么,智能体就可以判断接下来该打开哪个页面、点击哪里,填写哪些信息……以及,如何在出错后重新调整。

  这样一种研究动机,可能和她的妈妈有关。

  早些年间,她曾送给妈妈一台中文版 Alexa(亚马逊的语音助手)。

  这台设备可以执行简单命令,比如播放音乐、聊天气,就像小爱同学一样贴心。

  但如果要订机票,Alexa 就爱莫能助了,妈妈只能给 Shuyan Zhou 打电话,让她一步一步指导。

  从那时起,Shuyan Zhou 就在思考:如何能造一台仅靠聊天就自动完成任务的智能设备?帮助妈妈以及像她一样的人更好地生活?

  如其所说,2020 年,她在申博材料里阐述了这一初衷——四年后,她的博论《使用 AI 智能体解决现实世界任务》给出了阶段性答案。

  此研究方向也可以一窥这次的 Meta 就职,Shuyan Zhou 的工作重心所在。

  说起来,这也是 Shuyan Zhou 第二次来 Meta 了。

  2024 年,她就加入过 Meta 的 GenAI,当时在 Ruslan Salakhutdinov(也是杨植麟在卡内基梅隆的博导)领导的团队工作,研究 Llama 通用计算机操作智能体。

  去年,她离开 Meta,到杜克大学任教——直到今年初。

  Shuyan Zhou 要教会 AI 上网

  与研究方向一脉相承,Shuyan Zhou 的代表性产品是 WebArena。

  WebArena 是 Shuyan Zhou 博士阶段的项目产出,是一个用于构建自主代理的现实网页环境,提供真实交互与任务执行功能。

  早 WebArena 诞生之前,许多浏览器智能体都在简化网页或静态数据集上接受测试——这些环境便于开展实验,但难以反映真实网站中的连续操作、页面变化和用户权限等情况。

  这也是 WebArena 关注的核心问题,即如何在接近真实互联网的环境中,评估 AI 操作网页和完成任务的能力。

  为此,项目利用开源软件,重新搭建了电商、论坛、代码协作和内容管理等网站,形成一套可以独立部署和重复使用的交互环境。

  Shuyan Zhou 和团队还设计了 241 类任务模板,生成 812 项测试任务,用于检验 AI 能否根据自然语言指令,连续完成搜索、点击、输入、页面跳转和内容修改等操作。

  顺着这条路走下去,Shuyan Zhou 又参与了VisualWebArena。

  这个项目延续了 WebArena 的基本框架,但将评测重点从文字信息扩展到图片、图标和页面布局,加入了 910 项需要视觉理解的网页任务。

  这之后,Shuyan Zhou 还与香港大学 XLANG 团队等机构共同完成了OSWorld的研究,将评测范围从浏览器进一步扩展到整个计算机系统。

  OSWorld 包含 369 项计算机操作任务,涉及浏览器、文件系统、办公软件和多个应用之间的协同操作。

  OSWorld 使用真实计算机环境评测智能体跨应用操作能力

  该项目于 2024 年 4 月首次公开,随后入选 NeurIPS 2024 数据集与基准赛道。论文发表时的数据显示,人类在测试任务中的完成率为 72.36%,而表现最好的模型只有 12.24%。

  问题有很多:视觉定位、长程规划、动态环境、错误恢复、安全权限……这些可能都会是 Shuyan Zhou 之后搞 AI 浏览器时必须面临的挑战。

  小扎重金攒出的 AI 天团,开始交作业

  Shuyan Zhou 此次加入的 Meta 超级智能实验室(Superintelligence Labs),简称 MSL,成立于 2025 年 6 月。

  MSL 是 Meta 重组 AI 业务的 AI 整体组织,它将负责下一代基础模型的 TBD Lab、负责长期研究的 FAIR、负责产品落地的产品与应用研究团队、以及提供算力和工程支持的 MSL Infra 整合到了一个体系里。

  只为了实现“个人超级智能”。

  按照小扎的设想,超级智能不能替代人类,而是要真正理解用户需求,通过 Meta AI、WhatsApp、Instagram、智能眼镜等现实入口帮用户实现价值。

  为此,Meta 在去年就发起了一轮受到天价人才招募,向顶级研究人员提供顶级薪酬。

  更惹人注意的是,在 MSL 已公开的管理者和研究人员中,华裔占比接近一半。

  比如:

  MSL 的总负责人Alexandr Wang,华裔创业者,19 岁创办 Scale AI,后获 Meta143 亿美元投资。

  MSL 的首席科学家赵晟佳,本科毕业于清华,曾在 OpenAI 参与 ChatGPT、GPT-4 及推理模型的研发。

  MSL 的首席研究员宋飏,扩散模型的代表性研究者,曾负责 OpenAI 的战略探索团队,目前与赵晟佳共同参与实验室研究方向的设计。

  毕树超,浙江大学数学系,曾担任 Google 工程负责人,曾在 OpenAI 负责多模态后训练,目前在 MSL 研究强化学习、模型后训练和智能体。

  Dawn Son,本科就读清华,UC Berkeley 教授、AI 安全与计算机安全研究者,在 MSL 从事 AI 安全、可信智能体等方向的研究。

  从左至右:扎克伯格、赵晟佳和 Alexandr Wang

  可以说,华裔研究者以及中国高校培养的学生,已经进入全球前沿模型、智能体和 AI 安全研究最核心的岗位。

  另一方面,在完成组织调整和人才招募之后,MSL 也确实在推出实际成果。

  今年 4 月,Meta 发布 MSL 成立后的首个模型 Muse Spark,一款面向个人智能体场景设计的多模态推理模型。

  9 月,Meta 又推出由 Muse Spark 驱动的个人智能体Muse。

  一时间大热。

  用户可以向它交代目标,由它处理邮件、填写表格、购物或制定长期计划,未来将接入 AI 智能眼镜。

  Muse 发布视频截图

  如此来看,Muse 这条路和 Shuyan Zhou 的研究路线也有直接关联。

  那就期待后续 Shuyan Zhou 的 AI 浏览器真的能从论文里走出来,造福大家吧……