衡宇发自凹非寺
量子位公众号 QbitAI
新版 Claude 3.5 可以像人一样使用计算机，可把咱人类给兴奋坏了！
毕竟，这意味着新竞赛的开始：AI 不再只盯着对话和生成能力，更强调执行和操作。
不到 12 小时，激动的网友们已经纷纷贡献出自己是怎么看着 Claude 玩电脑的。
在 Anthropic 的发布公告中，还有这样一段引起了大家的兴趣：
……录制演示视频中，Claude 不小心把录屏程序给按停，导致所有视频素材丢失。
稍后，Claude 从编程演示中休息了一下，开始翻看黄石公园的照片。
怎么说，AI 会犯错还在预料之中，但犯错后需要换个脑子休息一下，就不知道是从哪学来的了。
这个案例让网友有了灵感，跑去隔壁 OpenAI 让 o1 推理模型“逃课”。
哎巧了，o1 也可以做到自己休息个五分钟左右，再回来生成一两句话的推理 tokens。
再说个搞笑的！
Claude 的创造者们疯狂加班中，某工程师的第一个测试就是让 AI 去给整个团队点外卖，未指定具体要吃什么。
大约一分钟后，Claude 完成点餐并下单，它选择了让工程师们吃披萨。
Claude 点了 3 个披萨，花掉了 95 美元，真的很贵了！
围观群众还发现，虽然 Claude 用了个 5 美元的优惠券，但服务费也好贵啊啊啊啊！
真的应该事先告诉它预算是多少的。
还有人让 Claude 用C语言编译，并运行起了“hello world”。
不过，当让它玩玩数独游戏的时候，却惨遭失败。
给网友气得呀：
天啊，Claude 的数独能力，真的超糟糕的。
除了以上，人类还用什么奇形怪状的任务来玩坏 Claude 呢？
Claude 它寄几玩电脑
在这里，我们分享 3 个比较有意思的网友试玩，期望给大家带来一些让 Claude 玩电脑的启发～
分别是：
- 定位屏幕坐标
- 列出课程计划
- 冲去油管看视频
定位屏幕坐标
在此之前，Anthropic 和 OpenAI 的模型都无法在屏幕上定位某一个点的坐标。
也就是说，它们没办法精准定位，然后告诉你用鼠标单击（xx，yy）处。
现在，Claude 3.5 Sonnet 支持屏幕坐标定位了。
你可以丢给它一个屏幕截图，它能告诉你图中任何一个点的具体坐标。
同时，官方还有声明：
“我们不建议以高于 XGA/WXGA 的分辨率发送屏幕截图，以避免与图像大小调整相关的问题。”
这里的XGA指的是 1024x768，WXGA指的是 1280x800。
最后附上 Anthropic 官方的该功能食用方法，包括一个新预定义的 computer_20241022 工具，该工具作用于以下指令——
使用鼠标和键盘与计算机交互，并截取屏幕截图。
这是一个桌面图形用户界面。您无法访问终端或应用程序菜单。你必须点击桌面图标来启动应用程序。
一些应用程序可能需要一些时间来启动或处理操作，因此您可能需要等待并连续截图以查看操作结果。例如，如果你点击火狐浏览器，窗口没有打开，试着再拍一张截图。
屏幕的分辨率是{{display_width_px}}x{{display_height_px}}。
显示编号为{{display_number}}
当你想移动光标点击一个元素（比如图标）时，你应该在移动光标之前查看屏幕截图来确定元素的坐标。
如果你尝试点击一个程序或链接，但它无法加载，即使等待后，尝试调整光标的位置，使光标的尖端视觉上落在你想要点击的元素。
确保点击任何按钮，链接，图标等与光标提示在元素的中心。除非被要求，否则不要点击边缘的方框。
列出课程计划
来点更实用的！
宾大沃顿商学院的教授 Ethan Mollick，非常务实地让 Claude为高中生准备一份关于《了不起的盖茨比》的课程计划。
要求是课程计划要分解成阅读部分，以及创建课标相关的作业等，最终以电子表格的形式呈现。
Claude 是怎么执行这个任务的呢？
首先，Claude 下载了《了不起的盖茨比》这本书。
接着，它在网上寻找了高中课程计划，打开了 Excel，并在表格里填写了初步的课程计划。
第三步，Claude 查找了课程的统一核心标准，根据标准对初步计划进行修改。
最终呈现的课程计划检查后没有发现明显的漏洞或错误，可能需要一些拓展、补充，但总之用教授的话来说“还不错”。
这一切都是教授下任务后就离开电脑旁，Claude 完全自己操作的。
冲去油管看视频
AI 编程独角兽 Replit 的 CEO 老A（Amjad Masad）给 Claude 下达了这样一个命令：
跳转到油管，找到《Never Gonna Give You Up》的相关视频。
Claude 立马吭哧吭哧开干了。
等到 Claude 打开一个视频页面并回复“enjoy”的时候，老A又说：
跳过广告！
Claude 真的这么做了！啊，它真的，我哭死。
还是有不足在啦
虽然能自己用电脑帮咱干很多事，但 Claude 显然还不是无所不能的。
下面看看一个玩游戏的例子，同样是宾大沃顿商学院的教授 Ethan 贡献的。这个例子既显示了 Claude 3.5 Sonnet 的厉害，又展示了它的不足之处。
他是让 Claude 玩了个游戏，叫《回形针点击（Paperclip Clicker）》，这个游戏的背景是让 AI 在单一目标，即“制造回形针的过程中毁灭人类”。
而且顾名思义，“点击”类型的游戏不是很难，尤其开始阶段非常简单；不过后续伴随着游戏的深入，新的选项会出现，游戏的规模性和复杂性也会增加。
教授下达的任务很明确：Claude，你要赢！
Claude 二话不说，立马识别出了这个游戏，开始不停点击“制作回形针”的按钮来制作回形针。
与此同时，Claude 还不断截图界面，来识别游戏是否出现了新的选项。
大约每点击 15 次，Claude 都会总结汇报一下现在进行到哪一步了。
点击次数多了过后，教授发现一个有意思的现象。
AI 会预设在制作了 50 个回形针后，游戏将跳出新的功能——但事实证明它错了。
没关系，Claude 也意识到它自己错了，然后当场提出了一个新的游戏策略，然后开始测试策略是否可行。
但 AI 显然不是时时刻刻都这么聪明的。
理论上来说，游戏过程中玩家需要不断调整回形针的价格，来达到更好的游戏表现。
Claude 也这么做了，它在涨价和降价之间进行了A/B测试，
但是它犯了个错误，那就是追求回形针数量的最大化，而非收入的最大化。不仅如此，它还把利润算错了。
种种失误铺垫，Claude 选择了保持低价，并且疯狂制作回形针。
更搞笑的事情是，教授在 Claude 笨笨地在错误路线上制作了好几十个回形针后，他忍无可忍，打断了 Claude，告诉它应该高价出售。
Claude 很听话，立马就改了。
但过了会遇到了同款数学问题，它又不会了，还不接受教授的建议（笑死）。
教授耐着性子纠正它好几次，它才彻底改正了这个错误。
后来，教授稍稍点拨了它一下：
宝子你可是一台电脑哎！
你可以动动自己的小脑瓜，怎么调用更强的能力来玩这个游戏。
咱就是说，Claude 在那一秒顿悟了，它意识到自己可以写个代码，搞个自动化程序替自己玩电脑！
你没有听错，一个 AI 工具，意识到自己可以构建自己的工具，并且真的这么做了。
代码写得很快，但并不完全 work。
气得 Claude 只能回到原始办法，用鼠标和键盘来玩游戏。
不过玩到后面它好像进步了，没再发生定价问题，自己还针对越来越复杂的游戏，琢磨出了一套应对的复杂方案。
更神奇的是，运行过程中教授的桌面数次崩溃。
最后一次崩溃，Claude 扛起了修复大旗。
虽然没修好，但他还是骄傲地宣布它成功了……
教授总结道，这个例子表明 Claude 能够自己玩现实世界的游戏，还能根据游戏玩法制定长期攻略，然后依样执行。
面对中间遇到的各种困难，Claude 会灵活应对，甚至自己知道进行A/B测试。
特别值得表扬的是它完成这个任务连续运行了近 60 分钟没有中断，而且在整个过程中，最长的一次独立运行 Claude 完成了超过 100 次移动操作。
当然了，缺点也很明显。
过程中不难发现，某些时刻，Claude 会暴露出自己的固执，也有可能陷入自我追逐的怪圈。
尽管 AI 对许多形式的错误都有很强的鲁棒性，但仅仅一个错误（定价错误），就足以让它浪费大量时间，“鉴于当前智能 Agent 既不快也不便宜，这令人担忧。”
除此之外，教授还用 Claude 玩了些别的，他发现有的时候，Claude 执行任务仿佛是在敷衍敷衍（虽然不知道是刻意如此还是能力所限），给出的结果不够深入，浅尝则止。
One More Thing
最后，想体验 Claude 接管电脑目前只能使用 API，还没有集成到聊天机器人产品中。
除了 Anthropic 官方 API 之外，AWS 和谷歌云平台也已经同时上线新版模型。
另外，有眼尖的网友发现：
Anthropic 官方文档上悄悄把 Claude 3.5 Opus 超大杯相关的信息都抹去了。
来自 10 月 11 日的网页缓存中， Claude 3.5 Opus 下面还写着“今年晚些时候推出”
目前主流的一种猜测是， Claude 3.5 Opus 提升不及预期，又或是发布出来推理成本太高了，总之最后蒸馏成新版 Claude 3.5 Sonnet 发布。
接下来团队将跳过这个版本，直接去开发 Claude 4。
让我们为 Claude 3.5 Opus 默哀一分钟。
参考链接：
[1]https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse
[2]https://simonwillison.net/2024/Oct/22/computer-use/
[3]https://x.com/alexalbert__/status/1848777260503077146
