克雷西发自凹非寺
量子位公众号 QbitAI
ChatGPT 客户端，支持“读屏编程”了。
即日起，Mac 端的 Plus 用户，可以直接让 ChatGPT 客户端读取开发工具中的代码。
目前，包括常用的Xcode 和 VS Code在内，该功能一共支持五款编程工具。
网友 Mckay Wrigley 表示，这像是在做梦一样，已经迫不及待想看到未来的发展了。
还有网友说，OpenAI 宣传的案例太简单了，实际上这个功能比演示得更加强大。
Mac 版更新的同时，Windows 用户翘首以待的桌面客户端也终于全量上线。
Mac 端 plus 用户可“读屏编程”
从今天开始，ChatGPT 的 Mac 客户端可以“读屏编程”了。
在 OpenAI 的官方宣传视频中，演示者要求给一个实例 APP 添加一个选项卡。
可以看到 ChatGPT 自动将现有代码导入会话，并根据要求生成了新的完整代码。
实际上，这是 OpenAI 在 Mac 版 ChatGPT 客户端中上线的“Work with Apps”功能，最先覆盖到编程工具的结果。
具体来说，目前该功能支持 Xcode、VS Code 和 TextEdit 三款 IDE 或编辑器（其中 VS Code 需安装插件），以及 Terminal 和 iTerm 这两款终端型工具。
开始使用之前，需要到系统设置中为 ChatGPT 客户端开启“辅助功能”权限。
在三款编辑器中，ChatGPT 会处理最前面的窗口中包含的完整代码，直到超出窗口长度限制。
如果在编辑器中选择了部分内容，ChatGPT 会在处理完整窗口的同时，重点关注被选中的部分。
而对于两款终端类工具，ChatGPT 会处理窗口中的最后 200 行。
目前该功能已经开放给了 Plus 和 Team 订阅用户，“接下来几周”会覆盖 Enterprise 和 Edu 用户。
从“Work with Apps”这个名字可以看出，该功能可能不只面向编程工具，未来可能支持更多应用。
鉴于有爆料称 OpenAI 计划明年上线其智能体，“Work with Apps”不排除是 OpenAI 在这个方向上的初步尝试。
不过目前来看，“Work with Apps”功能是通过调用苹果的“辅助功能”接口实现，而不是通过视觉方式来读取屏幕内容。
而且根据现有代码生成的新内容也不能直接导入编程工具，需要手动复制粘贴。
所以，这波 ChatGPT 的用户体验，还是受到了一些吐槽。
相比之下，OpenAI 的竞争对手 Anthropic 和谷歌，都已经有了基于视觉的屏幕操作功能。
希望到 OpenAI 的 Agent 真正上线那一天，用户体验也能有所提升。
Windows 客户端全量上线
除了 Mac 版功能更新，这次 OpenAI 也给 Windows 用户带来了好消息——
Windows 客户端已经全量上线，免费用户也能使用了。
全量上线的客户端已经支持高级语音模式，最新推出的搜索功能也安排上了。
类似于 Mac 里的 option+ 空格，在 Windows 系统中，可以在任何界面通过Alt+ 空格组合键来调用 ChatGPT。
在唤起的弹窗中，可以输入文本、上传屏幕截图、摄像头拍照或上传本地文件。
微软应用商店界面显示，Windows 客户端于 9 月 7 日上架，而按照 OpenAI 官网的信息，测试版在 10 月开放给了 Plus、Team、Enterprise 和 Edu 这些付费用户。
但总之从即日起，无论是不是付费用户都可以体验 Windows 客户端了。
另外在 OpenAI 官推公告的评论区，有很多网友询问支不支持 Windows 10：
关于这个问题，微软应用商店显示是支持的，不过子版本号需要 17763.0（又叫 2018 年 10 月更新或版本 1809）以上。
参考链接：
[1]https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps/
[2]https://help.openai.com/en/articles/10119604-work-with-apps-on-macos
[3]https://help.openai.com/en/articles/10003026-windows-app-release-notes
