开发者作品 · 屏幕上的下一步

BigArrow:把 AI 的‘请点这里’放到按钮旁

打印窗口里的 PDF 按钮、Keynote 的动画面板,都能被大箭头和一句话标出来。这个 Mac 小工具把 AI 交给人的一步放回实际界面:谁找位置、谁画指示、谁完成动作,需要分开看。

Franz Enzenhofer 于 10 月 9 日在 Hacker News 分享项目。以下看作者的真实 Mac 界面演示与公开测试记录;本站没有安装或运行该工具。

本文目录目录4

EN

先让人看见:下一步在这里

TextEdit 的打印窗口里,粉红箭头落在 PDF 按钮上,提示接着选择保存;旁边的黑色箭头指出容易误点的取消按钮。Keynote 的另一张图用圈、框和箭头标出动画面板、添加效果和播放。这些提示直接叠在实际软件上,读者不用先把聊天里的位置说明换算成屏幕上的按钮。

BigArrow 是负责画这些标记的 Mac 命令行工具。它本身没有 AI,也不点击、输入或截取屏幕;开发者把它接到 Claude Code、Codex 等智能体的工作中,让等待人操作的一步有一个可见的位置。

TextEdit 的购物清单打印窗口:粉红箭头指向左下的 PDF 按钮,黑色箭头标出取消按钮。
作者在实际 TextEdit 打印窗口中搭建的演示,原图未改绘。对妈妈的称呼是演示文案,画面没有证明有人已经保存了 PDF。 · 打开大图
Keynote 花园俱乐部演示文稿中,紫色圈标出 Animate,橙色框标出添加效果,青色箭头指向播放按钮。
作者脚本先打开 Keynote 的动画面板,再同时叠加三条提示。它展示了指示的画法与位置,没有记录人逐步完成动画制作。 · 打开大图
来源与延伸阅读

EN

智能体找目标,人完成动作

智能体先决定要提示什么、写哪句话。它可以提供控件名称,让 BigArrow 借助 macOS 的辅助功能信息定位,也可以提供已有的坐标。作者的 Skill 要求先打开准确的页面或设置面板,再指出留给人的那个控件;授权、签署或付款等动作,由人了解后果并决定。

10 月 8 日的一次公开测试中,Claude Code 子代理按名称找到 Chrome 的刷新按钮,还发现浏览器被终端挡住,为正式指令补上将窗口带到前面的选项。但这次测试明确只做 dry-run:确认目标和指令,没有实际画箭头或让人点击。记录还暴露了 dry-run 仍会提前抬起窗口的问题,作者随后修复。

来源与延伸阅读

EN

真实应用,仍是搭建的演示

本文两张图来自作者的 real 场景:测试 Mac 上打开实际应用,准备中性的购物清单与演示文稿,再运行画箭头的指令。README 中另有用假对话框制作的创意图库,两者不能混作真实使用记录;这里也没有妈妈学会保存文件或智能体独立完成 Keynote 制作的结果。

想接入自己的 Mac,可以从项目的 Homebrew 入口与配套 Skill 开始了解。源码声明支持 macOS 14 起,并采用 MIT 许可。单纯按坐标画箭头不需要系统权限;按控件名称查找位置需要辅助功能权限,某些按窗口标题定位的方式还需要屏幕录制权限。这些权限授给启动命令的终端或应用。

来源与延伸阅读

EN

箭头之后,还要接回真正的结果

这个作品让人想到一种具体的协作:AI 把入口准备好,你在熟悉的软件里完成需要自己决定的一步,再由它检查文件是否出现、页面是否改变或任务是否继续。作者的 Skill 也要求在动作之后核查结果;关闭提示只说明提示被关闭,保存完成才说明文件任务走到了下一步。

这可接着本站个人 AI 伙伴专题里的实际任务看:购物、项目接续和外联各自完成了什么,卡在哪里。BigArrow 补的是人机交接的呈现方式;它提供的箭头,还要和后面的操作与产物连在一起,才成为一次完成的工作。

来源与延伸阅读