TOPIC COLLECTION
Claude Computer Use和Skills怎么用?开通步骤与常见坑
Computer Use是API客户端桌面工具集(computer_toolset_20260801,约17动作);Skills分Claude Code的SKILL.md与API container.skills。官方文档为准。
资料更新:2026-10-15
依据Anthropic Computer use工具页、Skills API指南与Claude Code Skills文档,核查2026-10-15。
主题标签:Claude Computer Use、Claude Skills怎么用、Computer Use教程、Agent Skills、Claude桌面操控
Claude Computer Use和Skills怎么用?两件事别捆死:Computer Use是Messages API里的客户端工具集,让模型在你控制的桌面环境里截图、点击、打字;Skills是可复用的「说明书+脚本」包——在Claude Code里是.claude/skills/,在API里是container.skills(常配合代码执行生成pptx/xlsx等)。下面按官方文档拆「能做什么、怎么开、常见坑」,不写未核实的营销句。
Computer Use能做什么
官方工具页当前主推类型是computer_toolset_20260801:一条tools声明提供约17个成员动作(如screenshot、left_click、type、key、scroll、zoom等)。模型返回的是tool_use块,你的程序在自有VM/容器里执行,再把tool_result送回——Anthropic不直接连你的显示器。文档明确:它目前不在Claude Managed Agents里;纯网页任务更适合单独的browser use工具。
| 你想做的 | 更合适 | 备注 |
|---|---|---|
| 操整个桌面GUI、装软件、跨App拖拽 | Computer Use | 要虚拟显示+Agent循环 |
| 只在网页里点选、读DOM | Browser use工具 | 不必整桌面 |
| 改仓库、跑测试 | Claude Code / bash+编辑工具 | 多数编程不必上Computer Use |
| 批量出PPT/Excel模板 | API Skills(pptx/xlsx等) | 走code execution容器 |
安全页要求你认真对待:专用低权限VM、别塞登录态与敏感数据、外网尽量白名单、涉及付款/同意条款要人确认。网页/截图里的指令可能构成prompt injection;官方称有分类器额外拦截,但仍建议隔离环境。
怎么开Computer Use(API侧步骤)
- 准备沙箱桌面(官方参考实现基于Docker+Xvfb一类虚拟显示;也可自研同等环境)。
- 在Messages请求的
tools里加入{"type":"computer_toolset_20260801"}(文档示例常同时挂text editor与bash工具)。当前工具集不需要旧版那种computer-use beta头。 - 写清任务提示;模型若需操作桌面,会返回带
toolset_name: "computer"的成员调用(可一批多个,须按顺序执行)。 - 对每个
tool_use回一条匹配tool_use_id的tool_result,并原样带上toolset_name: "computer"。screenshot/zoom结果要带图片;其他动作短文本确认即可。 - 循环直到模型不再要工具,或达到你设的最大轮数(防无限烧钱)。
批处理失败规则:中途某步失败后,后续未执行动作要用官方规定的错误文案回is_error: true,不能假装点过。截图过大要先缩放——工具集不会替你缩,超限直接校验失败;坐标按「你回给模型的截图像素」理解,Retina等还要自己换算。
计费:跟普通工具调用一样算token;声明整套computer工具集会带来约4500量级的额外输入token开销(文档给出约4520–4590,视模型而定),截图按图像输入计费。入口:Claude 开发者平台、Anthropic Console、对话侧Claude。
Skills两条线:Claude Code vs API
Claude Code Skills(code.claude.com/docs/en/skills):在~/.claude/skills/<名>/SKILL.md或项目.claude/skills/放说明书;用/技能名调用,也可让模型按description自动加载。适合把「发版检查」「总结diff」「按公司规范开PR」从CLAUDE.md里拆出来——Skills正文按需加载,不占每次会话的固定上下文。内置还有/doctor、/code-review、/verify等bundled skills。
API Agent Skills(platform.claude.com skills-guide):请求里用container.skills声明最多20个;Anthropic预置短名如pptx、xlsx、docx、pdf;自定义Skill通过Skills API上传(目录须含根级SKILL.md)。必须同时开code execution工具。生成的文件用Files API按file_id下载。
| Claude Code Skills | API Skills | |
|---|---|---|
| 载体 | 本地/仓库SKILL.md | Workspace内Skill ID |
| 典型用途 | 工程工作流、团队规范 | 文档生成、容器内脚本能力 |
| 触发 | /菜单或自动 |
每次请求container声明 |
| 与Computer Use关系 | 无直接等同 | 独立能力;可同请求挂其他工具 |
最小Claude Code示例:个人目录建summarize-changes/SKILL.md,frontmatter写description,正文用!`git diff HEAD`注入当前diff,然后问「我改了什么」或打/summarize-changes。
常见坑(权限、截图、失败重试)
- 权限过大:Computer Use等于远程桌面操作员。生产别挂真实网银、别挂含生产密钥的会话。Skill的
allowed-tools会在调用当轮放宽工具许可——仓库里别人提交的Skill要先审再跑。 - 截图坐标漂:缩放比例没对齐、Retina 2x没处理,点击会系统性偏移。分辨率建议文档区间(如一般桌面1024×768、1280×720),过高浪费token且更难点准。
- 只处理第一个tool_use:新工具集常一批多个动作;漏回任何一块会
invalid_request_error。 - 失败后硬重试同一坐标:应回错误让模型重规划,并加「每步后截图确认」类提示;UI动画未结束就点,会假成功。
- Skills不触发:检查description关键词、YAML是否在文件首行、名称是否含非法字符;用
/skills或「What skills are available?」核对是否进列表。 - 把Computer Use当编程主路径:改代码优先Claude Code;桌面自动化留给「没有API的遗留GUI」。
对照其他产品:ChatGPT侧也有电脑/Agent向能力,计费与沙箱规则不同;编辑器里Cursor、国产DeepSeek走的是另一套工具链。分类AI开发与智能体、AI编程与建站、智能体平台。
常见问题
Computer Use要在claude.ai网页开关吗?
文档描述的主路径是开发者自建环境+Messages API工具循环。网页/App里另有产品能力,以产品内说明为准,不要默认「订阅了就能远程控你的Mac」。
Skills和CLAUDE.md有啥区别?
CLAUDE.md适合短而常驻的项目事实;Skills适合较长流程,用时才加载。官方建议CLAUDE.md别无限变厚,流程迁到Skills。
自定义API Skill谁能看见?
文档写明自定义Skill对整个Workspace可见,凡能访问该Workspace的API密钥都能用——多租户要按租户分Workspace。
截图失败怎么回?
对该tool_use_id回is_error: true并说明原因(如显示器锁定);批内后续动作用规定的「未执行」文案。
和MCP是一回事吗?
不是。MCP给Claude Code接外部数据源;Computer Use是桌面键鼠视觉循环;API Skills挂在code execution容器。可以组合,但概念别混。
延伸:AI编程怎么选、Opus价格、本地智能体、OpenAI 开发者平台。
来源与核查日期
- Anthropic Docs:Computer use tool
- Claude Code Docs:Extend Claude with skills
- Anthropic Docs:Using Agent Skills with the API
- Claude Code Docs:Overview
核查日期:2026-10-15(新加坡时间)。工具版本号与参数以官方文档当日页为准。