Gemini Computer Use正式GA了：浏览器/手机/桌面都能控，和10-27上线的gemini-api命令行怎么配合，沙箱与安全确认别省

能「看屏幕再点鼠标」的模型能力，各家都在推。Google这边在预览跑了一段时间之后，于2026年10月30日把Gemini API里的Computer Use标成了一般可用（GA），写进官方Release notes：Interactions API和GenerateContent API两边都能用。

同周稍早，10月27日还上了一个容易和旧工具搞混的东西：命令行客户端gemini-api（开源beta）。它不是给人类交互聊天的Gemini CLI，而是给编码智能体、脚本、CI直接调Interactions API用的无状态二进制。两件事可以配着看，但解决的问题不一样。

先分清三样东西

名称	状态（官方）	干什么
Computer Use工具	2026-10-30 GA	模型根据截图产出UI动作（点击、输入、导航等），你在客户端执行
gemini-api CLI	2026-10-27 beta	壳里一条命令生成文本/图/音视频、分析文件、跑托管Agent
@google/gemini-cli等交互CLI	既有产品	人类在终端里对话式用Gemini；和gemini-api不是同一个二进制

官方文档写得很直白：gemini-api是无状态API客户端，可以塞进Cursor、Claude Code、Codex或任意带shell的智能体里跑；它不是交互式编码Agent本身。

Computer Use GA：能做什么、你要自己实现什么

工作方式接近函数调用循环：

1. 你的应用带上Computer Use工具配置、用户目标，以及当前屏幕截图，发给模型；
2. 模型返回带坐标的function_call（如click、type、navigate），Gemini 4 / 3.x还会带intent说明为什么点这里；
3. 你的客户端把0–1000归一化坐标换算成实际像素，用Playwright一类自动化真正执行；
4. 再截一张图，作为function_result送回去，直到任务结束或触发安全阻断。

GA不等于「Google替你控电脑」。截图采集、点击执行、沙箱隔离全是你的责任。官方推荐在虚拟机或Docker容器里跑，并给了Docker参考实现入口。

三种环境

• browser：网页自动化最常用，含navigate、go_back、scroll、各类点击与拖拽；
• mobile：偏Android，有open_app、list_apps、long_press等；
• desktop：桌面级光标与快捷键。

文档示例模型字符串用的是gemini-3.8-flash；支持列表还写了Gemini 4 Argon、3.5 Flash-Lite等。选模型前以Model versions表为准，预览名和稳定名不要混用。

最小Python示意（官方文档同款思路）：

from google import genai
client = genai.Client()
interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Search for Gemini API",
    tools=[{"type":"computer_use","environment":"browser"}]
)

真正能跑通，还得自己接上浏览器驱动和循环；上面这一行只是打开工具开关。

安全：GA之后更要当回事

官方把风险写在正文里：Computer Use可能出错，也可能碰到对抗性页面。建议对重要任务人工盯梢，关键决策、敏感数据、不可逆操作不要交给它闭环。

内置安全策略类别包括（可按文档做部分override，但客户端仍必须处理返回）：

• 金融交易、敏感数据修改、自主发邮件/消息；
• 注册新账号、文件系统级改动、Cookie/隐私同意、接受法律条款。

模型可能在动作里带回safety_decision：允许、需要确认（require_confirmation）、或直接阻断。需要确认时，你得弹给真人，对方同意后再在function_result里带上safety_acknowledgement。

另有一项可选的截图提示注入检测（enable_prompt_injection_detection，默认false）：打开后会扫描截图里是否藏了「忽略之前的指令」一类对抗内容。做公网页面巡检或电商比价时，建议打开。

gemini-api CLI：给Agent用的壳命令

安装（macOS / Linux官方脚本）：

curl -fsSL https://raw.githubusercontent.com/google-gemini/gemini-api-cli/main/scripts/install.sh | bash
export GEMINI_API_KEY="你的密钥"

常见用法：

• gemini-api image "..." --out ./hero.jpg 生图，只把路径打到stdout；
• gemini-api analyze -i ./report.pdf "总结三点" 读文件；
• gemini-api agent run "..." --agent deep-research-preview-04-2026 --background --stream=false 丢给托管研究Agent。

设计点对编码智能体很实用：--dry-run可离线预览请求并打码密钥；-o json / --jq拿结构化结果；默认不弹交互（除非--interactive）；媒体落盘而不是把base64灌进上下文。版本是随Interactions API演进的开源beta，官方提醒次版本可能破坏性变更，CI里要钉死发行标签。

密钥在Google AI Studio申请。本地可用gemini-api configure写入系统钥匙串；CI从密钥库注入，别写进仓库。

和「ChatGPT电脑操作」、旧预览比

我们之前写过GPT-6.1 Terra的电脑操作能力，产品形态是另一家的API与ChatGPT Work。Gemini这条线的特点是：动作空间按browser/mobile/desktop拆开、安全策略类别写得很细、执行器完全自建。谁好用取决于你现有的自动化栈，而不是发布会形容词。

Gemini自己的Computer Use从2026年6月起在3.5 Flash上有过公开预览，10月30日的GA是把工具状态提到生产可用声明；具体配额、计费仍以AI Studio与价目页为准，changelog条目本身没有贴价。

落地建议（可执行的几步）

1. 先在隔离Docker里用官方browser示例跑通「打开页面→搜索→结束」闭环，不要一上来对生产账号；
2. 默认打开提示注入检测，对require_confirmation做人工确认，不要自动ack；
3. 需要在Cursor / Claude Code里顺手调Gemini媒体或Deep Research时，装gemini-api并在AGENTS.md里写上官方推荐的用法片段；
4. CI钉版本：GEMINI_VERSION=<tag>重跑安装脚本，或改用GitHub Releases预编译包。

相关工具还可在AI编程与建站、终端编程智能体、AI开发与智能体分类里对照。

常见问题

GA了是不是所有Gemini App用户都能「远程桌面」？

不是。这是开发者API工具，要你自己写执行循环；和Gemini消费级App里的功能入口不是一回事。

gemini-api和Gemini CLI哪个给编程Agent？

官方表格：Agent/脚本/CI无依赖调API → gemini-api；把Gemini嵌进你自己的应用 → GenAI SDK；写SDK代码时查文档 → Docs MCP。交互式终端对话继续用原来的Gemini CLI。

必须用Playwright吗？

不是硬性绑定。文档示例用Playwright，你也可以换别的能截图、点坐标的自动化层，关键是坐标换算与安全确认流程要完整。

来源与核查日期

• Gemini API Release notes（2026-10-30 Computer Use GA；2026-10-27 gemini-api CLI beta）
• Computer use 官方文档
• Gemini API CLI 指南

核查日期：2026-11-01（新加坡时间）。计费与配额以Google AI Studio实时页面为准；本站未做生产级Computer Use实测。