✏️ AI 术语图鉴

Computer Use · AI 操控电脑

英文:computer use(直译「用电脑」,指 AI 替你操作软件)

Agent 与 MCP难度:进阶 ★★

🗣️一句话大白话

让 AI 像你一样「操作电脑」:一种是通过接口精确指挥——软件出了 MCP 接口,AI 直接调用,一改一个准;另一种是 AI 看着屏幕、移动鼠标点按钮,像远程雇了个实习生坐在你电脑前。一句话:从「只会说」到「会动手」。

Computer Use:AI 替你操作电脑的两种方式一条走接口、一条靠眼睛——选错方式,AI 不是点错就是干不了接口路线 · API / MCP你说需求AI 调接口软件执行· 精确:改哪个就是哪个· 可批量:一次改一百个材质· 前提:软件得有接口例:Blender MCP · 改材质、建物体、截图回传视觉路线 · 看屏幕点鼠标AI 看屏幕移动鼠标点击操作· 像人:什么软件都能试· 通用:不需要软件开接口· 会看错:可能点错按钮例:打开软件 → 找面板 → 点几下✅ 正确姿势:优先走接口,没有接口才用视觉;每完成一步截图确认;删除、覆盖、花钱的操作,先停下来问人。
「Computer Use」示意图

🎬真实场景

你对 AI 说「帮我把这个 Blender 场景里的球都改成红色金属材质」:走接口路线,AI 直接调 Blender 的 MCP 接口改材质,改完截图给你看;走视觉路线,AI 自己打开 Blender、找到材质面板、点几下鼠标改完。前者精确、可批量,后者更像人、但容易点错。

📮你可以这样说

「「优先用软件接口操作,不要用模拟点击;每完成一步截图给我确认;涉及删除、覆盖和花钱的操作先停下来问我」——给 AI 指定操控方式,是安全和高效的关键。」

通过 AI绘图 工作台生成(模型 API 额度由此消耗);未配置模型密钥时会提示失败原因。

⚠️边界与常见误解

  • ▸接口路线(MCP/API)精确,但要求软件开放接口;没有接口的软件只能走视觉点击
  • ▸视觉路线会看错屏幕、点错按钮,重要操作必须留人工确认
  • ▸AI 能操作电脑 ≠ 它懂你的意图:每步确认、最小授权、及时止损
  • ▸Blender、达芬奇、Ableton、Figma、飞书等已出官方或社区 MCP 接口,生态正快速铺开

🕸️知识关系图

这个词条与相关术语、AI绘图 知识的连接关系

相关术语相关术语相关术语相关术语
MCP
Model Context Protocol
Agent
agent
Function Calling
function calling
沙盒
sandbox
Computer Use
computer use

🔗相关术语