开源桌面自动化框架选型指南 — 15 款工具横向对比

前言

做桌面自动化时，最头疼的问题不是”能不能实现”，而是”该选哪个框架”。

市面上的开源方案五花八门：有的只管找图点击，有的走 UI 控件树，有的靠 AI 视觉理解界面，还有的只针对浏览器。不同场景下，选错框架意味着多走很多弯路。

这篇文章基于 2026-06-05 的 GitHub 实时数据，把 15 款主流开源桌面自动化框架按技术路线分类梳理，每款给出核心能力、优势和不足，最后按场景给出选型建议。

A. 图像匹配型（基于 OpenCV 找图点击）

这类框架的核心流程是：截图 → 在截图中用模板匹配找目标图 → 获取坐标 → 模拟点击。适合无法获取控件句柄的场景（游戏、自绘界面、远程桌面）。

1️⃣ PyAutoGUI ⭐12,544

Python 生态中最流行的桌面自动化库，门槛极低，五行代码就能跑起来。

import pyautogui
pos = pyautogui.locateOnScreen('button.png')
pyautogui.click(pos)

2️⃣ SikuliX ⭐3,197

始于 MIT 实验室的老牌项目，脚本 + IDE 一体化。

B. 控件树型（通过 UI Automation 定位元素）

不靠截图找图，而是直接通过操作系统提供的 Accessibility 树（UI Automation / MSAA）定位原生控件——找到按钮文本 → 直接点击，比图像匹配快且准。

3️⃣ Pywinauto ⭐6,055

Windows GUI 自动化的事实标准。

4️⃣ Python-UIAutomation-for-Windows ⭐3,501

专注通过 Microsoft UI Automation API 获取控件信息。

C. 综合全能型（截图 + 找图 + OCR 全内置）

5️⃣ Airtest ⭐≈8,500

网易出品的自动化测试框架，国内最流行。

6️⃣ TagUI ⭐≈6,000

全功能 RPA 框架，支持 Web + 桌面混合自动化。

7️⃣ OpenRPA ⭐≈1,800

完整的企业级 RPA 框架。

D. AI 视觉型（用大模型理解界面）

2024-2025 年兴起的新路线。不依赖固定模板图片，而是用多模态 AI 模型理解屏幕内容并决定操作——对界面变化极鲁棒，但速度慢、有 API 成本。

8️⃣ Skyvern-AI ⭐21,829

AI 驱动自动化框架的明星项目。

9️⃣ Self-Operating-Computer ⭐10,248

完全由 AI 驱动的桌面操作框架。

E. Web 浏览器专用型

如果目标应用是 Web 页面或 Electron 套壳应用，不要用桌面自动化框架，浏览器自动化才是正确路线。

🔟 Playwright ⭐≈70,000+

Web 自动化王者。

1️⃣1️⃣ Puppeteer ⭐≈90,000+

Playwright 的前辈。

F. Windows 轻量辅助型

1️⃣2️⃣ AutoHotkey v2 ⭐≈4,500

Windows 自动化的瑞士军刀。

1️⃣3️⃣ WinAppDriver ⭐≈3,700

Microsoft 官方维护的 Windows 自动化驱动（已停止更新）。

一句话选型指南

技术栈速查

几点补充

1. 纯图像匹配有天花板：OpenCV 的 matchTemplate 对缩放/旋转/颜色变化敏感。高精度场景推荐 Airtest 的 SIFT/ORB 特征匹配或 AI 视觉方案。
2. OCR 怎么选：中文场景选 PaddleOCR，多语言均衡选 EasyOCR，通用成熟选 Tesseract。
3. DPI 缩放坑：Windows 高 DPI（150%/200%）会导致截图坐标偏移。Pywinauto 走 UI Automation 不受影响，PyAutoGUI 需要手动校准。
4. macOS 权限：截图和辅助功能需要系统授权；Linux 需 X11 或 Wayland 兼容层。

以上数据均基于 2026-06-05 GitHub 实时搜索结果，后续各项目的 star 数和版本可能会更新。