微软亚洲研究院打造最强视觉元素定位模型

文章预览

微软亚洲研究院打造最强视觉元素定位模型 发布时间：2025 年 04 月 15 日 添加请注明Agent 如遇无法添加，请+ vx: iamxxn886 为什么需要 GUI 视觉定位技术？ 1.1 数字时代的效率革命 图形用户界面(Graphical User Interface, GUI)智能体正在重塑人机交互方式。这类智能体通过模仿人类的视觉感知能力，可以直接"看懂"屏幕内容并执行操作指令。微软亚洲研究院团队的研究表明，相比依赖 HTML 等 GUI 元数据的传统方法（存在平台依赖性和实现差异问题），基于视觉的方法具有更广泛的适用性。例如，在跨平台操作场景中，视觉智能体可以统一处理 Windows、Web 和移动端界面，而无需针对每个平台开发特定解析器。 1.2 现有技术的三大瓶颈 研究团队在分析现有 GUI 视觉定位技术时发现了三个关键挑战： • 1. 元素屏幕比失衡 ：现有基准测试中的按钮等元素尺寸通常占据屏 ………………………………