智谱Agent解读

主要观点总结

本文主要介绍了智谱Agent在手机和电脑端的功能特点、技术实现以及未来发展方向。包括自动操作超过50步、跨App操作、记忆追踪任务进度和环境状态、网页助理WebAgent、GLM-PC推广到电脑端等功能。文章还讨论了语言动作模型LAM、多模态方向、决策的搜索技术MCTS等未来发展方向，并提出了如何高效扩展GUI Agent的基准测试和隐私与数据合规等问题。

关键观点总结

关键观点1: 智谱Agent的功能特点

智谱Agent支持自动操作超过50步，涉及多步、事件循环跨App操作。通过App Links实现应用之间的跳转，涉及更多的屏幕上下文信息。记忆追踪任务进度和环境状态，保持记忆的一致性，需要多代理。

关键观点2: WebAgent的技术实现

WebAgent学习了WebGLM-QA数据集的知识，通过强化学习理解操作和结果的关联，更新的数据集通过RFT生成多个答案，筛选并强化模型。模型可以输出满足用户需求的命令，通过浏览器的扩展有权限操作浏览器。

关键观点3: GLM-PC在桌面端的应用

GLM-PC将OCR和Label-Action关联下的数据集推广到电脑上。使用Windows API操作，宣传片中展示了在视频会议中的麦克风和摄像头控制。但集成多模态输入解决了稳定性问题，需要认知GUI模型如CogAgent的帮助。

关键观点4: 未来发展方向和挑战

未来发展方向包括语言动作模型LAM、多模态方向、决策的搜索技术MCTS等。面临的挑战包括如何高效扩展GUI Agent的基准测试、隐私与数据合规问题，需要本地和云端模型的共同协作，利用联邦学习、差分隐私等进行本地高效推理和脱敏信息。