Windows Agent Arena任务开发指南：创建自定义桌面自动化任务的完整流程

Windows Agent Arena任务开发指南创建自定义桌面自动化任务的完整流程【免费下载链接】WindowsAgentArenaWindows Agent Arena (WAA) is a scalable OS platform for testing and benchmarking of multi-modal AI agents.项目地址: https://gitcode.com/gh_mirrors/wi/WindowsAgentArenaWindows Agent Arena (WAA) 是一个用于测试和基准化多模态AI代理的可扩展操作系统平台通过该平台你可以轻松创建和运行各种桌面自动化任务。本文将详细介绍如何在WAA中开发自定义桌面自动化任务从环境搭建到任务配置的完整流程帮助新手快速上手。了解Windows Agent Arena架构在开始任务开发前首先需要了解WAA的基本架构。WAA提供了本地和Azure云两种部署模式满足不同场景的需求。本地开发架构本地开发架构主要基于Docker容器和Windows虚拟机适合快速测试和调试任务。Windows Agent Arena本地架构图展示了本地主机、Docker容器、Windows VM和各组件之间的关系主要组件包括本地主机运行Ubuntu或带WSL的Windows系统Docker容器包含Windows VM和任务调度配置Windows VM运行自动化任务的Windows 11环境Agent执行任务的AI代理Evaluator评估任务执行结果Azure云架构对于需要大规模测试的场景WAA支持部署在Azure云平台上。Windows Agent Arena Azure架构图展示了Azure云环境中的组件布局云架构在本地架构基础上增加了Azure Machine Learning资源Azure存储账户可扩展的Linux计算实例准备开发环境安装必要工具克隆项目仓库git clone https://gitcode.com/gh_mirrors/wi/WindowsAgentArena安装Docker和Docker Compose根据你的操作系统选择相应的安装方法安装Python依赖pip install -r requirements.txt配置开发环境WAA提供了便捷的本地开发模式通过共享文件夹可以轻松在主机和虚拟机之间传输文件。WAA本地开发模式下的共享文件夹界面方便主机与虚拟机间的文件交换配置步骤运行本地准备脚本scripts/run-local.sh在Windows VM中设置共享文件夹路径通常为\\host\Data验证开发环境是否正常运行python src/win-arena-container/client/run.py --headless任务文件结构解析WAA的任务文件采用JSON格式存放在evaluation_examples_windows/examples目录下按应用程序类型分类。每个任务文件包含任务ID、指令、配置和评估规则等信息。任务文件基本结构以下是一个Chrome浏览器任务的示例evaluation_examples_windows/examples/chrome/030eeff7-b492-4218-b312-701ec99ee0cc-wos.json{ id: 030eeff7-b492-4218-b312-701ec99ee0cc-wos, snapshot: chrome, instruction: Can you enable the Do Not Track feature in Chrome to enhance my online privacy?, source: https://support.google.com/chrome/answer/2790761?hlencoGENIE.Platform%3DDesktop, config: [ { type: launch, parameters: { command: [ google-chrome, --remote-debugging-port1337, --force-renderer-accessibility ] } } ], evaluator: { func: exact_match, result: { type: enable_do_not_track }, expected: { type: rule, rules: { expected: true } } } }主要字段说明id任务的唯一标识符snapshot关联的应用程序快照instructionAI代理需要执行的任务指令config任务执行前的环境配置如启动应用程序evaluator任务结果的评估规则创建自定义任务的步骤1. 确定任务需求首先明确你的自动化任务需要完成什么操作例如在记事本中创建并保存文件使用计算器进行特定计算在浏览器中打开特定网页并截图2. 创建任务JSON文件在evaluation_examples_windows/examples目录下根据任务类型选择或创建合适的子目录然后创建任务JSON文件。基本模板{ id: your-task-id, snapshot: application-name, instruction: Your task instruction here, config: [ { type: launch, parameters: { command: [application-executable, arguments] } } ], evaluator: { func: evaluation-function, result: { type: result-type }, expected: { type: rule, rules: { expected: expected-result } } } }3. 配置任务执行环境在config部分定义任务所需的环境配置最常见的是启动应用程序config: [ { type: launch, parameters: { command: [notepad.exe] } } ]你还可以添加多个配置步骤如设置环境变量、复制文件等。4. 定义评估规则评估规则用于判断任务是否成功完成。WAA提供了多种评估函数如exact_match、contains等。例如检查文件是否创建evaluator: { func: file_exists, result: { type: file_check, path: C:\\Users\\Administrator\\Documents\\test.txt }, expected: { type: boolean, value: true } }5. 测试自定义任务使用以下命令运行你的自定义任务python src/win-arena-container/client/run.py \ --test_config_base_dir evaluation_examples_windows \ --test_all_meta_path evaluation_examples_windows/test_custom.json确保创建test_custom.json文件指定要运行的任务{ notepad: [your-task-id] }任务开发高级技巧使用屏幕解析功能WAA的屏幕解析功能可以帮助AI代理更好地理解桌面环境。通过配置som_origin参数可以启用不同的屏幕解析模式python src/win-arena-container/client/run.py --som_origin ossWAA屏幕解析功能示例展示了AI如何识别和解析屏幕内容调整任务难度WAA支持两种难度级别普通模式提供完整的上下文信息困难模式不提供上下文信息仅给出任务指令通过--diff_lvl参数切换python src/win-arena-container/client/run.py --diff_lvl hard任务调度与并行执行对于多个任务可以使用任务调度功能进行批量执行python src/win-arena-container/client/run.py \ --num_workers 4 \ --worker_id 0常见问题解决任务执行超时如果任务执行时间过长可以调整max_steps参数python src/win-arena-container/client/run.py --max_steps 30应用程序启动失败检查config中的启动命令是否正确确保应用程序路径正确。可以在Windows VM中手动测试命令是否能正常运行。评估结果不准确可能是评估规则定义不当尝试使用更精确的评估函数或调整评估参数。查看日志文件获取详细信息results/logs/debug-0-20231025143022.log总结通过本文的指南你已经了解了如何在Windows Agent Arena中创建自定义桌面自动化任务。从环境搭建到任务配置再到测试和调试完整的流程帮助你快速开发出高质量的自动化任务。无论是简单的记事本操作还是复杂的多步骤浏览器任务WAA都能提供强大的支持和灵活的扩展能力。开始你的WAA任务开发之旅吧如有更多疑问可以参考项目文档或查看示例任务文件获取灵感。【免费下载链接】WindowsAgentArenaWindows Agent Arena (WAA) is a scalable OS platform for testing and benchmarking of multi-modal AI agents.项目地址: https://gitcode.com/gh_mirrors/wi/WindowsAgentArena创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考