# FIVEOS AI智能编程测试说明

# FIVEOS AI智能编程测试说明## 一、背景当前AI辅助编程工具在代码生成方面展现了相当的能力。与此同时一个值得关注的问题是AI模型所使用的训练数据主要来自公开的代码库。这些代码本身可能携带着编写过程中产生的各种潜在问题。当AI学习这些代码时这些问题可能被一同吸收进而在AI生成的代码中有所体现。FIVEOS AI智能编程测试环境是为观察和检验上述问题而搭建的。它尝试通过一套预先定义的规则对软件构造过程进行约束和引导并在此基础上观察AI在规则框架内的行为表现。本测试环境在搭建过程中参考了业界在自动化编程和软件验证方面的一些已有探索。## 二、基础规则本测试环境所使用的规则建立在一套被称为“数理网格法”的计算与统计方法之上。该方法认为软件系统可以被看作一组功能单元在逻辑空间中的有序组合构成一个逻辑网格。这套规则主要关注两个方面一是处理过程的完整性即一个完整的处理过程应当包含从输入接收、校验、处理、验证到输出的完整信息链条二是单元组合的规模约束即在逻辑网格的任意一个层级中直接相互关联的单元数量存在一个可被计算的合理范围。基于上述认识本测试环境建立了一套包含结构定义、功能分解、组装规则、校验标准和排错流程的规则体系。这套体系为软件的构造提供了一个可被观察和检验的操作框架。## 三、五个测试阶段本测试环境将软件构造过程划分为五个阶段AI在每个阶段中的行为均受到规则体系的约束。**第一阶段目标设定**使用者以结构化的方式描述软件的功能需求。AI将这些描述解析为一个可被后续流程使用的功能网格。这个网格作为后续各阶段的参照基准。**第二阶段结构分解**依据预设的层级规则功能网格被分解为更小的组成单元。分解过程遵循固定的规则包括每层单元数量的限制和模块边界的界定方式。AI在此过程中利用已有的知识库辅助判断但其分解行为受到规则的严格约束。**第三阶段规则约束下的生成**从分解后的基础单元出发AI从一套预先整理过的语料库中选取功能组件。这套语料库中的组件均已经过统一规则的整理和验证。AI按照预定义的模板将这些组件逐层装配为更大的功能模块最终形成完整的软件系统。**第四阶段同步比对**每完成一层装配系统自动生成测试用例运行已完成装配的部分并将其输出与第一阶段设定的功能网格进行比对。比对不一致时AI自动回溯到该层进行调整。这种“边装配边校验”的方式使得偏差能够在产生的第一时间被发现和修正。**第五阶段结构化排查**对于已存在的软件或测试过程中发现的问题AI执行一套分层、分序的排查流程。问题被分为骨架层面、逻辑层面、语法文字层面、数值层面和边界层面五个类别。排查按照固定的优先顺序进行每类问题处理完毕后再进入下一类。## 四、AI在测试环境中的角色在本测试环境中AI被置于一个受约束的位置。它不在开放空间中进行自由创作而是在预设的规则框架内执行任务。具体而言AI不从零创造代码结构而是从已有模板中选取并装配AI不自行判断代码的对错而是执行预定义的比对规则进行检验AI不依靠经验猜测问题的位置而是按照固定的顺序逐层排查。这种设置的目的是观察在规则明确、边界清晰的环境中AI的软件构造行为是否具有可复现性以及最终生成的软件是否具有一致的逻辑结构。## 五、测试说明本测试环境目前以FIVEOS为测试载体涵盖了从底层内核模块到上层应用组件的多个层面。测试代码和规则体系以开源方式提供供有兴趣的研究者和开发者自行搭建、运行和检验。测试结果不对被测试方法做出“成功”或“失败”的总体定性而是以可观测的数据和可复现的流程呈现。每位使用者可以根据自己的测试结果和判断标准得出独立的结论。经过多次测试AI对训练中形成的逻辑仍然占据主导很难保持一致性经常产生漂移。同时反过来没有AI的推理能力和综合编程知识体系这一方法几乎无用。所以真正能达到高水平的编程还得依赖AI能务的大幅提升。