面向具身智能的记忆原生非地面网络

大家读完觉得有帮助记得关注和点赞摘要非地面网络NTN为具身智能EI提供泛在连接使野外机器人能够利用云资源或向远程中心报告关键信息。然而由于环境的高度动态性、资源受限性、拓扑变化性和任务导向性二者的协同并非易事。现有的无记忆NTN协议变得低效因为决策由局部信道条件和瞬时服务需求驱动。为解决这些局限性本文提出了记忆原生NTNMemNTN范式利用长时程上下文进行记忆增强的系统优化。为实现这一范式转变我们建立了一种双记忆架构区分代表世界状态的物理记忆和编码历史网络经验的数字记忆。我们开发了记忆获取、压缩、估值、更新和利用机制促进跨层、记忆原生的决策制定涵盖从物理层和接入层到网络层和应用层。卫星具身问答SEQA实验表明所提出的MemNTN显著优于传统的无状态NTN和地面方法。关键词 非地面网络具身智能记忆原生卫星问答。I 引言图1NTN支持匹兹堡的具身感知和伊斯坦布尔的远程问答。地理数据来源OpenStreetMap、LEOPath和Mega-NeRF/Mill-19。具身智能EI已成为提升应急响应安全性和效率的关键角色从基础数据收集演进到复杂的搜索和救援任务[2, 3]。实现这些EI能力高度依赖于底层通信基础设施的弹性而这一基础设施在荒野和灾害易发场景中仍然脆弱。例如远程指挥中心需要关于实时态势感知的及时更新[7, 8]。然而由基站受损或严重阻塞引起的通信中断可能延迟关键任务决策。这种中断不仅降低遥感和远程操作性能[14]还阻碍云端和边缘计算的部署[13]限制了EI操作的整体及时性和可靠性。为应对这些挑战采用卫星和高空平台的非地面网络NTN 成为一种有前景的解决方案[5, 4, 15, 1, 11, 10, 12]。与地面网络相比NTN提供灵活的通信链路能够按需覆盖偏远地区。这种能力确保了机器人操作的持久连接不受地面基础设施限制。如图1所示NTN与EI的协同促进了远距离语义查询伊斯坦布尔的用户可以检索在匹兹堡运行的机器人团队的时空观测数据。然而NTN-EI面临着跨越物理层如信道估计、媒体接入控制MAC层如接入协议、网络层如移动性管理和应用层如任务感知的独特挑战形成了一个高度动态、资源受限、拓扑变化和任务导向的环境。现有的NTN研究[5, 4, 15, 1, 11, 10, 12]基于局部信道条件和瞬时服务需求设计路由、调度和资源分配这些操作缺乏历史网络经验和任务级上下文。这使得它们在复杂的卫星具身任务环境中效果不佳。为填补这一空白本文提出了记忆原生NTNMemNTN使所有网络节点能够作为智能体从历史经验中学习并做出明智决策。所提出的MemNTN架构引入了一个二元记忆框架包含物理记忆和数字记忆。具体而言物理记忆捕捉环境几何和语义信息即世界的外观。数字记忆记录网络经验包括信道状态信息CSI、频谱模式和调度记录即网络所经历过的。物理记忆和数字记忆通过记忆生命周期相互连接该生命周期包括记忆获取、压缩、估值、更新和利用机制。核心是记忆估值系统它将记忆的新鲜度、覆盖范围、成本、可重用性和质量集成到一个统一的记忆价值函数中。记忆价值随后被馈送到记忆策略系统以驱动记忆原生的跨层设计。本文的贡献有四个方面我们提出了MemNTN架构框架建立了物理记忆和数字记忆的二分法。我们设计了多模态记忆表示和生命周期机制用于在分布式NTN节点间构建全局记忆。我们设计了一个记忆价值模型该模型贯穿整个垂直通信栈以推导价值驱动的策略。我们进行了一个案例研究以验证MemNTN框架通过高保真仿真展示了性能增益。II 记忆原生NTNII-A NTN for EI特征与挑战NTN使地面基础设施无法触及区域的具身应用成为可能。这种扩展表现出与地面对应物根本不同的特征。首先NTN包含多层轨道提供不同的覆盖-延迟权衡[1, 4]。其次由于数千公里的传输距离NTN遭受严重的传播损耗大气衰减包括Ku/Ka波段的雨衰和L/S波段的电离层闪烁。第三当卫星以7公里/秒的速度移动时NTN经历显著的多普勒频移使信号跟踪变得非常复杂。这些新特征导致了跨协议层的挑战物理层无线电资源管理面临重叠卫星波束间的严重干扰。由于卫星快速移动和长反馈延迟准确的CSI估计具有挑战性通常导致过时的信道知识[11]。MAC层随机接入协议应处理来自地面终端的大量连接请求但碰撞检测能力有限。由于时变间歇性连接机器人调度面临额外复杂性[1]。网络层移动性管理需要频繁切换可见窗口仅持续几分钟。信号强度因仰角和大气损耗而波动[10]。应用层具身任务涉及不同智能体和区域的不均匀贡献。现有针对吞吐量或覆盖最大化设计的方法未能捕捉具身任务的端到端需求[7]。表I面向具身智能的地面、NTN和MemNTN范式比较特征地面EINTN EIMemNTN EI网络拓扑固定静态基站动态移动卫星动态 记忆增强链路稳定性✓ 稳定× 高度不稳定✓ 通过记忆可预测覆盖范围区域km²全球行星级全球行星级资源约束 中等 严重 记忆优化决策范式无状态/云辅助无状态记忆驱动延迟特征10-50 ms100-500 ms可变30-100 ms预测辅助切换频率低分钟-小时非常高秒-分钟通过轨迹记忆优化适应性对局部变化反应式对链路变化反应式通过经验主动式CSI获取直接测量延迟/过时从CSI记忆预测计算分布仅云/边缘边缘/卫星带记忆层次结构的分布式容错性高冗余有限冗余通过记忆冗余增强可扩展性受限于基站密度受限于卫星数量通过记忆压缩增强II-B 机遇从无状态到记忆原生NTNMemNTN范式通过将记忆视为网络设计的核心元素代表了一个根本性转变。如图2a所示该框架中的记忆遵循一个完整的生命周期包括以下五个阶段(i) 记忆获取从传感器收集原始数据用于物理记忆或从网络测量收集原始数据用于数字记忆。(ii) 记忆压缩数据被处理并编码为适当的表示如点云、特征向量并存储在位于适当网络节点如卫星、地面站、边缘机器人的记忆库中。(iii) 记忆估值使用记忆价值模型为每个记忆项分配分数反映该记忆对未来任务的有用性。(iv) 记忆更新在新记忆价值的指导下新观测与现有记忆融合而过时记忆逐渐被遗忘。(v) 记忆利用当做出路由、调度或波束成形等决策时根据价值分数检索相关记忆并用于指导决策过程。上述流程确保记忆随着时间保持相关和有用适应物理和网络条件的变化。II-C 记忆原生NTN带来的益处所提出的范式对NTN尤其重要因为网络越不确定记忆就越有价值。具体而言益处扩展到各层信道记忆物理层历史CSI模式捕获信道状态的时空相关性能够预测未来链路质量并补偿由长传播延迟和卫星快速移动引起的过时反馈。接入记忆MAC层可以利用先前连接尝试的碰撞历史来优化随机接入协议在有限碰撞检测能力下减少大规模连接请求下的失败。轨迹记忆网络层轨道和机器人轨迹信息支持可见窗口预测、主动路由、切换准备和网络资源预取。任务记忆应用层跨智能体和区域的任务语义和记忆支持端到端任务感知的记忆压缩、价值优先级排序和资源分配而非子模块优化。基于以上讨论MemNTN框架提供了三个关键能力i预测能力能够预测未来链路状态并进行主动资源分配ii经验重用通过利用学习到的模式加速决策以及iii跨层智能提供跨协议层可访问的统一抽象。地面EI、NTN EI和MemNTN EI的全面比较见表I。II-D 分布式记忆融合通常由于传感器限制、环境复杂性或通信中断单个智能体构建和编码的记忆可能存在缺失、噪声或错误。适当利用来自其他智能体的冗余观测可以帮助减轻这种不确定性并提高记忆保真度。为实现网络中全局一致的记忆需要分布式记忆融合即多个智能体共同贡献并从共享记忆中受益如图2b所示。下面我们以物理记忆为例说明融合过程。II-D1 本地记忆构建每个NTN节点通过自主操作构建其本地记忆机器人执行同步定位与建图SLAM以构建本地位姿和地图使用视觉语言模型VLM提取视觉特征并压缩数据以供传输。地面站充当记忆枢纽拥有足够的存储和计算资源用于大语言模型LLM推理。卫星保持轨道位置感知收集广域观测构建全局上下文。II-D2 全局记忆融合机器人记忆块首先通过地面网络传输并在记忆枢纽融合。融合后的本地记忆数据库随后在预定可见窗口期间压缩并上传到卫星从而在NTN中构建一个一致的全局记忆湖。全局记忆融合包括以下关键功能时间同步它将具有异构延迟和时间戳的观测集成到在时间域中对齐的统一序列中。空间对齐它通过外部校准即旋转和平移矩阵将来自不同视点的观测变换到公共坐标框架。冗余管理它通过基于深度神经网络的数据级、特征级或输出级融合技术处理矛盾观测如由于环境变化同时自动识别和移除由观测重叠引起的冗余信息。图2MemNTN系统框架a记忆生命周期包括获取、压缩、估值、更新和利用b机器人、地面站和卫星组件间的记忆融合c记忆价值-策略系统处理所有垂直层的物理和数字表示。III 二元记忆表示如图3所示信道、接入、轨迹和任务记忆可分为两种根本不同类型的记忆。具体而言物理记忆代表环境包括静态几何、动态位姿和轨迹、语义描述、对象类别和空间关系。它通过多模态感知获取并由目标检测、语义分割、场景理解和3D重建处理。另一方面数字记忆代表网络操作经验包括无线电地图、频谱占用、调度记录、链路质量趋势和切换结果。它从PHY/MAC/NET/APP测量、控制信令和无线接入网络接口获取。III-A 物理记忆表示物理记忆需要多种表示以支持不同任务和操作条件。III-A1 静态3D点云为定位和建图提供高精度几何但通过NTN链路传输成本高昂。紧凑表示如3D高斯基元在保持渲染质量的同时改善压缩支持新颖视图合成、地标识别和可通行性估计。III-A2 动态时空记忆捕获智能体位置、方向、轨迹、速度和带时间戳的历史路径。它支持运动预测、碰撞避免和多智能体协调并可通过曲线拟合、概率建模或关键帧采样进行压缩。这种表示通过使智能体能够预测动态行为来补充静态几何。III-A3 语义多模态数据可使用VLM转换为场景描述。这些语义随后可由LLM用于信息检索或思维链推理。语义也可解析为空间场景图用于高级具身操作如自主探索和对象搜索。III-B 数字记忆表示数字记忆需要多种表示以支持不同网络操作和优化任务。III-B1 无线电张量无线电张量是表示信道状态在时间、频率和空间维度上的多维数组。它们捕获NTN链路经历的信道增益、多普勒频移、相位信息和干扰模式。这些张量可通过导频信号测量、射线追踪如Sionna或机器学习方法获取并通过张量分解压缩。III-B2 资源占用网格图资源占用图编码来自MAC日志的频谱模式用于预测性资源分配和竞争避免。矩阵补全技术可填补未观察到的地图条目使监控间隙期间能够推断频谱可用性。为促进资源图的共享可将密集占用图压缩为稀疏对应物。III-B3 网络拓扑图网络拓扑图将卫星、地面站和机器人表示为节点以无线电、光星间和回传链路为边。边属性包括质量、容量、延迟和资源可用性。这些图从路由表和链路状态通告构建支持卫星运动下的主动切换。图3MemNTN的二元记忆表示a静态点云b动态轨迹c语义场景图dPHY-Mem无线电地图eMAC-Mem资源占用图fNET-Mem拓扑。IV 记忆价值与策略系统IV-A 多维价值函数不同记忆项对当前任务具有不同的相关性要求系统确定为决策记住什么。此外随着条件演变记忆的价值随时间变化需要决定何时忘记过时信息。因此记忆价值模型是MemNTN中实现有效记忆使用的关键组件。通过评估物理记忆如地理区域的重要性和数字记忆如链路质量的价值系统可以做出既尊重环境又尊重网络约束的一致决策。如图2c所示我们将记忆项ℳ的价值定义为五个关键维度的函数记忆新鲜度FoM记忆上次被验证或更新有多近新鲜记忆更可能反映当前条件。记忆覆盖范围CvoM记忆适用于什么空间、时间或设备范围广泛适用的记忆具有更高价值。记忆成本CoM存储、传输和检索成本是多少高成本记忆必须提供相应的收益。记忆可重用性RoM记忆能否跨不同场景、节点或任务应用可重用记忆具有更高的长期价值。记忆质量QoM记忆在多大程度上减少了关于当前或未来状态的不确定性具有高信息增益或误差减少的记忆具有更高价值。IV-B 计算估值方法f(·)的具体形式可以使用指标特定的计算模型实例化。首先FoM可以通过信息年龄AoI量化它同时捕获记忆生成时间和传递延迟。其次CvoM可以通过结合感知几何如视场重叠、遮挡和空间足迹与传播感知连通性如路径损耗、阻塞概率和链路预算从几何可见性和通信可达性计算。第三CoM可以通过分析模型如记忆大小、压缩比或从日志拟合的经验回归模型如延迟、能量估计存储、传输和检索开销。第四RoM可以通过不同项之间的互信息测量其中较高的互信息表示更强的跨场景、跨节点和跨任务重用价值。最后直接的QoM计算很困难因为它取决于任务语义、上下文和演变的不确定性。为解决这个问题我们采用了一种智能体QoM模型其中智能体动态选择和组合估值工具详见下一小节。IV-C 智能体记忆质量模型我们采用基于生成对抗考试GAE工作流程[7]的智能体QoM模型。该方法的动机来自以下观察。尽管精确的用户问题是开放式的但具身任务中的问题模式通常是结构化的并且可以从记忆上下文中生成。在我们的设置中该记忆可以是物理记忆如场景布局、对象、轨迹、语义描述或数字记忆如信道条件历史、接入结果、切换记录、资源占用。因此每个节点可以提供一个小型试点样本服务器可以使用它来合成上下文中的问答对代表该节点所知的内容。代表性的问答对如下关于物理记忆的问题倒塌建筑的哪一侧对地面机器人是可通行的答案东侧仍然开放而西侧被阻塞。关于数字记忆的问题哪颗卫星为该区域提供最稳定的上行链路答案卫星S238在上次可见窗口期间提供了最高的稳定性。然后我们可以通过测试当前全局记忆是否能回答从该节点自身观测生成的问题来估计每个节点记忆的增量价值。如果当前全局记忆无法回答这些问题该节点很可能贡献新颖且有价值的记忆。然而如果全局记忆已经能很好地回答它们则增加的价值有限。因此GAE流程按以下三个阶段运行试点上传每个节点上传一个小的、随机采样的本地数据子集。这保持低开销同时保留足够的语义多样性用于估值。考试生成服务器将试点数据转换为试点记忆并使用基础模型从该记忆生成问答对。由于问题是从观察到的内容生成的它们有效且可回答。练习测试服务器针对这些生成的问题测试现有的全局记忆。得到的分数反映了该节点的信息有多少已被当前记忆覆盖。这种考试式估值自然捕获了记忆新颖性。较低的测试分数表示较强的新颖性和对全局记忆质量的更高潜在贡献而较高的分数表示冗余。值得注意的是估值使用试点数据执行从而保持通信开销最小。为控制计算开销我们使用迭代记忆检索而非将整个全局记忆上下文馈入LLM。对于每个问题系统渐进地仅检索相关记忆块并在找到足够证据时停止。这减少了上下文长度提高了可扩展性并使估值延迟在具有许多分布式智能体的NTN设置中保持实用。总体而言智能体QoM模型为计算EI任务的语义有用性提供了统一框架使网络能够做出记忆原生的决策。IV-D 价值驱动策略在估计记忆质量后网络应用价值驱动策略来确定上传优先级、链路调度和资源分配。在每个调度轮次中策略选择在NTN基础设施约束下最大化预期任务收益的行动。这意味着策略应同时考虑物理记忆和数字记忆。具体而言物理记忆提供任务效用信号如场景关键性、目标相关性和地理覆盖增益而数字记忆提供系统可行性信号如信道稳定性、干扰、队列状态、切换风险和传递成功。为实现这一目标记忆价值被传播到所有NTN协议层在应用层管理记忆选择在网络层调整切换偏好在接入层配置队列优先级在物理层控制波束成形设计。高价值记忆尽可能通过稳定路径和可靠链路优先路由而低价值上传被延迟、压缩或使用剩余容量容纳。此外公平感知协调机制为信道条件较弱的节点保留周期性传输机会从而防止长期饥饿。因此NTN操作从吞吐量最大化转变为记忆原生优化将资源分配与终端任务性能对齐而非中间链路级指标。V 案例研究图4MemNTN在SEQA任务中的验证。aLEOPath和CARLA平台中的仿真设置b400卫星案例的性能评估c任务准确率和端到端吞吐量与卫星数量的关系。我们在配备RTX 3090Ti GPU的Linux工作站上评估MemNTN在卫星具身问答SEQA任务中的有效性。为模拟NTN通信环境我们集成了CARLA平台¹、Airsim²、LEOPath³和OpenNTN⁴。Airsim提供无人机UAV运动动力学。LEOPath提供低地球轨道LEO卫星轨迹、可见窗口、仰角、传播延迟以及地面站与卫星之间的切换时序。OpenNTN提供NTN信道抽象包括路径损耗、多普勒动力学、大气衰减和时变链路质量。在每次仿真运行中CARLA从UAV感知产生物理记忆LEOPath确定卫星是否对地面站可见OpenNTN将卫星几何映射为可用回传吞吐量。地面站充当记忆枢纽通过本地接入链路接收UAV记忆使用价值模型选择记忆并通过NTN回传将选定的记忆更新转发到远程指挥中心。V-A 仿真设置表II和图4a分别总结了仿真参数并可视化配置。LEO星座遵循Walker星形配置400颗卫星即20个轨道平面每平面20颗卫星高度550公里倾角53°提供94.8分钟的轨道周期和每天15.19转的平均运动与常见的LEO-NTN建模假设一致[1, 10]。地面站位于香港平均可见卫星8颗最小仰角10°。对于卫星回传我们使用10个地面站工作在20 GHz10 MHz带宽OFDM复用并在3456个资源块上使用比例公平调度器[11, 9]。卫星等效各向同性辐射功率EIRP为58 dBm地面站天线增益为35 dBi。表II卫星具身问答案例研究的仿真参数LEO星座卫星回传UAV接入链路CARLA设置卫星数量40020×20地面站数量10UAV数量10UAV数量10高度550 km频率20 GHz站ID01目标10/次运行倾角53°带宽10 MHz天线256地图Town04轨道周期94.8分钟复用OFDMA复用MIMOSEQA测试30/次运行可见卫星8调度器PF功率300 mW运行次数100最小仰角10°资源块3456噪声-100 dBm图像200 KB地面站香港卫星EIRP58 dBm带宽10 MHz帧率35平均运动15.19/天天线增益35 dBi时间600 s帧数1050 K地面站1配备256天线作为10架UAV的记忆枢纽UAV以总功率300 mW在10 MHz带宽上传输噪声底限-100 dBm。每架UAV配备以35 FPS运行的摄像头每张图像压缩为200 KB以供传输。CARLA仿真在Town04地图上运行每次运行生成10个目标对象。对于每个目标问题涉及3种类型i目标对象是否存在ii目标对象位于何处iii哪架UAV观察到目标。因此我们在每次运行中生成30个QA性能在100次随机运行上平均。我们使用qwen3-vl-8b进行图像字幕mxbai-embed-large-v1进行文本嵌入milvus进行记忆数据库构建qwen3-8b进行问答[7, 14]。V-B 基准结果我们使用远程指挥中心的SEQA准确率和端到端吞吐量评估系统。端到端意味着记忆传递必须经过UAV到地面站跳和地面站到卫星跳。我们将所提出的MemNTN方案与代表性基线进行比较1MaxRate[6]优先考虑高吞吐量链路2MaxCov[7]优先考虑感知覆盖3Fairness[9]遵循比例公平调度原则在UAV间平均分配资源4Mem-Terrestrial[7]使用基于记忆的调度和地面回传即光纤连接的地面站容量1-20 Mbps以及5Mem-No-Backhaul[8]代表完全断连场景。图4b总结了100次仿真运行的数值结果。MemNTN在所有比较方案中实现了最高的远程SEQA准确率相比MaxRate提高了62.6%相比MaxCov提高了5.7%相比Fairness提高了20.8%相比Mem-Terrestrial提高了67.1%。这证实最终任务性能不仅由传输的数据量决定还取决于传递的记忆是否包含新颖和任务相关信息。MaxRate获得高通信吞吐量但转发了视觉上冗余的观测而Mem-Terrestrial受限于拥塞的地面接入限制了有效的记忆传递。结果表明物理-数字记忆抽象是必不可少的。简单地最大化本地无线速率是不够的因为记忆可能价值低。相反如果该UAV具有弱的接入链路或卫星转发窗口太短仅选择语义上最有价值的UAV记忆也可能失败。MemNTN通过同时考虑物理记忆价值和数字记忆状态来解决这一问题。物理记忆指示UAV是否观察到新颖对象或重要区域而数字记忆记录接入链路质量、卫星可见性、回传拥塞和近期传递成功。V-C 星座规模的可扩展性图4c显示了SEQA准确率和端到端吞吐量如何随卫星数量变化。我们评估了100、200、400和800颗卫星的配置保持所有其他参数固定。回传容量从22.1 Mbps100颗卫星增加到38.3 Mbps800颗卫星而接入链路容量保持在大约7-23 Mbps恒定。从图4c可以看出当回传充足时800颗卫星所有NTN辅助方法收敛。MemNTN随星座规模增加显示出最一致的改进从100颗卫星的84.0%准确率提高到800颗卫星的98.7%。MaxCov在较大星座规模下接近MemNTN性能800颗卫星时为94.0%因为充足的回传减少了对选择性传输的需求。MaxRate随规模增加显示收益递减800颗卫星时为61.2%因为它仍受限于语义冗余而非回传容量。扩展结果突显了MemNTN在回传容量受限时即100-400颗卫星提供最大收益其中智能记忆选择补偿了有限的转发资源。这验证了记忆原生通信在资源受限的NTN环境中特别有价值的设计原则。VI 结论与开放方向本文提出了MemNTN一种支持非地面网络上具身智能的记忆原生架构。MemNTN不是将每次传输视为孤立事件而是将环境的物理记忆和网络经验的数字记忆组织成一个共享的生命周期包括获取、压缩、估值、更新和利用。通过这种二元记忆表示NTN节点可以重用过去的观测预测未来的链路和任务条件并协调跨物理层、接入层、网络层和应用层的决策。SEQA案例研究表明任务性能不仅取决于传递的数据量还取决于传递的记忆是否新颖、可靠且与下游推理相关。两个重要的未来方向如下。首先分布式记忆一致性和标准化应通过轻量级同步、冲突解决机制和可互操作的接口联合解决允许记忆价值在卫星、地面站、机器人和新兴6G控制平面之间交换。其次记忆安全和隐私值得特别关注因为MemNTN存储了敏感的环境观测和操作网络痕迹。未来的系统应防御记忆投毒、未授权检索和推理攻击这些攻击可能暴露任务位置或用户意图。