Real-world Agent Harness · 双运行时验证
UAgentOS
面向真实世界智能体的
设备抽象与执行范式
把真实设备组织为具有内生能力的边缘节点，并以运行时无关的协调层管理能力的发现、注册、接通、调度、验证与受控演化。
研究对象真实世界智能体的设备语义与行动面治理
UAgentOS自研 Device Fabric 运行时
UAgentOS_OpenVela第三方嵌入式 Agent 迁移实现
能力生命周期发现注册 · 接通调度 · 验证演化
01 / RESEARCH QUESTION
真实设备不是普通 API
一旦 Agent 进入现实空间，设备的位置、状态、连接、权限、执行后果和反馈延迟都会影响推理。问题从“调用工具”转变为“治理行动面”。
如何在不绑定单一 Agent 框架的前提下，把异构硬件组织为可描述、可选择、可执行、可验证的现实能力？
01
空间
设备具有位置、视野、覆盖范围和作用对象，能力是否适用取决于当前环境。
02
状态
在线、占用、供电、传感漂移和链路质量共同决定能力是否真实可用。
03
反馈
命令已发送不等于状态已改变，动作结果必须重新进入 Agent 上下文。
04
演化
设备能力可能不完整；运行时需要诊断、修复，并在测试与授权后更新适配。
02 / PARADIGM & REALIZATION
从能力注册到受控演化
先说明可替换 Agent 核心如何治理设备能力生命周期，再展示 UAgentOS 与 OpenVela 中的工程映射。
03 / TWO IMPLEMENTATIONS
两种运行时，一种研究命题
两者不是两套故事：XiUOS 验证现实观测如何进入，OpenVela 验证智能决策如何作用于现实。
04 / XIUOS VALIDATION
XiUOS：Agent 的视觉端点
端侧负责实时事实，上位系统负责语义与反馈。持续画面留在 LCD，只有任务相关的状态和关键证据进入 Agent。
采集、推理、输出完整闭环
摄像头驱动、输入预处理、KPU 推理和检测框满足赛题主线；关键帧与事件接入运行在 Gemini-S1 嵌入式板上的 UAgentOS，扩展为可解释的人机反馈。
EdgeXiUOS/K210、摄像头、YOLOv2/KPU、LCD
Evidence检测状态与对应帧绑定，保留来源和时间
AgentGemini-S1 上的 UAgentOS 组织语义、策略路由与多端反馈
05 / OPENVELA VALIDATION
OpenVela：Agent 的行动端点
Gemini-S1 节点以 Tool 暴露自身的环境与家居能力，OpenVela Agent 选择并调用这些能力，观测与动作结果回到推理上下文。
从对话走向真实空间
先验证 LLM 的普通聊天，再由 Gemini-S1 传感器读取温度并回答或播报，最后接入视觉事件形成 QQ 图文与音箱播报的综合监控闭环。
Scene 01普通聊天：OpenVela Agent 完成基础语言理解与生成
Scene 02温度播报：Gemini-S1 读取真实传感器并反馈
Scene 03综合监控：板端 gemini_qq_notify 发送图文，音频工具请求播报
06 / SPATIAL PERSPECTIVE
设备越多，空间状态越重要
真实世界 Agent 的身体不是一块板，而是分布在空间中的感知、计算和反馈节点。滚动查看同一空间中的三层职责。
01 / SENSING
端侧感知
视觉板和传感器持续观察现实环境，以结构化 observation 发布任务相关证据。
02 / ORCHESTRATION
运行时编排
UAgentOS 或 UAgentOS_OpenVela 选择能力、组织事件并处理不确定性，不把设备协议泄漏到推理层。
03 / FEEDBACK
空间反馈
通知、播报与未来执行设备把系统判断作用于现实，结果再回到 Agent 的状态模型。
07 / CODE-BASED RUNTIME VIEW
能力不是静态清单
节点被发现后还要注册、接通、调度和验证；失败进入有界修复，未来适配更新进入受控演化。
DEVICE FABRIC / CAPABILITY LIFECYCLELIVE MODEL
// capability lifecycle, independent of Agent core
on endpoint.discovered(node) {
registry.publish(node.capabilities);
health.bring_up(node);
}
on goal.requires(capability) {
node = policy.select(capability);
result = runtime.invoke(node);
verify(result);
if (!result.ok) repair.bounded(node);
}
on endpoint.discovered(node) {
registry.publish(node.capabilities);
health.bring_up(node);
}
on goal.requires(capability) {
node = policy.select(capability);
result = runtime.invoke(node);
verify(result);
if (!result.ok) repair.bounded(node);
}
14:55:01REGISTEREDnode + capabilities
14:55:02HEALTHYaction surface ready
14:55:03VERIFIEDresult returned to Agent
08 / REVIEW EVIDENCE
从赛题要求回到可检查证据
材料只陈述可由代码、运行说明、日志或演示验证的内容，并明确原型阶段的限制。
XiUOS 技术完整性
CODE + LCD + EVENT LOG采集、KPU 推理、LCD、Wi-Fi 证据与上位反馈。
OpenVela 功能闭环
TOOLS + SKILL + RUNTIME多工具注册、ReAct、Skill、板载观测和动作结果。
工程可复现
README + SCRIPTS + DOCS构建、运行、配置模板、工程映射与演示脚本。
诚实边界
LIMITATIONS + ROADMAP不把原型描述为生产系统，不虚构性能与稳定性数据。
09 / SUBMISSION PACKAGE
提交材料
两份技术报告和演示稿均可独立阅读；综合学术报告用于说明共同系统架构与研究命题。