UAGENTOS / OPENVELA TRACK01 / 09
基于 OpenVela 智能体的智能家居控制系统

运行在 Gemini-S1 上的
真实设备家居 Agent

Agent 读取板载环境，接收视觉检测事件，再通过 QQ 发送图文提醒，并让蓝牙音箱进行现场播报。

队伍：UAgentOS · Gemini-S1 实机
Gemini-S1 与现实家居设备场景
WHAT WE BUILT02 / 09

我们完成了什么：Agent 真正理解并反馈现实事件

完整系统先于工具清单：视觉节点提供目标与图片，Gemini-S1 上的 OpenVela Agent 负责理解，QQ 与音箱负责反馈。

视觉事件进入 OpenVela Agent 并触发图文与语音反馈
01 / OBSERVE

现实设备提供观测

板载传感器给出环境状态，外部视觉开发板提供目标事件和对应图片。

02 / REASON

Agent 理解与选工具

OpenVela ReAct 根据自然语言目标或现实事件选择已注册工具。

03 / ACT & VERIFY

反馈并核验结果

QQ 发送图文，音箱请求播报；工具返回送达、排队或失败状态。

CONTEST ALIGNMENT03 / 09

初赛要求与本项目回答

25%

自定义工具可用

六个工具进入 OpenVela Agent Registry，覆盖真实观测、状态、通知和播报。

15%

自然语言闭环

普通聊天、温度读取/播报、视觉监控逐级展示理解、工具调用与反馈。

10%

可复现与异常处理

Gemini-S1 实机部署，参数校验、双路径传感器读取和结构化失败结果。

功能完整性 50%工程化与合规 30%文档与演示 20%
工具 + 自然语言 + 异常闭环官方包集成、脚本、许可证、凭据隔离技术报告、运行说明、PPT 与日志
EMBEDDED AGENT ARCHITECTURE04 / 09

所谓“板端”，就是 Agent 核心运行在 Gemini-S1

设备内部的传感、状态与反馈能力被注册为工具；外部设备通过能力事件进入同一 Agent 上下文。

OpenVela AgentReAct 理解用户目标，选择工具，并根据工具返回继续推理。
板载现实能力读取温湿度、光照、接近和设备运行状态。
外部视觉能力嵌入式视觉开发板提供目标检测事件与触发图片。
用户反馈能力QQ 和蓝牙音箱分别提供远程图文与现场声音反馈。
OpenVela Agent、工具与真实设备反馈的关系
CUSTOM TOOLS05 / 09

六个工具共同支撑一套真实设备闭环

gemini_environment_read读取真实环境温湿度、光照、接近；每个字段都带来源与可用状态。
gemini_device_status查询板端状态运行时间、内存和平台信息，用于动作前诊断。
gemini_qq_notify发送 QQ 图文把自然语言提醒与触发图片远程发送给用户。
gemini_audio_speak请求语音播报区分已播放、已排队和路由失败，不虚报物理动作。
gemini_capability_emit接入外部设备让视觉节点和未来家居设备以统一能力事件进入 Agent。
gemini_home_state_set记录状态变化保存设备或场景状态，形成可回溯的板端证据。
THREE DEMONSTRATION SCENARIOS06 / 09

从基础对话到真实空间监控

SCENE 01

普通聊天

“你好，介绍一下你能做什么” → LLM 完成基础语言理解与自然语言生成，不强行调用硬件。

SCENE 02

温度读取与播报

“现在多少度” → Gemini-S1 读取真实传感器 → 返回文字，或继续调用音频工具播报。

SCENE 03

综合视觉监控

检测到有人 → 事件与图片进入 Agent → QQ 图文和蓝牙音箱同时反馈。

自然语言或现实事件用户目标与设备观测进入 Agent。
ReAct 选择根据工具描述选择能力与参数。
真实观测或动作读取传感器或请求反馈设备。
结果回流Agent 依据确认状态回答用户。
RESEARCH PARADIGM07 / 09

比赛实现背后，是一套现实设备 Agent 范式

端侧设备作为节点，功能作为节点内部能力；Harness 负责自动注册、健康治理、调度与验证，Agent 核心可以替换。

节点能力注册、Harness 治理与可替换 Agent 运行时

节点与能力

开发板、视觉节点和音箱各自声明内部能力，Agent 无需记忆品牌命令。

自动注册与闭环

能力从发现、接通、调度到结果验证形成完整生命周期。

不绑定单一 Agent

OpenVela 是本次实现；同一设备语义可装配 UAgentOS，OpenClaw 适配属于后续开发。

ENGINEERING / EVIDENCE08 / 09

实机运行、异常处理与复现材料同时交付

Gemini-S1 实机

`ai_agent`、工具注册、传感器主题/设备节点和板端数据目录均有对应实现。

工具失败可解释

参数错误、传感器不可用、QQ 提供方拒绝和音频排队均返回结构化状态。

Skill 可扩展

用 Markdown 定义多步骤工具顺序、参数约束与失败策略，不改 Agent 核心。

构建与部署

官方包扩展、构建脚本、板端部署路径和启动命令写入运行说明。

安全边界

未注册能力不执行；密钥、网络凭据和个人数据不进入公开仓库。

诚实边界

特定音箱原生 A2DP 兼容和长期稳定性仍在继续优化。

CONCLUSION09 / 09

让 OpenVela Agent
真正获得现实上下文

工具完整

六个工具覆盖环境、状态、通知、播报、跨设备事件和状态记录。

闭环完整

自然语言目标经过工具选择、现实观测、动作反馈与结果确认。

实机完整

Agent 核心运行在 Gemini-S1，并能连接外部视觉与用户反馈设备。

OpenVela Agent 不只调用模拟 API，而是能够读取、解释并反馈真实空间中的状态变化。

UAGENTOS · 2026.07.10