UAGENTOS / XIUOS TRACK01 / 09
泛在应用场景解决方案

端侧视觉检测
与现实反馈系统

XiUOS 开发板检测到目标并保留触发帧，UAgentOS 随即通过 QQ 发送图文提醒，并让蓝牙音箱在现场播报。

队伍：UAgentOS · 初赛提交
嵌入式视觉开发板、Agent 与音箱组成的现实反馈系统
WHAT WE BUILT02 / 09

我们完成了什么：一次检测，形成两种用户提醒

先看完整结果，再看每个赛题任务如何落地。没有目标的普通画面只留在 LCD；目标成立时才发送对应事件与图片。

从目标检测到 QQ 图文和蓝牙音箱播报的完整闭环
01 / DETECT

板端看见

摄像头持续取流，YOLOv2/KPU 在 XiUOS 上检测目标，LCD 实时显示检测框。

02 / INTERPRET

Gemini-S1 上的 UAgentOS

Agent 同样运行在嵌入式端侧，接收目标状态与触发帧并生成自然语言。

03 / FEEDBACK

用户看见并听见

QQ 收到文字和图片；蓝牙音箱提供现场播报；两个通道分别返回状态。

CONTEST ALIGNMENT03 / 09

赛题三项任务，分别有明确工程证据

TASK 01

视觉采集与预处理

XiUOS 摄像头驱动、256×256 输入、LCD 实时画面、裁剪与灰度转换。

TASK 02

轻量模型部署

YOLOv2 KModel 嵌入固件，在 K210 KPU 上输出类别、数量和检测框。

TASK 03

结果反馈与联动

本地画框、触发帧上报、Agent 自然语言、QQ 图文与音箱播报。

技术完整性 30%开源合规 30%场景适配 20%创新性 20%
驱动到反馈的完整闭环XiUOS 工程与复现材料端侧实时、事件式上传视觉事实进入可解释反馈
TASK 01 / CAMERA04 / 09

任务一：让摄像头稳定采集，并保留同帧证据

驱动取流通过 XiUOS 摄像头设备接口配置分辨率、帧缓冲与完成标志。
输入统一传感器输出与模型输入均为 256×256，减少额外内存拷贝。
实时显示RGB565 画面持续写入 LCD，未触发目标时仍保持本地预览。
触发帧目标成立后，从对应画面裁剪目标区域并生成灰度证据。
XiUOS 摄像采集、预处理、推理与证据回传流程
TASK 02 / YOLOV2 KPU05 / 09

任务二：在 K210 上完成轻量目标判别

模型固化约 2.71 MB KModel 嵌入 XiUOS 固件并在启动时校验。
KPU 推理256×256 输入由 K210 片上加速器执行。
检测后处理Region Layer 解码候选框，NMS 去除重叠结果。
本地输出形成 head / helmet、目标数量与检测框。
模型项实际配置
输入256 × 256
输出8 × 8 × 35
类别head / helmet
加速K210 KPU
结果类别、目标数、框与状态

为什么放在端侧

连续画面不依赖上传后再推理。开发板先形成检测事实，网络只传任务事件和关键图片。

TASK 03 / SYSTEM LINKAGE06 / 09

任务三：让检测结果真正抵达用户

一次目标检测对应一个完整证据单元；显示路径与发送路径各司其职。

01
目标出框XiUOS 在 LCD 显示类别、数量和目标框。
02
绑定同帧证据状态、帧号、目标数与触发图片共同上报。
03
端侧 Agent 解释Gemini-S1 上的 UAgentOS 将检测事实组织为自然语言。
04
双通道反馈QQ 发送图文，蓝牙音箱请求现场播报。

视觉持续运行

摄像头、KPU 与 LCD 是实时路径；普通画面不会因为网络发送而进入通知队列。

结果能够核验

QQ 与音频分别返回送达、排队或失败原因，不把“请求发出”误写成“物理动作完成”。

RESEARCH PARADIGM07 / 09

从视觉原型，抽象出可迁移的现实设备范式

设备作为节点承载内部能力；Harness 让能力自动发现、注册、接通、调度和验证；Agent 运行时保持可替换。

节点、能力自动注册与可替换 Agent 运行时组成的现实设备范式

节点承载能力

视觉检测、环境读取、通知和播报都属于对应设备节点，不与设备并列。

自动注册与治理

节点声明能力契约，Harness 完成发现、健康检查、调度与结果验证。

运行时可以替换

比赛实例部署于 Gemini-S1；同一语义可适配 UAgentOS、OpenVela Agent，OpenClaw 属于后续方向。

RESULTS / EVIDENCE08 / 09

结果由一组可核验事实组成

256²
摄像头与模型输入

取流、预处理、KPU 推理与 LCD 显示均在板端完成。

2.71 MB
嵌入式 YOLOv2 KModel

固件内加载，输出类别、数量、目标框和状态。

2 路
面向用户的反馈

QQ 图文保存远程证据，蓝牙音箱提供现场播报。

已验证

摄像取流、LCD 出框、触发帧、事件接收、QQ 图文和音频能力状态均有代码、日志或演示证据。

当前边界

继续优化图片清晰度、无线时延、特定音箱原生兼容和长期无人值守稳定性。

CONCLUSION09 / 09

让一次端侧检测
变成可见、可听、可核验的反馈

完整性

摄像采集、预处理、YOLOv2/KPU、LCD、网络事件和反馈闭环全部覆盖。

端侧协同

XiUOS/K210 负责视觉感知，Gemini-S1 上的 UAgentOS 负责理解与反馈。

范式价值

节点声明能力，Harness 治理能力生命周期，Agent 运行时可以替换。

XiUOS 不只在屏幕上画出一个框，而是把现实事件送进完整的人机反馈闭环。

UAGENTOS · 2026.07.10