【导读】跟着人工智能技能的快速成长，视觉检测技能于医疗康健范畴的运用愈来愈广泛。传统的目力检测需要专业医护职员操作，检测效率较低，且难以实现主动化。本项目基在米尔RK3576开发板，设计并实现了一套智能目力检测体系，旨于提供一种便捷、高效的目力检测方案。RK3576是一款高机能ARM架构的开发板，搭载瑞芯微处置惩罚器，具有强盛的AI推理能力，合适运行手势辨认、图象处置惩罚等AI使命。 1、项目配景与方针 实现主动目力检测：用户经由过程简朴的手势便可完成摆布眼的目力检测 AI手势辨认：使用MediaPipe实现精准的OK手势检测，作为启动测试的交互方式 智能化流程节制：主动辨认E字标的目的、判定测试成果、主动切换测试眼别 语音交互：集针言音播报功效，提供清楚的测试指引及成果反馈 2、体系功效设计 2.1 功效架构 体系架构图申明： 架构申明： RK3576开发板: 焦点节制器，运行所有营业逻辑 视频播放模块: 利用GStreamer举行硬件解码播放指导视频 手势辨认模块: MediaPipe Hands检测OK手势作为启动旌旗灯号 间隔检测模块: 串口读取TOF传感器数据，检测用户间隔 语音播报模块: ES8388音频编解码，播报接待词及检测成果 UI显示模块: PySide6 Qt开发，HDMI输出到显示屏 数据流向： 摄像头收罗图象 → MediaPipe手势辨认 → 判定OK手势 TOF传感器检测间隔 → 串口通讯 → 判定间隔是否适合 随机天生E字标的目的 → 显示于屏幕上 用户手势 → 摄像头收罗 → 手势辨认 → 对于比判定 测试成果 → 语音播报 + 屏幕显示 2.2 焦点功效模块 2.3 测试流程 流程申明： 体系初始化 - 启动摄像头、手势辨认、间隔传感器、音频体系 播放指导视频 - 开机主动播放intro_guide.mp4先容利用要领 等候OK手势 - 视频竣事后显示提醒，用户做OK手势启动测试 右眼测试 - 随机显示E字标的目的，用户用手势回覆，3次测试后判定成果 左眼测试 - 主动切换到左手，反复右眼测试流程 显示成果 - 播报两侧目力成果，显示于屏幕上 等候从头测试 - 用户可再次做OK手势从头最先测试 3、硬件与电路申明 3.1 硬件清单 Intel RealSense D435 深度摄像头特色 本项目选用Intel RealSense D435深度摄像头作为视觉收罗装备，用在手势图象收罗。比拟平凡USB摄像头具备如下上风： 双流输出 同时撑持RGB彩色流及深度流 本项目利用RGB流(640x480)举行手势辨认 深度流可用在将来扩大（如手势支解） 高质量图象 RGB分辩率：1920x1080 @ 30fps 收罗分辩率：640x480 @ 15fps（用在手势辨认） 内置主动白均衡、主动暴光功效 合用在各类光照前提 即插即用 经由过程USB 3.0接口毗连 提供跨平台的librealsense SDK (pyrealsense2) 撑持Linux、Windows等操作体系 不变性强 工业级品质，不变性好 主动暴光及对于焦，顺应能力强 于繁杂情况下仍能正确辨认手势 易在集成 Python绑定撑持，易在开发 帧同步机制，确保数据一致性 及时性好，满意手势辨认需求 TOF激光测距模块特色 本项目选用TOF（Time of Flight）激光测距模块作为间隔检测装备，具备如下上风： 超宽测距规模 测距规模：2cm ~ 10m 笼罩从近到远的各类利用场景 高精度丈量 丈量精度：±1cm 分辩率高，可检测微小间隔变化 快速相应 相应时间： 100ms 及时检测用户间隔，合用在动态场景 抗滋扰能力强 不受光照变化影响 不受被测物体颜色及材质影响 低功耗 功耗低，发烧小 合适永劫间运行 3.2 硬件接线 RK3576开发板 │ ├── USB3.0接口 ──── Intel RealSense D435 深度摄像头 │ │ ├── 串口(UART) ───── TOF激光测距模块 │ │ ├── I2S/PCM ──────── 音频编解码 (ES8388) ── 喇叭 │ │ └── HDMI ────────── 显示器 (HDMI OUT) 3.3 体系情况 操作体系: Buildroot Linux (ARM64) Python版本: 3.10+ AI框架: MediaPipe (Google) 视觉库: Intel RealSense SDK (librealsense) GUI框架: PySide6 多媒体: GStreamer + ALSA 音频格局: WAV (44.1kHz, 16bit, stereo) 4、要害技能申明 4.1 AI手势辨认 利用Google的MediaPipe框架举行手势辨认，重要特色： 模子: MediaPipe Hands (预练习模子) 输入: RGB图象 (640x480) 输出: 21个要害点坐标、手势分类 机能: 及时推理 (30fps) 4.1.1 MediaPipe Hands 21个要害点 MediaPipe Hands 模子输出21个手部要害点，编号从0到20： 8 12 16 20 │ │ │ │ ▼ ▼ ▼ ▼ ○───────────○───────────○───────────○ ← 食指、中指、无名指、小指 │ │ │ │ 7 11 15 19 │ │ │ │ ○───────────○───────────○───────────○ │ │ │ │ 6 10 14 18 │ │ │ │ ○───────────○───────────○───────────○ │ │ │ │ 5 9 13 17 │ │ ○───────────────────────○ │ │ 4 13 │ │ ○────┴───────────────────────┴────○ │ │ 0 9 │ │ └────────────────────────────────┘ (手段) 要害点索引申明： 0: 手段 1-4: 拇指 (掌骨→近节指骨→远节指骨→指尖) 5-8: 食指 9-12: 中指 13-16: 无名指 17-20: 小指 
