产品概述
一句话定位：导盲豆是一款胸针式 AI 视觉辅助可穿戴设备，通过前置摄像头实时识别前方路况与障碍物，以蓝牙音频反馈指引视障用户安全出行，集成摔倒检测与紧急通知功能；同时具备熟人识别提醒与会议智能纪要能力，替代传统导盲犬，成为视障者的"数字眼睛"与"随身助理"。
产品形态
胸针式可穿戴硬件，轻便挂载于衣物胸前，重量控制在 35g 以内，外形简洁低调，不影响日常穿着。
核心用户
盲人及低视力人群（国内约 1700 万），以及临时视力受损需辅助的老年人、夜盲症患者。
核心价值
用 AI 视觉替代"被牵引"的导盲方式，让用户自主判断、独立行走，同时提供全天候安全守护。
参赛赛道
硬件交互社会公益
使用场景
五大核心功能
1. AI 视觉导航
前置摄像头 + 端侧 AI 模型实时识别前方 3 米内路况：可通行区域、障碍物类型与距离（行人、车辆、台阶、电线杆、坑洼等），判断用户前方是否可以安全行走。
2. 音频反馈指引
通过蓝牙耳机输出两种模式：短促"滴"声表示前方可通行；语音播报障碍物类型与精确距离（如"前方 1.5 米有行人，右侧有空隙可通行"）。
3. 安全守护系统
内置陀螺仪检测摔倒姿态，触发后自动通过 4G eSIM 向紧急联系人发送告警短信与实时位置；日常持续上报 GPS 位置，防止走失。
4. 熟人识别提醒
端侧人脸识别模型识别前方熟人（家属、朋友、邻居），通过耳机语音提醒"前方 2 米有王阿姨"。支持设置"久未见面提醒"，当超过设定天数（如 30 天）未遇到的人再次出现时主动告知。
5. 会议智能纪要
通过麦克风持续录音，结合语音识别与 AI 摘要生成技术，自动记录会议/对话内容并生成结构化纪要。支持语音指令"总结刚才的会议"，一键回放关键结论与待办事项。
需求背景
用户痛点
中国现有视障人群约 1700 万，其中盲人约 500 万。他们的日常出行面临三重困境：
- 导盲犬极度稀缺：全国合格导盲犬不足 300 只，且训练成本高达 20 万元/只，等待周期 2 年以上，绝大多数视障者无法获得。
- 传统辅具能力有限：盲杖只能探测地面障碍物，无法识别空中障碍物、移动物体或复杂路况；导盲手环仅有简单避障，缺乏路径指引。
- 安全隐患突出：独自出行时摔倒、走失、遭遇交通事故的风险极高，家属无法实时获知用户状态。
真实场景
场景一：小区散步 — 王阿姨患有青光眼，傍晚在小区散步时，前方停放的电动车突然移动，她无法及时察觉。导盲豆识别到移动物体，立即语音提示"前方车辆移动，请停下"，避免碰撞。
场景二：过马路 — 李先生要去街对面买早餐，路口没有盲道提示音。导盲豆识别到斑马线、红绿灯状态和来往车辆，通过连续滴声引导他沿正确方向行走，并在车辆靠近时紧急提醒"左侧来车，等待"。
场景三：意外摔倒 — 张奶奶在公园台阶处踩空摔倒，导盲豆检测到异常姿态变化，10 秒内自动向儿子发送短信"母亲可能摔倒，位置：XX 公园东门附近"，并附带精确 GPS 坐标。
场景四：偶遇老友 — 赵叔叔在菜市场门口遇到老邻居刘叔，但青光眼让他看不清对方的面容。导盲豆识别到刘叔的人脸，立即播报"前方 2 米有刘建国，你们已经 38 天没见了"。赵叔叔主动打招呼，两人寒暄后一起买菜回家。
场景五：工作会议 — 陈女士参加社区组织的视障者就业培训会，会上讲师布置了多项课后任务。导盲豆自动检测到会议场景并开始录音，会后陈女士说"总结刚才的会议"，设备语音播报"待办事项：下周一前提交简历，周三参加模拟面试"。
为什么现在做这件事
- 技术成熟：端侧 AI 视觉模型（如 YOLOv8、MobileNet）已可在低功耗芯片上实时运行；4G/5G 模组成本降至百元级。
- 硬件小型化：微型摄像头、MEMS 陀螺仪、低功耗 MCU 足以集成在胸针大小的设备中。
- 社会需求迫切：老龄化加速，低视力老年人群快速增长，出行辅助需求持续扩大。
产品定义与功能需求
功能模块一：AI 视觉导航
导盲豆的核心能力来自前置广角摄像头与端侧 AI 视觉模型的协同。摄像头以 30fps 捕获前方画面，AI 模型在本地实时分析，无需联网即可工作，保障响应速度与隐私安全。
识别范围：
- 静态障碍物：台阶、电线杆、垃圾桶、施工围挡、停放车辆
- 动态障碍物：行人、自行车、电动车、汽车（含移动方向判断）
- 路况信息：斑马线、红绿灯、盲道、坑洼、积水
- 空间信息：可通行区域的宽度与方向
输出逻辑：系统每 200ms 输出一次环境分析结果，判断前方是否可通行。若可通行，发出短促"滴"声（约 0.1 秒）；若不可通行或需绕行，启动语音播报，告知障碍物类型、距离和建议方向。
识别性能指标
| 指标 | 目标值 |
|---|---|
| 识别帧率 | ≥ 15 FPS |
| 有效识别距离 | 0.5m - 5m |
| 障碍物类型数 | ≥ 20 类 |
| 音频反馈延迟 | ≤ 300ms |
| 端侧模型体积 | ≤ 8MB |
功能模块二：音频反馈系统
音频是视障用户获取信息的主要通道。导盲豆设计了两级反馈机制，平衡信息密度与干扰程度。
一级反馈 — 通行提示音：当前方路径畅通、可以安全行走时，每 1.5 秒发出一次短促的"滴"声（频率 1000Hz，时长 80ms）。这种设计让用户建立起"有声音 = 可以走"的条件反射，无需中断思绪去听取复杂语音。声音停止或变为连续警报时，用户立即知道前方出现状况。
二级反馈 — 语音播报：当检测到障碍物或需要用户做出决策时，系统通过蓝牙耳机播放自然语音。播报内容遵循"距离 + 对象 + 建议"的三段式结构，例如："前方 2 米有台阶，请停下"、"左侧有行人靠近，靠右行走"。语音音量自动根据环境噪音调节。
音频反馈规则
■ 可通行 — 短促"滴"声，1.5s 间隔
■ 需注意 — 连续两声"滴滴"，提示有障碍但可绕行
■ 危险/停止 — 长"滴——"声 + 语音"请停下"
■ 信息播报 — 完整语音，仅在状态变化时触发
功能模块三：安全守护系统
安全是导盲豆不可忽视的底层能力，包含两个子系统：
3.1 摔倒检测与紧急通知
设备内置 6 轴 MEMS 陀螺仪与加速度计，持续监测用户姿态。当检测到以下模式时触发摔倒判定：
- 垂直加速度在 200ms 内从 1g 骤降至接近 0g（失重）
- 随后出现 3g 以上的冲击加速度（撞击地面）
- 设备姿态从竖直变为水平并持续 5 秒以上
触发摔倒判定后，设备立即执行以下动作：
- 通过蓝牙耳机播放语音提示"检测到摔倒，即将通知家属"
- 给用户 15 秒时间按下设备上的"取消"按钮（防止误判）
- 若 15 秒内未取消，通过 4G eSIM 模块向预设紧急联系人发送告警短信
- 短信内容包含："【导盲豆】用户可能摔倒，最后已知位置：XX 路 XX 号附近，点击查看地图：http://..."
- 同时向云端上报摔倒事件日志，供家属 App 查看
3.2 实时定位追踪
设备内置 GPS + 北斗双模定位芯片，每 30 秒上报一次位置到云端。家属可通过配套小程序查看用户实时位置与今日行动轨迹。设备低电量时也会自动上报一次位置，防止因断电失联。
功能模块四：语音交互
用户可通过语音与导盲豆交互，无需触摸设备。支持的指令包括：
| 语音指令 | 设备响应 |
|---|---|
| "前面有什么" | 播报前方障碍物与环境概况 |
| "我在哪里" | 播报当前所在道路/地标名称 |
| "电量多少" | 播报剩余电量百分比 |
| "联系家属" | 拨打预设紧急联系人电话 |
| "安静模式" | 关闭通行提示音，仅保留危险警报 |
| "刚才遇到的是谁" | 播报最近识别到的熟人姓名与见面天数 |
| "总结刚才的会议" | 朗读 AI 生成的会议纪要摘要 |
| "会议待办有哪些" | 单独回放本次会议的待办事项清单 |
| "开始记录会议" | 手动触发会议录音与纪要功能 |
功能模块五：长续航设计
视障用户对设备依赖度高，无法频繁充电。导盲豆采用以下策略保障续航：
- 硬件选型：低功耗 ESP32-S3 主控（支持 AI 加速），配合 800mAh 锂聚合物电池
- 智能唤醒：设备平时处于低功耗监听状态，检测到运动时自动唤醒视觉识别模块
- 场景模式：提供"出行模式"（全功能，续航 6h）与"居家模式"（仅保留摔倒检测，续航 48h）
- 快充支持：Type-C 接口，30 分钟充至 50%，支持磁吸充电底座
- 可选太阳能：背夹式太阳能充电板附件，户外场景下延长 30% 续航
功能模块六：熟人识别提醒
视障者在社交场合中最大的困扰之一是无法通过视觉确认迎面走来的人是谁。导盲豆利用端侧人脸识别模型，在检测到前方有人脸时进行实时比对，识别出预录入的熟人名单（家属、朋友、同事、邻居等），并通过耳机语音提醒用户。
核心能力：
- 端侧人脸识别：基于 MobileFaceNet 轻量化模型，在本地完成人脸检测与特征提取，不依赖云端，保护用户隐私。支持预录入 50 位熟人的人脸数据。
- 语音提醒：当识别到熟人时，播报"前方 X 米有 [姓名]"，用户可以提前准备打招呼，避免社交尴尬。
- 久未见面提醒：用户可设置天数阈值（默认 30 天）。当超过该天数未遇到的熟人再次出现时，播报增加提示语"前方 2 米有王阿姨，你们已经 45 天没见了"。帮助视障者感知时间流逝和社交节奏。
- 陌生人提示：当检测到陌生人长时间注视或靠近时，可播报"前方有人注视，请注意"，增强环境警觉性。
数据管理：熟人的人脸特征向量以加密形式存储在设备本地，不上传云端。用户可通过家属端小程序远程添加、删除或修改熟人信息。
熟人识别流程
❶ 人脸检测 — 摄像头捕获前方画面
❷ 特征提取 — MobileFaceNet 生成 128 维向量
❸ 相似度比对 — 与本地库 cosine 相似度 ≥ 0.65
❹ 日期查询 — 检查上次见面天数
❺ 语音播报 — 合成含姓名/距离/天数的提示
功能模块七：会议智能纪要
视障者在参加会议或多人对话时，难以同步做笔记，容易遗漏重要信息。导盲豆内置智能纪要功能，通过麦克风持续采集环境音频，结合端侧语音识别与云端 AI 摘要能力，自动生成结构化会议纪要。
工作流程：
- 自动触发：设备检测到环境中出现持续多人对话（音量稳定超过 40dB 且持续 2 分钟以上），自动开始录音并提示用户"已检测到会议场景，正在记录"。
- 语音转文字：采用端侧 Whisper Tiny 模型进行实时语音识别，将对话内容转为文字流，延迟 ≤ 2 秒。
- 说话人分离：通过声纹特征区分不同说话人，输出带说话人标签的文字记录（如"说话人A：本月的销售目标是..."。
- AI 摘要生成：录音结束后，设备将完整文字上传至云端，由大语言模型生成包含"会议结论""待办事项""关键决策"三部分的结构化纪要。
- 语音回放：用户可随时说出语音指令"总结刚才的会议"，设备朗读 AI 生成的摘要；或说出"会议待办有哪些"，单独回放任务清单。
隐私保护：录音文件采用本地加密存储，仅在上传云端时通过 TLS 传输。用户可在设置中关闭自动录音，改为手动触发"开始记录会议"。
纪要输出示例
会议主题 季度产品规划会
参会人 张总、李经理、王工程师
结论
1. Q3 主攻社区养老场景
2. 预算追加 50 万用于试点
待办
[李经理] 7月20日前提交方案
技术方案
系统架构
图 1：导盲豆系统架构（传感器层 - 处理层 - 输出层 - 服务层 - 触达层）
硬件爆炸图
图 2：导盲豆硬件爆炸图（6 层结构 · 总厚度 12mm · 重量 < 35g）
硬件规格
| 组件 | 选型 | 说明 |
|---|---|---|
| 主控芯片 | ESP32-S3-WROOM-1 | 双核 240MHz，集成 AI 加速指令集，支持 Wi-Fi + BLE |
| 摄像头 | OV2640 广角模组 | 120度广角，200万像素，支持 30fps VGA 输出 |
| 陀螺仪 | MPU6050 | 6轴 MEMS，姿态检测精度 ±0.01° |
| 定位模块 | Air530Z GPS/北斗双模 | 冷启动 < 30s，定位精度 2.5m |
| 通信模组 | Air724UG 4G Cat.1 | 支持 eSIM，内置 MQTT/TCP 协议栈 |
| 音频编解码 | ES8388 | I2S 接口，支持蓝牙 A2DP 输出 |
| 电池 | 锂聚合物 800mAh | 支持 1C 快充，循环寿命 500 次 |
| 外壳 | PC + 铝合金中框 | IP54 防尘防水，重量 < 35g |
软件栈
| 层级 | 技术选型 | 说明 |
|---|---|---|
| 端侧 AI（视觉） | TensorFlow Lite Micro + YOLOv8-nano | 量化后的模型体积 6.2MB，推理延迟 65ms/帧 |
| 端侧 AI（人脸） | TFLite Micro + MobileFaceNet | 128 维特征向量，支持 50 人本地库，推理 45ms/帧 |
| 端侧 AI（语音） | Whisper Tiny + VAD | 实时语音转文字，延迟 ≤ 2s，支持说话人分离 |
| 嵌入式系统 | FreeRTOS | 任务调度，多传感器数据融合 |
| 通信协议 | MQTT over TLS | 低带宽、高可靠，支持断线重连 |
| 云端 AI | LLM API（星火/文心） | 会议纪要摘要生成、待办事项提取 |
| 云端后端 | Node.js + PostgreSQL + Redis | 设备管理、位置存储、告警推送、纪要存储 |
| 家属端 | 微信小程序 | 免安装，查看位置、接收告警、管理熟人库 |
AI 模型训练方案
端侧视觉模型采用迁移学习策略：以 COCO 预训练的 YOLOv8n 为基线，针对视障出行场景进行微调。
- 数据采集：收集第一人称视角（POV）街道视频 5000+ 段，覆盖晴天、阴天、夜晚、雨天等光照条件
- 标注规范：标注 25 类目标（行人、汽车、自行车、电动车、公交车、台阶、斑马线、红绿灯、盲道、坑洼、电线杆、树木、施工围挡、垃圾桶、消防栓、宠物、婴儿车、遮阳伞、积水、减速带、路缘石、玻璃门、旋转门、电梯门、扶梯入口）
- 模型优化：INT8 量化 + 知识蒸馏，将模型从 22MB 压缩至 6.2MB，精度损失 < 3%
- 持续学习：设备端收集难例样本，定期回传云端用于模型迭代
人脸识别模型方案
熟人识别采用 MobileFaceNet 轻量化架构，专为端侧部署优化：
- 模型规格：输入 112x112 RGB，输出 128 维特征向量，模型体积 1.2MB，推理延迟 45ms/帧
- 比对逻辑：Cosine 相似度 ≥ 0.65 判定为同一人，误识率 < 1%，拒识率 < 5%
- 本地库管理：支持预录入 50 位熟人，每人 3-5 张不同角度照片生成特征均值
- 隐私保护：仅存储 128 维特征向量，不存储原始人脸照片；所有运算在本地完成
- 见面记录：每次识别成功时记录时间戳，用于计算"久未见面天数"
语音识别与纪要生成方案
会议纪要功能采用端云协同架构，平衡实时性与智能化：
- 端侧 VAD：基于能量阈值 + 频谱特征的语音活动检测，识别"有人说话"的起止时间点
- 端侧 ASR：Whisper Tiny 模型（39M 参数）实时转写，支持中文普通话，WER < 15%
- 说话人分离：提取 MFCC 声纹特征，通过聚类区分不同说话人，准确率 > 80%
- 云端摘要：完整文字上传后，调用大语言模型 API 生成结构化纪要（结论 / 待办 / 决策）
- 纪要存储：生成的纪要保存在云端，用户可通过语音指令随时调取历史纪要
参赛帖模板（可直接发布）
以下为按照大赛初赛要求整理的 Demo 作品帖内容。你可以直接复制到社区初赛专区发布，并根据实际开发进展补充截图和 Session ID。
【标签】
硬件交互社会公益
【标题】
硬件交互赛道 - 导盲豆：AI 视觉辅助可穿戴设备，让视障者独立出行
【正文】
1. Demo 简介
是什么：导盲豆是一款胸针式 AI 视觉辅助可穿戴设备，通过前置摄像头实时识别前方路况与障碍物，以蓝牙音频反馈指引视障用户安全出行，同时集成摔倒检测、紧急通知与实时定位功能。
面向谁：核心用户是盲人及低视力人群（国内约 1700 万），以及需要出行辅助的老年低视力者。
主要功能：
- AI 视觉导航：前置摄像头 + 端侧 AI 模型实时识别前方障碍物（行人、车辆、台阶、坑洼等），判断是否可以通行
- 音频反馈指引：短促"滴"声表示可通行，语音播报障碍物类型与距离（如"前方 1.5 米有台阶"）
- 安全守护：内置陀螺仪检测摔倒，自动通过 4G eSIM 向家属发送告警与实时位置
（此处插入产品渲染图 / 实物照片 / 界面截图，至少 3 张）
2. Demo 创作思路
灵感来源：身边一位患有青光眼的老人，因视力衰退不敢独自出门，家人上班时只能将她独自留在家中。导盲犬极度稀缺（全国不足 300 只），现有辅具功能单一。我们思考：能否用 AI 视觉 + 可穿戴硬件，为视障者打造一双"数字眼睛"？
想解决的问题：视障者独立出行的三大痛点 —— 看不清路、不知道往哪走、摔倒后无人知晓。导盲豆用 AI 视觉替代"被牵引"，让用户自主判断；用音频反馈建立环境感知；用 4G 连接让家属随时掌握安全状态。
为什么做这个方向：中国有 1700 万视障人群，但社会关注度低、商业回报有限，导致这个领域长期缺乏创新产品。我们相信技术应该为最需要的群体服务，而 AI 视觉的小型化与低成本化让这件事在今天变得可行。
3. Demo 体验地址
硬件交互赛道可用演示视频替代在线体验。
体验方式：
- 演示视频（Bilibili）：（上传后粘贴链接）
- 或：可交互原型 HTML（Zip 打包上传）：（如有网页端配置界面可打包上传）
视频内容建议包含：设备外观展示、AI 视觉识别效果录屏、音频反馈实录、摔倒检测演示、家属端小程序界面。
4. TRAE 实践过程
整个导盲豆项目从概念到可运行 Demo，全程使用 TRAE IDE 与 TRAE Work 完成。以下是关键开发节点：
步骤一：需求梳理与架构设计
使用 TRAE Work 将产品需求拆解为硬件模块、AI 模型、音频系统、通信协议、云端服务、家属端小程序六大子系统，并生成系统架构图与技术选型方案。
（插入 TRAE Work 对话截图 1）
Session ID：xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
步骤二：嵌入式固件开发
使用 TRAE IDE 编写 ESP32-S3 固件代码，实现摄像头图像采集、陀螺仪数据读取、蓝牙音频输出、4G 模块 MQTT 通信等核心功能。TRAE 辅助完成了 FreeRTOS 任务调度设计与多传感器数据融合逻辑。
（插入 TRAE IDE 代码编辑截图 2）
Session ID：xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
步骤三：端侧 AI 模型部署
使用 TRAE Work 指导完成 YOLOv8-nano 模型的量化与转换，生成适配 ESP32-S3 的 TensorFlow Lite Micro 格式，并在设备端完成推理流水线搭建。
（插入模型转换与部署截图 3）
Session ID：xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
步骤四：云端服务与家属端小程序
使用 TRAE IDE 开发 Node.js 后端服务（设备接入 API、位置存储、告警推送），以及微信小程序前端（地图位置展示、告警消息接收）。
（插入小程序界面截图 4）
Session ID：xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
5. 报名帖链接
（粘贴你已通过的报名帖链接）
MVP 开发路线（初赛阶段）
初赛不要求完美作品，核心功能能跑通即可。建议按以下优先级推进：
| 阶段 | 任务 | 产出 | 时间 |
|---|---|---|---|
| Week 1 | 硬件原型搭建：ESP32-S3 + 摄像头 + 陀螺仪，实现图像采集与传感器数据读取 | 可运行的固件原型，串口输出识别结果 | 3-4 天 |
| Week 2 | 端侧 AI 部署：转换并运行一个轻量化目标检测模型，识别 5-8 类核心障碍物 | 设备端实时识别，串口输出目标类型与距离 | 3-4 天 |
| Week 3 | 音频反馈实现：连接蓝牙耳机，实现"滴"声通行提示 + 语音播报 | 完整的音频反馈闭环，可实际佩戴测试 | 2-3 天 |
| Week 4 | 演示视频拍摄 + 参赛帖撰写发布 | 3-5 分钟演示视频 + 社区 Demo 帖 | 2-3 天 |
初赛重点提示：评审最看重"有过程、有体验、讲得清楚"。即使硬件原型不够精致，只要能把核心功能跑通、把开发过程讲清楚、附上关键步骤截图和 Session ID，就有机会入围复赛。不必追求量产级的外观，用面包板 + 3D 打印外壳做原型完全可行。
竞争优势与创新点
与现有方案对比
| 维度 | 导盲犬 | 盲杖 | 现有导盲手环 | 导盲豆（本方案） |
|---|---|---|---|---|
| 障碍物识别 | 优秀（需训练） | 仅地面 | 简单测距 | 20+ 类 AI 识别 |
| 动态物体 | 可识别 | 无法识别 | 部分支持 | 行人/车辆 + 方向判断 |
| 获取成本 | 20万+ / 等待2年 | 50元 | 2000-5000元 | 目标售价 < 1500元 |
| 安全守护 | 无 | 无 | 部分有SOS按钮 | 自动摔倒检测 + 实时定位 |
| 使用方式 | 被牵引 | 主动探路 | 振动提醒 | 自主行走 + 音频指引 |
| 熟人识别 | 无 | 无 | 无 | 端侧人脸 + 久未见面提醒 |
| 会议辅助 | 无 | 无 | 无 | 语音转写 + AI 摘要 |
| 续航 | N/A | N/A | 8-12h | 6-48h（场景模式） |
核心创新
- 端侧 AI + 音频反馈的闭环设计：不是简单的"检测到障碍就报警"，而是建立"可通行 = 提示音"的条件反射，让用户在行走中获得持续的环境确认感。
- 摔倒检测的自动化：不需要用户按任何按钮，设备自动判断、自动通知，解决视障者摔倒后无法操作手机的致命痛点。
- 胸针式无感佩戴：不同于头戴设备或手持设备，胸针形态符合用户日常习惯，不突兀、不增加负担。
- 熟人识别重建社交连接：端侧人脸识别让视障者不再因"认不出人"而回避社交，久未见面提醒帮助他们感知社交节奏，重建与社区的联系。
- 会议纪要让信息无障碍：视障者做笔记困难，语音转写 + AI 摘要让他们在会议、培训、讲座中平等获取信息，不再遗漏关键内容。