听婴语 · GPASS工作流技术文档

听婴语 · GPASS工作流技术文档项目背景整体架构Demo方案 vs 正式产品方案工作流设计端侧插件运用已使用的端侧插件云端功能服务Demo阶段数据逻辑技术方案说明技术选型数据流更新日志基于 GPASS 平台搭建的“听婴语”AI智能体实现婴儿哭声识别与视觉健康评估的端云协同解决方案。项目背景听婴语BabyWhisper是一款基于 AI 智能眼镜的母婴监护智能体通过多模态感知音频视觉实时理解婴儿需求为新手父母、月嫂提供精准的照料指导。**产品名**听婴语BabyWhisper**目标用户**宝爸宝妈、月嫂、育婴师、护理师**输入方式**智能眼镜拍摄/录音第一视角解放双手**核心能力**哭声语义翻译 健康视觉评估 体温智能感知 专为 AI眼镜智能体开发大赛 打造整体架构系统采用端云协同架构分为三层层级说明端侧GPASS智能眼镜负责音频采集、图像采集、AR卡片渲染、TTS语音播报云端百宝箱工作流负责意图识别、HTTP API调用、结果解析、文本生成模型服务自建FastAPI负责哭声分类推理、视觉健康评估推理Demo阶段返回Mock数据Demo方案 vs 正式产品方案维度Demo方案当前实现正式产品方案规划哭声识别HTTP服务返回Mock数据基于CNNTransformer的真实哭声分类模型在DonateaCryCorpus等数据集上训练视觉评估HTTP服务返回Mock数据基于迁移学习的黄疸/面色分析模型在专业医疗标注数据集上训练端侧推理仅做采集端侧部署轻量级ONNX/TFLite模型VAD检测初步筛选降低云端调用频率多模态融合代码节点做简单优先级判断if-else基于LLM的多模态融合结合知识库RAG生成个性化照料建议知识库无/硬编码在提示词中接入婴儿照料专业知识库育儿百科/医疗指南数据闭环无数据回传匿名化采集真实场景数据持续迭代模型响应延迟500msMock推理目标2s含真实模型推理网络传输部署方式本地Docker/内网穿透ngrok云服务器阿里云/腾讯云CDN负载均衡自动扩缩容工作流设计否是开始图片URL是否为空视觉评估分支哭声识别分支合并输出结束端侧插件运用已使用的端侧插件插件名称能力描述调用时机输入输出备注语音采集插件调用眼镜麦克风录音用户声控触发/自动检测哭声录制时长3秒Base64音频数据因当前GPASS插件限制无法获取音频信息拍照插件调用眼镜摄像头拍照用户触控触发拍照评估无Base64图片数据卡片渲染插件镜片显示AR悬浮卡片代码节点处理完成后纯文本字符串镜片AR显示TTS播报插件镜腿扬声器语音播报卡片渲染同时触发纯文本字符串语音播放云端功能服务Demo阶段数据逻辑哭声识别接口Mock模式根据音频Base64数据随机模拟分类结果饥饿、困倦、疼痛返回数据包含code、label、confidence、suggestion四个字段视觉评估接口Mock模式解码图片后取中心区域RGB均值根据红绿通道比值模拟黄疸风险指数返回数据包含health_status、jaundice_risk、skin_condition、suggestion四个字段技术方案说明技术选型层级技术说明端侧眼镜GPASS 平台 端插件标准化 API 调用硬件能力工作流编排百宝箱可视化工作流拖拽式编排10 天快速交付模型服务Python 3.10 FastAPI高性能异步 API 服务模型框架规划PyTorch / TensorFlow深度学习模型训练与推理容器化Docker Docker Compose一键部署环境隔离云部署规划阿里云/腾讯云 ECS生产环境稳定运行数据流自建FastAPI服务GPASS工作流AI智能眼镜用户自建FastAPI服务GPASS工作流AI智能眼镜用户alt[哭声识别][视觉评估]触控/语音唤醒发送请求含意图调用语音采集插件返回Base64音频POST /api/cry-recognize返回分类结果Mock/模型代码节点处理文本拼接调用拍照插件返回Base64图片POST /api/health-vision返回评估结果Mock/模型代码节点处理文本拼接卡片渲染显示文本TTS播报语音引导查看/听取指导 正式产品上述逻辑将替换为真实深度学习模型的推理结果。更新日志日期版本更新内容2026-07-09v1.0初始版本完成Demo工作流设计和技术文档编写—v2.0规划中接入真实哭声分类模型—v3.0规划中接入视觉健康评估模型 多模态融合