第7.4篇鸿蒙 AI 开放能力——语音与自然语言处理系列鸿蒙 7API 26新特性与创新场景篇 · 画伴梦工厂实战难度⭐⭐⭐ 高级前置知识第 4.5 篇 语音识别实战、第 4.6 篇 语音识别状态管理涉及源文件参考 HarmonyOS AI Kit 文档在画伴梦工厂的前几篇中我们已经通过SpeechRecognitionEngineAudioCapturer实现了基础的语音识别能力借助 GPT-4o-mini 完成了儿童绘画的图像理解。这些能力分别来自kit.CoreSpeechKit和第三方云端 AI 服务。HarmonyOS 7API 26带来了系统级 AI 开放能力的全面升级——从单一的语音识别扩展到覆盖视觉、语音、自然语言处理三大领域的完整 AI Kit 体系。更重要的是鸿蒙 7 首次在端侧部署了30B 参数大模型结合openPangu 2.0 云侧大模型构建了一套云端混合 AI 架构让应用可以在不依赖网络的情况下实现高质量的本地推理。本文将系统性地介绍 HarmonyOS AI Kit 的完整能力图谱深入对比端侧与云侧 AI 的架构差异并探讨如何将这些能力与项目现有的 AI 服务语音识别、图像识别、AI 生成进行融合升级。一、HarmonyOS AI Kit 概览三大能力域HarmonyOS AI Kit 是鸿蒙系统级 AI 能力的统一入口按照能力类型划分为三大领域1.1 视觉能力Vision Kit视觉能力由kit.CoreVisionKit提供涵盖图像理解与处理的核心 API能力API 模块功能说明图像超分辨率imageSuperResolution将低分辨率图片提升 2x~4x适用于老照片修复、缩略图放大文搜图textImageSearch通过自然语言语义搜索本地图片无需人工标注标签图像分割imageSegmentation分离前景与背景支持人像、物体抠图文字识别 OCRtextRecognizer从图片中提取印刷体/手写体文字人脸检测faceDetector检测人脸位置、关键点、表情属性视觉能力与项目第 3.5 篇中通过 GPT-4o-mini 实现的图像识别功能形成互补GPT-4o-mini 擅长开放域理解理解这是一只快乐的小恐龙而 Vision Kit 擅长结构化提取精确的文字识别、人脸检测、图像分割。两者配合使用可以构建更强大的画作理解管线。1.2 语音能力Speech Kit语音能力由kit.CoreSpeechKit提供这也是项目第 4.5 篇已经使用过的 SDK。在鸿蒙 7 中语音能力从单一识别扩展到完整的语音处理矩阵能力API 模块功能说明语音识别speechRecognizer将语音转为文本支持在线/离线双模式语音合成textToSpeech将文本转为自然语音支持多种音色和语速声纹识别voiceprintRecognizer基于声纹特征识别说话人身份情感检测emotionDetector从语音中检测说话人的情绪状态开心、难过、愤怒等1.3 自然语言处理能力NLP KitNLP 能力是鸿蒙 7 新增的核心开放域由kit.CoreNLPKit提供能力API 模块功能说明文本摘要textSummarizer自动生成长文本的简短摘要支持多粒度控制情感分析sentimentAnalyzer分析文本的情感倾向正面/负面/中性及强度实体抽取entityExtractor从文本中提取人名、地名、时间、组织等命名实体意图分类intentClassifier识别用户输入的自然语言意图支持自定义分类体系文本纠错textCorrector自动检测并纠正文本中的拼写和语法错误二、超越识别的语音能力前文第 4.5 篇与第 4.6 篇已经详细拆解了语音识别的完整实现。在鸿蒙 7 的 AI Kit 中语音能力进一步扩展到了三个全新的维度。2.1 语音合成文本到自然语音语音合成Text-to-Speech, TTS是语音识别的逆过程——将文字转化为自然流畅的语音。在画伴梦工厂中TTS 可以用来为生成的动画故事添加旁白配音让儿童创作的画作开口说话。import{textToSpeech}fromkit.CoreSpeechKit;asyncfunctionsynthesizeStory(storyText:string):Promisestring{constengineawaittextToSpeech.createEngine({language:zh-CN,voiceType:child-friendly,// 儿童友好音色speed:1.0,// 正常语速pitch:1.1// 略微升高音调更适合儿童});constaudioUriawaitengine.synthesize({text:storyText,outputFormat:audio/mp3,sampleRate:24000});engine.release();returnaudioUri;}语音合成在儿童应用中有独特的价值儿童阅读能力有限语音旁白可以让他们听懂自己创作的动画故事大大降低使用门槛。2.2 声纹识别个性化体验声纹识别能够通过声音特征识别说话人身份。在项目场景中不同儿童使用同一台设备时声纹识别可以自动区分当前用户加载对应的作品集和个性化设置import{voiceprintRecognizer}fromkit.CoreSpeechKit;asyncfunctionidentifySpeaker(audioSample:ArrayBuffer):Promisestring{constenginevoiceprintRecognizer.createEngine();// 注册声纹首次使用// await engine.enroll(user_001, audioSample);// 识别声纹constresultawaitengine.identify(audioSample);returnresult.userId;// 返回匹配的用户 ID}2.3 情感检测读懂孩子的情绪情感检测是语音能力中最有趣也最具挑战的方向。当儿童用语音描述画作时情感检测可以分析语气中的快乐、兴奋、困惑等情绪从而让 AI 生成的内容更加贴合当下的心理状态检测维度输出示例项目应用情绪类别happy,sad,angry,neutral,excited决定动画的情绪基调置信度0.9292% 确认为开心多结果排序依据强度等级0.0 ~ 1.0控制情绪表现力度如快乐程度决定动画动作幅度三、NLP 能力详解NLP Kit 是鸿蒙 7 新增的能力域它为应用提供了理解文字的能力。在画伴梦工厂的多个环节中NLP 能力都可以发挥重要作用。3.1 文本摘要当 AI 生成了一长段故事描述时文本摘要可以将其压缩成简短的标题或一句话简介适合在作品卡片上展示import{textSummarizer}fromkit.CoreNLPKit;asyncfunctiongenerateStoryTitle(longStory:string):Promisestring{constenginetextSummarizer.createEngine();constsummaryawaitengine.summarize({text:longStory,maxLength:20,// 最多 20 个字符minLength:5,// 最少 5 个字符style:creative// 创意风格适合儿童故事});engine.release();returnsummary;}3.2 情感分析与 2.3 节中的语音情感检测不同NLP 情感分析处理的是文本。在项目场景中它可以分析用户输入的 Prompt 文字的情感倾向辅助 AI 生成匹配情感基调的内容import{sentimentAnalyzer}fromkit.CoreNLPKit;functionanalyzePromptEmotion(prompt:string):SentimentResult{constenginesentimentAnalyzer.createEngine();constresultengine.analyze({text:prompt,granularity:sentence// 按句子粒度分析});engine.release();returnresult;// 返回{ overall: positive, score: 0.85, segments: [...] }}3.3 实体抽取实体抽取可以从自然语言描述中提取结构化的关键信息。对于画伴梦工厂的场景这特别有用——用户说画一只红色的小恐龙在火山旁边实体抽取可以自动解析出import{entityExtractor}fromkit.CoreNLPKit;functionextractDrawingEntities(description:string):ExtractedEntity[]{constengineentityExtractor.createEngine();constentitiesengine.extract({text:description,types:[character,location,color,action,object]});engine.release();returnentities;// 返回示例// [// { type: character, text: 小恐龙, confidence: 0.95 },// { type: color, text: 红色, confidence: 0.98 },// { type: location, text: 火山旁边, confidence: 0.89 }// ]}这些结构化实体可以直接映射到第 3.5 篇中定义的DrawingRecognitionResult模型的各字段作为 GPT-4o-mini 识别结果的补充或校验。3.4 意图分类意图分类可以理解用户输入的意图这是构建语音交互界面的关键能力。在项目中儿童可能说出帮我画一只恐龙、“把这个变大”、换一个颜色等指令意图分类可以将这些自然语言映射到具体的操作import{intentClassifier}fromkit.CoreNLPKit;functionclassifyUserIntent(userInput:string):string{constengineintentClassifier.createEngine({intents:[create,modify,delete,color_change,size_change,save,share]});constresultengine.classify(userInput);engine.release();returnresult.intent;// 如 create}四、端侧 vs 云侧 AI鸿蒙的混合 AI 架构鸿蒙 7 最引人瞩目的 AI 特性之一是其端侧 30B 参数大模型与openPangu 2.0 云侧大模型的混合架构。这套架构从根本上改变了系统级 AI 的能力边界。4.1 端侧 30B 大模型的技术突破指标前代端侧模型鸿蒙 7 端侧 30B 模型提升幅度参数量7B~13B30B2~4 倍推理速度基线快 50%50%内存占用基线少 20%-20%支持离线任务基础 NLP完整 NLP 部分 Vision大幅扩展30B 参数模型能够在端侧运行的背后是多项系统级优化的成果模型量化压缩通过 INT4/INT8 混合精度量化将模型体积压缩至原始大小的 25%~30%硬件加速协同利用昇腾 NPU 的专用推理单元实现低功耗高吞吐推理缓存友好计算图优化重排计算图以减少 NPU 与 CPU 间的数据传输动态内存管理按需加载模型子图避免全模型常驻内存4.2 端侧推理的典型流程端侧 AI 推理的调用链路极其简洁——所有数据在设备内部流转无需网络请求应用层 API 调用 │ ▼ AI Kit 服务系统进程 │ ├── 模型加载按需从 ROM 加载到 NPU │ ├── 数据预处理NPU 或 DSP │ ├── 模型推理昇腾 NPU │ ├── 后处理CPU │ ▼ 返回结构化结果整个过程中没有任何用户数据离开设备。这是鸿蒙隐私优先设计理念的核心体现。4.3 openPangu 2.0 云侧模型对于需要更大知识库或更强推理能力的任务鸿蒙 7 提供了 openPangu 2.0 云侧大模型。云侧模型与端侧模型的分工如下维度端侧 30B 模型云侧 openPangu 2.0适用场景低延迟、高频、隐私敏感任务高精度、大知识库、复杂推理任务网络需求完全离线需要网络连接响应延迟 50ms200ms ~ 2s含网络传输参数量30B数千亿知识新鲜度取决于模型版本实时更新隐私保护数据不出设备需加密传输4.4 智能调度策略鸿蒙系统会基于以下因素自动在端侧和云侧之间选择执行路径判断优先级 1. 网络可用性 → 无网络则强制端侧 2. 任务类型 → 简单任务实体抽取→ 端侧复杂任务长文本生成→ 云侧 3. 隐私要求 → 含个人隐私数据 → 强制端侧 4. 延迟要求 → 实时交互 → 端侧批处理 → 云侧 5. 电池状态 → 低电量 → 端侧低功耗五、隐私优先设计数据不出设备鸿蒙 AI Kit 从架构层面保证用户隐私。所有端侧 AI 推理在系统沙箱内完成应用层无法直接访问模型内部数据AI Kit 也不会将用户数据上传到云端。5.1 隐私保护的三层保障层级保障措施说明系统层端侧推理沙箱模型推理在独立的系统进程中执行应用进程无法干涉数据层零数据上传所有输入数据在设备内完成处理结果返回给应用权限层按能力授权每项 AI 能力需要独立的权限声明用户可在设置中关闭5.2 与项目现有隐私设计的对比项目当前的 AI 服务GPT-4o-mini 图像识别、Seedream 文生图、图生视频全部依赖第三方云端 API图片和文本数据需要经过网络传输。具体来说服务数据类型传输方式隐私风险GPT-4o-mini 图像识别儿童画作图片HTTPS图片需上传到第三方服务器Seedream 文生图文本 PromptHTTPSPrompt 需上传到第三方服务器图生视频图片HTTPS图片需上传到第三方服务器AI Kit 端侧能力语音/文本/图片无数据完全在设备内采用鸿蒙 AI Kit 的端侧能力可以避免用户数据离开设备这对于面向儿童的应用尤为重要——家长可以完全放心孩子的画作和语音不会被上传到任何云端服务。六、API 调用模式创建引擎、设置回调、处理结果鸿蒙 AI Kit 的所有能力遵循统一的 API 调用模式可以概括为三步创建引擎 → 配置参数 → 处理结果。6.1 通用调用模式// 第一步创建引擎实例constengineawaitSomeAICapability.createEngine({// 引擎配置参数不同能力不同});// 第二步执行推理同步或异步constresultawaitengine.process({// 输入参数});// 第三步处理结果console.log(result);// 第四步释放资源engine.release();6.2 回调模式语音识别特有对于语音识别这类流式处理任务采用引擎 监听器模式// 创建引擎constengineawaitspeechRecognizer.createEngine(options);// 注册回调监听器engine.setListener({onResult(sessionId,result){/* 实时结果 */},onComplete(sessionId,message){/* 完成 */},onError(sessionId,code,message){/* 错误 */}});// 启动处理engine.startListening(sessionConfig);// 写入数据engine.writeAudio(sessionId,audioData);// 结束会话engine.finish(sessionId);项目第 4.5 篇中的VoiceRecognitionService已经完整实现了这一模式当前实现可以直接与 AI Kit 的语音识别 API 无缝对接。6.3 同步模式NLP 能力NLP Kit 的大部分能力情感分析、实体抽取、意图分类采用同步调用模式推理结果即时返回constenginesentimentAnalyzer.createEngine();constresultengine.analyze({text:userInput});// result 在调用返回时已经就绪engine.release();这种同步模式适合即时反馈场景如用户输入时的实时情感评估。七、与项目现有 AI 服务的融合升级路径画伴梦工厂当前已经构建了一套完整的 AI 服务链。鸿蒙 AI Kit 的端侧能力可以逐步融入这套体系中形成云端大模型 端侧小模型的混合架构。7.1 融合架构总览现有云端服务链 鸿蒙 AI Kit 端侧能力 ───────────────── ──────────────────── 用户输入语音/文字 用户输入 │ │ ├─ VoiceRecognitionService ├─ AI Kit 语音识别 │ (SpeechRecognitionEngine) │ (更稳定、离线可用) │ │ ▼ ▼ 文本 → ImageRecognitionService 文本 → NLP Kit 实体抽取 (GPT-4o-mini 图像识别) (提取角色/场景/颜色) │ │ ├─ Seedream 文生图 ├─ AI Kit 文搜图 │ (生成角色图片) │ (本地图片搜索) │ │ ▼ ▼ 图片 → 图生视频 Service 图片 → Vision Kit 图像分割 (火山引擎视频生成) (精细化抠图) │ │ ▼ ▼ 动画 → AI Kit TTS 语音合成 (为动画添加旁白)7.2 具体升级场景场景一语音识别的端侧升级当前VoiceRecognitionService已经通过speechRecognizer.createEngine使用 AI Kit 的语音识别能力。在鸿蒙 7 中端侧离线模型升级到 30B 参数离线识别的精度大幅提升可以逐步将默认模式从离线优先调整为纯离线模式消除对在线兜底的依赖。场景二语义理解通道在用户输入语音或文字 Prompt 时引入 NLP Kit 的实体抽取和意图分类能力实时解析用户意图而不必等待 GPT-4o-mini 的云端响应。这可以实现即说即反馈的交互体验用户语音输入 → 语音识别端侧 → 实体抽取端侧 → 即时 UI 反馈 ↓ GPT-4o-mini云端 → 深度理解 → 动画生成场景三绘画理解的轻量路径对于不需要深度理解的简单场景如仅识别主体颜色、基本形状可以绕过 GPT-4o-mini 的云端 API直接使用 Vision Kit 的图像分割和分类能力asyncfunctionquickAnalyzeDrawing(imageUri:string):PromiseQuickResult{// 端侧快速分析无需网络毫秒级返回constsegmentationawaitimageSegmentation.segmentImage(imageUri);constdominantColorawaitextractDominantColor(segmentation.foreground);return{hasCharacter:segmentation.hasForeground,dominantColor:dominantColor,complexity:segmentation.regionCount};}7.3 选型决策矩阵在实际项目中选择使用云端 AI 还是端侧 AI可以参考以下决策矩阵判断维度优先端侧优先云端网络条件离线或弱网环境稳定高速网络响应要求实时交互 100ms可接受秒级延迟数据隐私含个人隐私或儿童数据匿名化通用数据推理精度标准精度即可需要行业顶级精度知识范围通用知识需要最新或专业知识功耗/电池低电量或长续航要求设备充电或高性能模式八、项目实战升级场景结合上述能力我们可以构想三个具体的项目升级方向。8.1 智能故事生成从画作到故事利用 NLP Kit 的文本摘要和情感分析能力结合端侧语音识别和 TTS构建完整的画作 → 故事 → 有声书管线儿童画作 → Vision Kit 图像分割 → 提取角色和背景 → 端侧语义理解 → 生成角色描述 → NLP Kit 文本生成 → 生成短篇故事 → TTS 语音合成 → 生成有声旁白整个过程完全在设备端完成不依赖任何云端 API。8.2 画作描述生成从识别到表达当儿童完成涂鸦后系统可以利用端侧 AI 自动生成一段关于画作的描述文字涂鸦画布 → 像素导出第 2.4 篇 → Vision Kit 图像分类 → 识别主体物体 → NLP Kit 实体组织 → 组合成自然语言描述 → UI 展示 → 你画了一只红色的小恐龙这种即画即反馈能力可以极大提升儿童的创作成就感。8.3 语音控制创作从指令到操作将语音识别 意图分类 实体抽取串接起来构建完整的语音控制创作体验儿童语音画一只蓝色的鲸鱼 │ ▼ 语音识别AI Kit 端侧→ 画一只蓝色的鲸鱼 │ ▼ 意图分类NLP Kit→ intent: create, confidence: 0.97 │ ▼ 实体抽取NLP Kit→ { 动物: 鲸鱼, 颜色: 蓝色 } │ ▼ 映射到 DrawingRecognitionResult → protagonist: 蓝色鲸鱼, scene: 海底 │ ▼ 文生图Seedream 云端→ 生成蓝色鲸鱼图片这一管线将端侧 AI Kit 的理解能力与云端 AI 服务Seedream 文生图的生成能力有机结合各取所长。九、Best Practice云侧 vs 端侧 AI 选型指南作为本文的总结下面提供一套在实际项目中选型端侧 AI 与云侧 AI 的实用指南。9.1 端侧优先的场景场景理由适用 API高频调用的实时交互避免网络延迟提升用户体验语音识别、情感分析、意图分类隐私敏感数据数据不出设备合规无担忧图像分割、人脸检测、声纹识别基础理解任务端侧 30B 模型已足够胜任实体抽取、文本摘要、文本纠错离线环境保障不依赖网络功能始终可用所有端侧 AI Kit API低功耗需求NPU 推理功耗远低于蜂窝/Wi-Fi 传输语音识别、文本分类9.2 云端优先的场景场景理由适用服务开放域图像理解需要世界知识理解这是什么GPT-4o-mini高质量内容生成需要数十亿参数模型创造内容Seedream 文生图、图生视频长文本深度推理需要超越端侧模型的知识边界openPangu 2.0多模态复杂任务同时融合视觉、语言、语音云端多模态大模型持续更新的知识需要最新信息的任务云端搜索增强生成9.3 混合策略推荐对于画伴梦工厂这类涉及儿童数据、需要实时交互、又需要高质量生成的应用推荐的混合策略是理解层端侧语音识别、实体抽取、意图分类、情感分析——全部使用 AI Kit 端侧能力确保实时性和隐私安全创作层云端文生图、图生视频、深度图像理解——使用云端大模型保证生成质量表达层端侧TTS 语音合成、图像分割——使用 AI Kit 端侧能力优化用户体验隐私保护层所有儿童画作和语音数据仅在端侧处理不上传云端仅将脱敏后的 Prompt 文本发送给云端服务十、展望从 AI Kit 到 AI 原生应用HarmonyOS 7 的 AI Kit 不仅是 API 的集合更代表了操作系统层面AI 原生的设计理念——AI 能力不再是独立的应用功能而是以系统服务的形式嵌入到每个应用可以调用的基础设施中。从画伴梦工厂的视角来看前文第 3.5 篇到第 3.9 篇构建的云端 AI 服务链识别 → 理解 → 生成 → 展示在第 7 篇中通过鸿蒙 7 的 AI Kit 获得了端侧能力的补充。最终形成的是一个云端混合的 AI 架构架构层能力来源职责数据流向端侧 AI Kit系统级 30B 大模型实时理解、隐私保护、离线保障数据不出设备云端 AI APIGPT-4o-mini / Seedream高质量生成、开放域理解脱敏后传输混合编排层应用 Service 层智能路由、结果融合、降级策略内部调度这种架构的演进方向是从应用调用云端 AI的单向模式走向应用利用系统端侧 AI 做预处理、负责任务路由、调用云端 AI 做重推理的协作模式。作为开发者理解并善用这种混合架构是构建下一代智能应用的关键能力。总结本文系统性地介绍了 HarmonyOS 7 AI Kit 的三大能力域——视觉、语音与自然语言处理深入剖析了端侧 30B 大模型与云侧 openPangu 2.0 的混合 AI 架构并结合画伴梦工厂项目的实际代码给出了多条融合升级路径和选型决策指南。知识点说明三大 AI 能力域Vision Kit视觉、Speech Kit语音、NLP Kit自然语言处理语音扩展能力语音合成、声纹识别、情感检测——超越基础语音识别NLP 核心能力文本摘要、情感分析、实体抽取、意图分类端侧 30B 模型推理速度快 50%、内存少 20%、完全离线运行混合 AI 架构端侧负责实时理解与隐私保护云侧负责高质量生成隐私优先设计所有端侧推理数据不出设备系统级沙箱隔离API 调用模式三步法创建引擎 → 配置参数 → 处理结果项目融合路径理解层用端侧创作层用云端表达层用端侧选型决策矩阵网络、延迟、隐私、精度、功耗——综合评估AI 原生理念AI 作为系统基础设施嵌入每个应用下一篇第 7.5 篇将介绍DevEco CodeAI 编程 Agent 与 Agentic 开发模式学习如何利用 AI 提升鸿蒙应用开发效率。参考文档本文内容基于 HarmonyOS 7API 26AI Kit 开发文档kit.CoreVisionKit— Core Vision Kit 视觉 AI 能力参考kit.CoreSpeechKit— Core Speech Kit 语音 AI 能力参考kit.CoreNLPKit— Core NLP Kit 自然语言处理能力参考端侧 30B 大模型与 openPangu 2.0 混合 AI 架构设计指南
第7.4篇鸿蒙 AI 开放能力——语音与自然语言处理系列鸿蒙 7API 26新特性与创新场景篇 · 画伴梦工厂实战难度⭐⭐⭐ 高级前置知识第 4.5 篇 语音识别实战、第 4.6 篇 语音识别状态管理涉及源文件参考 HarmonyOS AI Kit 文档在画伴梦工厂的前几篇中我们已经通过SpeechRecognitionEngineAudioCapturer实现了基础的语音识别能力借助 GPT-4o-mini 完成了儿童绘画的图像理解。这些能力分别来自kit.CoreSpeechKit和第三方云端 AI 服务。HarmonyOS 7API 26带来了系统级 AI 开放能力的全面升级——从单一的语音识别扩展到覆盖视觉、语音、自然语言处理三大领域的完整 AI Kit 体系。更重要的是鸿蒙 7 首次在端侧部署了30B 参数大模型结合openPangu 2.0 云侧大模型构建了一套云端混合 AI 架构让应用可以在不依赖网络的情况下实现高质量的本地推理。本文将系统性地介绍 HarmonyOS AI Kit 的完整能力图谱深入对比端侧与云侧 AI 的架构差异并探讨如何将这些能力与项目现有的 AI 服务语音识别、图像识别、AI 生成进行融合升级。一、HarmonyOS AI Kit 概览三大能力域HarmonyOS AI Kit 是鸿蒙系统级 AI 能力的统一入口按照能力类型划分为三大领域1.1 视觉能力Vision Kit视觉能力由kit.CoreVisionKit提供涵盖图像理解与处理的核心 API能力API 模块功能说明图像超分辨率imageSuperResolution将低分辨率图片提升 2x~4x适用于老照片修复、缩略图放大文搜图textImageSearch通过自然语言语义搜索本地图片无需人工标注标签图像分割imageSegmentation分离前景与背景支持人像、物体抠图文字识别 OCRtextRecognizer从图片中提取印刷体/手写体文字人脸检测faceDetector检测人脸位置、关键点、表情属性视觉能力与项目第 3.5 篇中通过 GPT-4o-mini 实现的图像识别功能形成互补GPT-4o-mini 擅长开放域理解理解这是一只快乐的小恐龙而 Vision Kit 擅长结构化提取精确的文字识别、人脸检测、图像分割。两者配合使用可以构建更强大的画作理解管线。1.2 语音能力Speech Kit语音能力由kit.CoreSpeechKit提供这也是项目第 4.5 篇已经使用过的 SDK。在鸿蒙 7 中语音能力从单一识别扩展到完整的语音处理矩阵能力API 模块功能说明语音识别speechRecognizer将语音转为文本支持在线/离线双模式语音合成textToSpeech将文本转为自然语音支持多种音色和语速声纹识别voiceprintRecognizer基于声纹特征识别说话人身份情感检测emotionDetector从语音中检测说话人的情绪状态开心、难过、愤怒等1.3 自然语言处理能力NLP KitNLP 能力是鸿蒙 7 新增的核心开放域由kit.CoreNLPKit提供能力API 模块功能说明文本摘要textSummarizer自动生成长文本的简短摘要支持多粒度控制情感分析sentimentAnalyzer分析文本的情感倾向正面/负面/中性及强度实体抽取entityExtractor从文本中提取人名、地名、时间、组织等命名实体意图分类intentClassifier识别用户输入的自然语言意图支持自定义分类体系文本纠错textCorrector自动检测并纠正文本中的拼写和语法错误二、超越识别的语音能力前文第 4.5 篇与第 4.6 篇已经详细拆解了语音识别的完整实现。在鸿蒙 7 的 AI Kit 中语音能力进一步扩展到了三个全新的维度。2.1 语音合成文本到自然语音语音合成Text-to-Speech, TTS是语音识别的逆过程——将文字转化为自然流畅的语音。在画伴梦工厂中TTS 可以用来为生成的动画故事添加旁白配音让儿童创作的画作开口说话。import{textToSpeech}fromkit.CoreSpeechKit;asyncfunctionsynthesizeStory(storyText:string):Promisestring{constengineawaittextToSpeech.createEngine({language:zh-CN,voiceType:child-friendly,// 儿童友好音色speed:1.0,// 正常语速pitch:1.1// 略微升高音调更适合儿童});constaudioUriawaitengine.synthesize({text:storyText,outputFormat:audio/mp3,sampleRate:24000});engine.release();returnaudioUri;}语音合成在儿童应用中有独特的价值儿童阅读能力有限语音旁白可以让他们听懂自己创作的动画故事大大降低使用门槛。2.2 声纹识别个性化体验声纹识别能够通过声音特征识别说话人身份。在项目场景中不同儿童使用同一台设备时声纹识别可以自动区分当前用户加载对应的作品集和个性化设置import{voiceprintRecognizer}fromkit.CoreSpeechKit;asyncfunctionidentifySpeaker(audioSample:ArrayBuffer):Promisestring{constenginevoiceprintRecognizer.createEngine();// 注册声纹首次使用// await engine.enroll(user_001, audioSample);// 识别声纹constresultawaitengine.identify(audioSample);returnresult.userId;// 返回匹配的用户 ID}2.3 情感检测读懂孩子的情绪情感检测是语音能力中最有趣也最具挑战的方向。当儿童用语音描述画作时情感检测可以分析语气中的快乐、兴奋、困惑等情绪从而让 AI 生成的内容更加贴合当下的心理状态检测维度输出示例项目应用情绪类别happy,sad,angry,neutral,excited决定动画的情绪基调置信度0.9292% 确认为开心多结果排序依据强度等级0.0 ~ 1.0控制情绪表现力度如快乐程度决定动画动作幅度三、NLP 能力详解NLP Kit 是鸿蒙 7 新增的能力域它为应用提供了理解文字的能力。在画伴梦工厂的多个环节中NLP 能力都可以发挥重要作用。3.1 文本摘要当 AI 生成了一长段故事描述时文本摘要可以将其压缩成简短的标题或一句话简介适合在作品卡片上展示import{textSummarizer}fromkit.CoreNLPKit;asyncfunctiongenerateStoryTitle(longStory:string):Promisestring{constenginetextSummarizer.createEngine();constsummaryawaitengine.summarize({text:longStory,maxLength:20,// 最多 20 个字符minLength:5,// 最少 5 个字符style:creative// 创意风格适合儿童故事});engine.release();returnsummary;}3.2 情感分析与 2.3 节中的语音情感检测不同NLP 情感分析处理的是文本。在项目场景中它可以分析用户输入的 Prompt 文字的情感倾向辅助 AI 生成匹配情感基调的内容import{sentimentAnalyzer}fromkit.CoreNLPKit;functionanalyzePromptEmotion(prompt:string):SentimentResult{constenginesentimentAnalyzer.createEngine();constresultengine.analyze({text:prompt,granularity:sentence// 按句子粒度分析});engine.release();returnresult;// 返回{ overall: positive, score: 0.85, segments: [...] }}3.3 实体抽取实体抽取可以从自然语言描述中提取结构化的关键信息。对于画伴梦工厂的场景这特别有用——用户说画一只红色的小恐龙在火山旁边实体抽取可以自动解析出import{entityExtractor}fromkit.CoreNLPKit;functionextractDrawingEntities(description:string):ExtractedEntity[]{constengineentityExtractor.createEngine();constentitiesengine.extract({text:description,types:[character,location,color,action,object]});engine.release();returnentities;// 返回示例// [// { type: character, text: 小恐龙, confidence: 0.95 },// { type: color, text: 红色, confidence: 0.98 },// { type: location, text: 火山旁边, confidence: 0.89 }// ]}这些结构化实体可以直接映射到第 3.5 篇中定义的DrawingRecognitionResult模型的各字段作为 GPT-4o-mini 识别结果的补充或校验。3.4 意图分类意图分类可以理解用户输入的意图这是构建语音交互界面的关键能力。在项目中儿童可能说出帮我画一只恐龙、“把这个变大”、换一个颜色等指令意图分类可以将这些自然语言映射到具体的操作import{intentClassifier}fromkit.CoreNLPKit;functionclassifyUserIntent(userInput:string):string{constengineintentClassifier.createEngine({intents:[create,modify,delete,color_change,size_change,save,share]});constresultengine.classify(userInput);engine.release();returnresult.intent;// 如 create}四、端侧 vs 云侧 AI鸿蒙的混合 AI 架构鸿蒙 7 最引人瞩目的 AI 特性之一是其端侧 30B 参数大模型与openPangu 2.0 云侧大模型的混合架构。这套架构从根本上改变了系统级 AI 的能力边界。4.1 端侧 30B 大模型的技术突破指标前代端侧模型鸿蒙 7 端侧 30B 模型提升幅度参数量7B~13B30B2~4 倍推理速度基线快 50%50%内存占用基线少 20%-20%支持离线任务基础 NLP完整 NLP 部分 Vision大幅扩展30B 参数模型能够在端侧运行的背后是多项系统级优化的成果模型量化压缩通过 INT4/INT8 混合精度量化将模型体积压缩至原始大小的 25%~30%硬件加速协同利用昇腾 NPU 的专用推理单元实现低功耗高吞吐推理缓存友好计算图优化重排计算图以减少 NPU 与 CPU 间的数据传输动态内存管理按需加载模型子图避免全模型常驻内存4.2 端侧推理的典型流程端侧 AI 推理的调用链路极其简洁——所有数据在设备内部流转无需网络请求应用层 API 调用 │ ▼ AI Kit 服务系统进程 │ ├── 模型加载按需从 ROM 加载到 NPU │ ├── 数据预处理NPU 或 DSP │ ├── 模型推理昇腾 NPU │ ├── 后处理CPU │ ▼ 返回结构化结果整个过程中没有任何用户数据离开设备。这是鸿蒙隐私优先设计理念的核心体现。4.3 openPangu 2.0 云侧模型对于需要更大知识库或更强推理能力的任务鸿蒙 7 提供了 openPangu 2.0 云侧大模型。云侧模型与端侧模型的分工如下维度端侧 30B 模型云侧 openPangu 2.0适用场景低延迟、高频、隐私敏感任务高精度、大知识库、复杂推理任务网络需求完全离线需要网络连接响应延迟 50ms200ms ~ 2s含网络传输参数量30B数千亿知识新鲜度取决于模型版本实时更新隐私保护数据不出设备需加密传输4.4 智能调度策略鸿蒙系统会基于以下因素自动在端侧和云侧之间选择执行路径判断优先级 1. 网络可用性 → 无网络则强制端侧 2. 任务类型 → 简单任务实体抽取→ 端侧复杂任务长文本生成→ 云侧 3. 隐私要求 → 含个人隐私数据 → 强制端侧 4. 延迟要求 → 实时交互 → 端侧批处理 → 云侧 5. 电池状态 → 低电量 → 端侧低功耗五、隐私优先设计数据不出设备鸿蒙 AI Kit 从架构层面保证用户隐私。所有端侧 AI 推理在系统沙箱内完成应用层无法直接访问模型内部数据AI Kit 也不会将用户数据上传到云端。5.1 隐私保护的三层保障层级保障措施说明系统层端侧推理沙箱模型推理在独立的系统进程中执行应用进程无法干涉数据层零数据上传所有输入数据在设备内完成处理结果返回给应用权限层按能力授权每项 AI 能力需要独立的权限声明用户可在设置中关闭5.2 与项目现有隐私设计的对比项目当前的 AI 服务GPT-4o-mini 图像识别、Seedream 文生图、图生视频全部依赖第三方云端 API图片和文本数据需要经过网络传输。具体来说服务数据类型传输方式隐私风险GPT-4o-mini 图像识别儿童画作图片HTTPS图片需上传到第三方服务器Seedream 文生图文本 PromptHTTPSPrompt 需上传到第三方服务器图生视频图片HTTPS图片需上传到第三方服务器AI Kit 端侧能力语音/文本/图片无数据完全在设备内采用鸿蒙 AI Kit 的端侧能力可以避免用户数据离开设备这对于面向儿童的应用尤为重要——家长可以完全放心孩子的画作和语音不会被上传到任何云端服务。六、API 调用模式创建引擎、设置回调、处理结果鸿蒙 AI Kit 的所有能力遵循统一的 API 调用模式可以概括为三步创建引擎 → 配置参数 → 处理结果。6.1 通用调用模式// 第一步创建引擎实例constengineawaitSomeAICapability.createEngine({// 引擎配置参数不同能力不同});// 第二步执行推理同步或异步constresultawaitengine.process({// 输入参数});// 第三步处理结果console.log(result);// 第四步释放资源engine.release();6.2 回调模式语音识别特有对于语音识别这类流式处理任务采用引擎 监听器模式// 创建引擎constengineawaitspeechRecognizer.createEngine(options);// 注册回调监听器engine.setListener({onResult(sessionId,result){/* 实时结果 */},onComplete(sessionId,message){/* 完成 */},onError(sessionId,code,message){/* 错误 */}});// 启动处理engine.startListening(sessionConfig);// 写入数据engine.writeAudio(sessionId,audioData);// 结束会话engine.finish(sessionId);项目第 4.5 篇中的VoiceRecognitionService已经完整实现了这一模式当前实现可以直接与 AI Kit 的语音识别 API 无缝对接。6.3 同步模式NLP 能力NLP Kit 的大部分能力情感分析、实体抽取、意图分类采用同步调用模式推理结果即时返回constenginesentimentAnalyzer.createEngine();constresultengine.analyze({text:userInput});// result 在调用返回时已经就绪engine.release();这种同步模式适合即时反馈场景如用户输入时的实时情感评估。七、与项目现有 AI 服务的融合升级路径画伴梦工厂当前已经构建了一套完整的 AI 服务链。鸿蒙 AI Kit 的端侧能力可以逐步融入这套体系中形成云端大模型 端侧小模型的混合架构。7.1 融合架构总览现有云端服务链 鸿蒙 AI Kit 端侧能力 ───────────────── ──────────────────── 用户输入语音/文字 用户输入 │ │ ├─ VoiceRecognitionService ├─ AI Kit 语音识别 │ (SpeechRecognitionEngine) │ (更稳定、离线可用) │ │ ▼ ▼ 文本 → ImageRecognitionService 文本 → NLP Kit 实体抽取 (GPT-4o-mini 图像识别) (提取角色/场景/颜色) │ │ ├─ Seedream 文生图 ├─ AI Kit 文搜图 │ (生成角色图片) │ (本地图片搜索) │ │ ▼ ▼ 图片 → 图生视频 Service 图片 → Vision Kit 图像分割 (火山引擎视频生成) (精细化抠图) │ │ ▼ ▼ 动画 → AI Kit TTS 语音合成 (为动画添加旁白)7.2 具体升级场景场景一语音识别的端侧升级当前VoiceRecognitionService已经通过speechRecognizer.createEngine使用 AI Kit 的语音识别能力。在鸿蒙 7 中端侧离线模型升级到 30B 参数离线识别的精度大幅提升可以逐步将默认模式从离线优先调整为纯离线模式消除对在线兜底的依赖。场景二语义理解通道在用户输入语音或文字 Prompt 时引入 NLP Kit 的实体抽取和意图分类能力实时解析用户意图而不必等待 GPT-4o-mini 的云端响应。这可以实现即说即反馈的交互体验用户语音输入 → 语音识别端侧 → 实体抽取端侧 → 即时 UI 反馈 ↓ GPT-4o-mini云端 → 深度理解 → 动画生成场景三绘画理解的轻量路径对于不需要深度理解的简单场景如仅识别主体颜色、基本形状可以绕过 GPT-4o-mini 的云端 API直接使用 Vision Kit 的图像分割和分类能力asyncfunctionquickAnalyzeDrawing(imageUri:string):PromiseQuickResult{// 端侧快速分析无需网络毫秒级返回constsegmentationawaitimageSegmentation.segmentImage(imageUri);constdominantColorawaitextractDominantColor(segmentation.foreground);return{hasCharacter:segmentation.hasForeground,dominantColor:dominantColor,complexity:segmentation.regionCount};}7.3 选型决策矩阵在实际项目中选择使用云端 AI 还是端侧 AI可以参考以下决策矩阵判断维度优先端侧优先云端网络条件离线或弱网环境稳定高速网络响应要求实时交互 100ms可接受秒级延迟数据隐私含个人隐私或儿童数据匿名化通用数据推理精度标准精度即可需要行业顶级精度知识范围通用知识需要最新或专业知识功耗/电池低电量或长续航要求设备充电或高性能模式八、项目实战升级场景结合上述能力我们可以构想三个具体的项目升级方向。8.1 智能故事生成从画作到故事利用 NLP Kit 的文本摘要和情感分析能力结合端侧语音识别和 TTS构建完整的画作 → 故事 → 有声书管线儿童画作 → Vision Kit 图像分割 → 提取角色和背景 → 端侧语义理解 → 生成角色描述 → NLP Kit 文本生成 → 生成短篇故事 → TTS 语音合成 → 生成有声旁白整个过程完全在设备端完成不依赖任何云端 API。8.2 画作描述生成从识别到表达当儿童完成涂鸦后系统可以利用端侧 AI 自动生成一段关于画作的描述文字涂鸦画布 → 像素导出第 2.4 篇 → Vision Kit 图像分类 → 识别主体物体 → NLP Kit 实体组织 → 组合成自然语言描述 → UI 展示 → 你画了一只红色的小恐龙这种即画即反馈能力可以极大提升儿童的创作成就感。8.3 语音控制创作从指令到操作将语音识别 意图分类 实体抽取串接起来构建完整的语音控制创作体验儿童语音画一只蓝色的鲸鱼 │ ▼ 语音识别AI Kit 端侧→ 画一只蓝色的鲸鱼 │ ▼ 意图分类NLP Kit→ intent: create, confidence: 0.97 │ ▼ 实体抽取NLP Kit→ { 动物: 鲸鱼, 颜色: 蓝色 } │ ▼ 映射到 DrawingRecognitionResult → protagonist: 蓝色鲸鱼, scene: 海底 │ ▼ 文生图Seedream 云端→ 生成蓝色鲸鱼图片这一管线将端侧 AI Kit 的理解能力与云端 AI 服务Seedream 文生图的生成能力有机结合各取所长。九、Best Practice云侧 vs 端侧 AI 选型指南作为本文的总结下面提供一套在实际项目中选型端侧 AI 与云侧 AI 的实用指南。9.1 端侧优先的场景场景理由适用 API高频调用的实时交互避免网络延迟提升用户体验语音识别、情感分析、意图分类隐私敏感数据数据不出设备合规无担忧图像分割、人脸检测、声纹识别基础理解任务端侧 30B 模型已足够胜任实体抽取、文本摘要、文本纠错离线环境保障不依赖网络功能始终可用所有端侧 AI Kit API低功耗需求NPU 推理功耗远低于蜂窝/Wi-Fi 传输语音识别、文本分类9.2 云端优先的场景场景理由适用服务开放域图像理解需要世界知识理解这是什么GPT-4o-mini高质量内容生成需要数十亿参数模型创造内容Seedream 文生图、图生视频长文本深度推理需要超越端侧模型的知识边界openPangu 2.0多模态复杂任务同时融合视觉、语言、语音云端多模态大模型持续更新的知识需要最新信息的任务云端搜索增强生成9.3 混合策略推荐对于画伴梦工厂这类涉及儿童数据、需要实时交互、又需要高质量生成的应用推荐的混合策略是理解层端侧语音识别、实体抽取、意图分类、情感分析——全部使用 AI Kit 端侧能力确保实时性和隐私安全创作层云端文生图、图生视频、深度图像理解——使用云端大模型保证生成质量表达层端侧TTS 语音合成、图像分割——使用 AI Kit 端侧能力优化用户体验隐私保护层所有儿童画作和语音数据仅在端侧处理不上传云端仅将脱敏后的 Prompt 文本发送给云端服务十、展望从 AI Kit 到 AI 原生应用HarmonyOS 7 的 AI Kit 不仅是 API 的集合更代表了操作系统层面AI 原生的设计理念——AI 能力不再是独立的应用功能而是以系统服务的形式嵌入到每个应用可以调用的基础设施中。从画伴梦工厂的视角来看前文第 3.5 篇到第 3.9 篇构建的云端 AI 服务链识别 → 理解 → 生成 → 展示在第 7 篇中通过鸿蒙 7 的 AI Kit 获得了端侧能力的补充。最终形成的是一个云端混合的 AI 架构架构层能力来源职责数据流向端侧 AI Kit系统级 30B 大模型实时理解、隐私保护、离线保障数据不出设备云端 AI APIGPT-4o-mini / Seedream高质量生成、开放域理解脱敏后传输混合编排层应用 Service 层智能路由、结果融合、降级策略内部调度这种架构的演进方向是从应用调用云端 AI的单向模式走向应用利用系统端侧 AI 做预处理、负责任务路由、调用云端 AI 做重推理的协作模式。作为开发者理解并善用这种混合架构是构建下一代智能应用的关键能力。总结本文系统性地介绍了 HarmonyOS 7 AI Kit 的三大能力域——视觉、语音与自然语言处理深入剖析了端侧 30B 大模型与云侧 openPangu 2.0 的混合 AI 架构并结合画伴梦工厂项目的实际代码给出了多条融合升级路径和选型决策指南。知识点说明三大 AI 能力域Vision Kit视觉、Speech Kit语音、NLP Kit自然语言处理语音扩展能力语音合成、声纹识别、情感检测——超越基础语音识别NLP 核心能力文本摘要、情感分析、实体抽取、意图分类端侧 30B 模型推理速度快 50%、内存少 20%、完全离线运行混合 AI 架构端侧负责实时理解与隐私保护云侧负责高质量生成隐私优先设计所有端侧推理数据不出设备系统级沙箱隔离API 调用模式三步法创建引擎 → 配置参数 → 处理结果项目融合路径理解层用端侧创作层用云端表达层用端侧选型决策矩阵网络、延迟、隐私、精度、功耗——综合评估AI 原生理念AI 作为系统基础设施嵌入每个应用下一篇第 7.5 篇将介绍DevEco CodeAI 编程 Agent 与 Agentic 开发模式学习如何利用 AI 提升鸿蒙应用开发效率。参考文档本文内容基于 HarmonyOS 7API 26AI Kit 开发文档kit.CoreVisionKit— Core Vision Kit 视觉 AI 能力参考kit.CoreSpeechKit— Core Speech Kit 语音 AI 能力参考kit.CoreNLPKit— Core NLP Kit 自然语言处理能力参考端侧 30B 大模型与 openPangu 2.0 混合 AI 架构设计指南
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
