OpenMed CHW表单去标识化指南ODK、CommCare与KoBoToolbox社区数据本地处理【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmedOpenMed 是一个本地优先的医疗 AI 开源项目其 CHW社区健康工作者表单去标识化功能可以把 ODK Central、CommCare HQ 和 KoBoToolbox 导出的提交数据在本地完成隐私脱敏全程不联网、不调用任何平台 API、患者数据不离开你的网络。对于在社区一线收集调查数据的团队来说这意味着可以在数据离开采集设备之前就完成脱敏。为什么社区数据需要本地去标识化CHWCommunity Health Worker社区健康工作者表单是基层医疗数据的主要载体家访记录、患者姓名、身份证号、就诊日期、家庭经纬度……这些字段混合在 ODK、CommCare、KoBoToolbox 的 JSON 或 CSV 导出里直接上传到云端或发布给合作方都构成隐私风险。传统的做法是把导出文件传到服务器端用通用 NLP 工具处理但 CHW 数据往往来自弱网甚至无网的采集环境。OpenMed 的 CHW 表单处理器openmed/multimodal/chw_forms.py专为这种场景设计100% 本地运行不抓取 ODK Central / CommCare HQ / KoBoToolbox 的任何在线接口也不上传结果结构化感知能识别三大平台导出的嵌套 JSON、斜杠分隔路径 CSV、长表 repeat 导出确定性输出相同输入 相同策略输出完全一致便于审计与复现附带无 PHI 清单生成的 manifest 只含字段路径、策略、计数绝不含原始表单值三大平台导出格式一份代码全兼容XForms 生态里同一份提交会有多种形态OpenMed 的处理器对三种主流平台做了适配对应关系如下平台典型导出形态测试样例文件ODK CentralOData 风格元数据、斜杠路径、repeat 行odk.json / odk.csvCommCare HQ嵌套 form/meta/case 结构、点号路径commcare.json / commcare.csvKoBoToolboxKoBo 元数据、斜杠分隔字段、嵌套 repeatkobo.json / kobo.csv这些合成样例文件都在 tests/unit/multimodal/fixtures/chw_forms/ 目录下你可以放心地拿来做本地演练无需接触真实生产数据。字段策略一览每类字段怎么处理处理器会按斜杠/点号分隔的路径解析出 group/repeat 结构再对叶子字段自动分类并采取默认动作字段形态默认动作_uuid、_submission_time、deviceid、instanceID、case ID确定性哈希人名、电话、出生日期、街道地址规范化标签掩码身份证、患者号、家庭号、记录号确定性哈希就诊/随访日期按记录做确定性日期平移保留时间间隔关系geopoint、geotrace、GPS 坐标经纬度四舍五入泛化移除高程与精度叙述性描述、随访记录、咨询笔记走完整文本去标识化流水线未分类文本含单选/多选答案走文本流水线未检出 PII 的编码值保持原样两个值得注意的设计经纬度只保留圆整后的经纬度。如果要做区级发布建议直接丢弃坐标、改发行政区编码——这与 DHIS2 发布区级以上行政单元而非设施/家庭位置 的规则一致参见 docs/dhis2-export.md。不确定时按最保守处理无法识别为编码值的文本字段不会想当然放过而是进入文本去标识化流水线CSV 中列数与表头不一致的行会被拒绝而不是截断。五分钟上手命令行一步脱敏仓库自带一个文件级示例脚本 examples/chw_form_deid.py一条命令即可完成脱敏并输出无 PHI 的策略清单uv run python examples/chw_form_deid.py \ tests/unit/multimodal/fixtures/chw_forms/odk.json \ --platform odk \ --output /tmp/odk.deidentified.json \ --manifest /tmp/odk.manifest.json常用开关--platform odk | commcare | kobo显式指定平台有平台元数据时可省略--drop-metadata直接删除平台元数据而非哈希--drop-geopoints直接丢弃地理坐标字段而非泛化运行完成后--output得到脱敏后的同构导出JSON 键序稳定、CSV 表头与行序稳定--manifest得到字段级策略清单。完整 API 用法redact_chw_form函数与策略参数详见官方文档 docs/chw-form-deid.md。进阶按需覆盖默认策略如果你的项目有自定义字段可以在策略里做两点映射无需改动代码header_heuristics把项目自定义列名映射到规范标签例如把beneficiary_alias声明为 PERSONaction_overrides对指定字段路径单独指定keep、mask、hash、drop、date_shift、free_text_redact或generalize_geo动作例如某项目要求家访其他答案走文本脱敏、家庭坐标整列删除只需在策略里各加一行声明即可。删除 CSV 字段会移除整列删除 JSON 字段则移除对应键repeat 列表与嵌套结构会完整保留。隐私边界它做什么、不做什么使用 CHW 表单处理器前请明确它的能力边界这也是 docs/chw-form-deid.md 中的 Privacy Boundary 一节✅ 只处理本地文件导出JSON / CSV / TSV✅ 文本叙述字段复用 OpenMed 常规去标识化流水线需要离线时可将模型缓存在机构机器上❌ 不抓取 ODK Central / CommCare HQ / KoBoToolbox 在线数据也不上传结果❌ 媒体附件照片等需要走现有的图片/OCR 脱敏路径测试中请只使用仓库内的合成样例tests/unit/multimodal/test_chw_forms.py 覆盖了三大平台的导出形态延伸阅读功能总览docs/feature-map.md示例索引docs/examples.md含chw_form_deid.py条目多模态脱敏入口openmed/multimodal/表格类数据脱敏docs/duckdb-deidentification.mdCHW 表单去标识化的核心价值就一句话让社区数据在离开采集现场之前就成为一份可以安全共享的资产。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考