Chunk标记功能新增功能概述在每个PDF文本块的末尾自动添加特殊标记包含chunk的元数据信息如chunk_id、章节、时间戳等便于在Dify知识库中更好地识别和管理。主要特性1. 自动添加默认启用默认在每个chunk末尾添加标记包含chunk_id、section、timestamp等关键信息2. 高度可定制支持自定义标记格式提供7种可用变量命令行参数控制3. 多种预设格式简洁格式节省token详细格式默认推荐Dify友好格式便于检索完整信息格式适合调试使用示例默认使用python process_papers.py --input ./papers输出示例This paper presents a novel approach... --- [Chunk #1 | Section: Abstract | ---自定义标记python process_papers.py --input ./papers \ --marker-template \n\n[SECTION:{section}] #{chunk_id}禁用标记python process_papers.py --input ./papers --no-marker可用变量变量说明{chunk_id}Chunk编号{section}章节名称{filename}文件名{timestamp}处理时间{year}发表年份{category}论文类型{category_cn}中文类型修改的文件核心代码src/pdf_processor/config.py- 添加chunk标记配置src/pdf_processor/metadata_manager.py- 实现标记生成逻辑src/pdf_processor/processor.py- 集成标记功能process_papers.py- 添加命令行参数工具脚本test_chunk_markers.py- 展示不同格式效果test_chunk_marker_simple.py- 简单测试工具文档CHUNK_MARKER_GUIDE.md- 完整使用指南QUICK_REFERENCE.md- 更新快速参考测试结果✅ 所有测试通过默认标记格式正常自定义标记功能正常CSV输出正确时间戳格式正确推荐配置通用场景推荐python process_papers.py --input ./papers# 使用默认详细格式Token敏感场景python process_papers.py --input ./papers \ --marker-template \n\n--- [#{chunk_id}] ---高级检索场景python process_papers.py --input ./papers \ --marker-template \n\n[EOF_CHUNK]\nid:{chunk_id}\nsection:{section}\n[/EOF_CHUNK]在Dify中的优势快速识别chunk边界- 通过标记快速定位不同chunk按章节检索- 查询特定章节的内容追踪来源- 根据时间戳和文件名追溯来源高级过滤- 结合元数据进行复杂查询常见问题Q: 会影响检索质量吗A: 影响极小标记只占很小的比例。Q: 可以禁用吗A: 可以使用--no-marker参数。Q: 标记中的中文会乱码吗A: 不会使用UTF-8-BOM编码。下一步运行测试查看效果python test_chunk_markers.py处理你的论文python process_papers.py --input ./papers导入Dify知识库并测试检索效果