ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

补充篇: 百万行流式导出实战

2026/9/1 18:39:21 拓冰建站 浏览量
补充篇: 百万行流式导出实战 百万行流式导出实战阶段:补充篇 / 查询能力 + 工程实践主题:把 ES 里百万级数据稳定导出成 CSV / Excel(对应本项目 3S Report 导出)PostgreSQL 对照:COPY (SELECT ...) TO STDOUT流式导出 / 游标DECLARE CURSOR1. 概念第 18 篇讲的是「翻页给用户看」——一次几十条。导出百万行是另一类问题:不是「翻到第几页」,而是「不爆内存、不超时地把全量数据一条条吐到文件里」。核心矛盾与对策:风险原因对策OOM 内存溢出把百万行全add进List再写边查边写,一页处理完就 flush,不在内存攒全量请求超时单次拉太多 / 翻页太慢用search_after+ PIT 游标,稳定分页