做Python开发存大量布尔值的时候你肯定遇到过内存问题线性筛素数、用户标签、特征标记、布隆过滤器、位图索引数据量一上来内存直接爆list占内存大numpy不够灵活自己写位数组又麻烦。今天这篇从新手到高手一步步带你优化布尔数组存储从最开始的1MB一步步优化到100KB每一步都有可落地的代码90%的人优化到第3步就以为到极限了最后一步才是真正的开箱即用方案。—## 第1步新手写法——用list存布尔值内存浪费严重刚学Python的新手存布尔值第一反应都是用listpythonarr [i % 10 0 for i in range(1_000_000)] # 100万个值10%为True跑起来你会发现这玩意直接吃了约1MB内存数据量到1亿就是100MBGC压力大。为什么因为Python里的bool是完整对象每个值都有对象头大量存的时候浪费非常严重。你以为这是Python的问题别急往下看。—## 第2步入门优化——换numpy数组内存直接省87%有点经验的开发者会换numpy bool数组pythonimport numpy as nparr np.zeros(1_000_000, dtypenp.bool_)arr[::10] True同样100万个值numpy只占约125KB比list省了87%的内存新手到这一步就觉得numpy真牛这就是极限了吧太天真了。你仔细想如果你的数据里只有10%是True剩下90%都是Falsenumpy还是老老实实给每个False都存1字节这部分完全可以只存True的位置内存还能再省。—## 第3步进阶技巧——自己实现稀疏数组内存再省80%知道稀疏存储的开发者会自己写只存True的索引其他默认False比如pythontrue_indexes list(range(0, 1_000_000, 10)) # 只存True的位置def get(arr, i): return i in arr但是你实际测一下就会发现Python的int每个占28字节10万个索引反而占2.8MB比numpy还大。而且自己实现稀疏数组有个大问题如果数据变密集了稀疏存储反而更占内存访问速度还慢你得自己判断什么时候用稀疏什么时候用密集非常麻烦。90%的人到这一步就卡住了不知道怎么平衡内存和速度。—## 第4步高阶优化——自动切换密集/稀疏模式其实最优方案是自动切换- 数据密集、长度固定的位置用numpy.ndarray存访问速度快- 数据稀疏、长度变化频繁的位置用array.array存索引内存小修改不用创建新实例- 自动识别稀疏模式大部分False异常True和非稀疏模式大部分True异常False- 支持和list一样的索引、切片、赋值操作不用改业务代码但是自己实现这个太麻烦了要处理自动切换、扩容、切片、位运算、序列化没个几千行代码下不来还要处理各种边界情况。—## 第5步现成轮子——开箱即用的BoolHybridArray如果你不想自己写几千行代码实现这些优化有个开源库已经把这些都做好了叫bool-hybrid-array你直接拿来用就行bash# 安装推荐用uv更快pip install uvpython -m uv pip install cython # 可选Cython优化推荐安装python -m uv pip install bool-hybrid-array使用和普通list一模一样零学习成本pythonfrom bool_hybrid_array import BoolHybridArr, TruesArray, FalsesArray# 创建数组和list用法一样arr BoolHybridArr([i % 10 0 for i in range(1_000_000)])print(arr[0]) # 访问元素和list一样print(arr[1:10]) # 切片也支持arr[5] True # 赋值也支持在100万值10%为True/False的场景下它只占约100KB内存比普通list省90%随机访问速度和list基本一致还自动帮你切换存储模式不用自己判断。—## 更多实用功能除了基础的数组操作它还有很多方便的功能1.位运算支持直接做 | ^ ~ 等位运算写布隆过滤器、位图索引非常方便2.二维数组支持BHA_List可以模拟二维布尔数组还能指定用原生bool/numpy.bool_/BHA_Bool类型3.高性能队列内置BHA_Queue双栈队列均摊O(1)入队出队4.IO流支持内置cin/cout/fstream读写文件速度快还支持自定义类输入输出5.自动优化调用arr.optimize()自动调整存储模式始终保持最优内存6.内存查看arr.memory_usage(detailTrue)可以看详细内存占用和优化建议7.兼容numpy可以直接转numpy数组和现有numpy代码无缝衔接8.支持哈希可以放到set、dict里当key用9.大整数/浮点数支持还有IntHybridArray存超大整数、FloatHybridArray存浮点数同样省内存—## 最后Python内存优化不是一蹴而就的从新手用list浪费内存到自动切换密集稀疏存储中间差的不只是一个库更是对数据结构的理解。当然也不是所有场景都要优化到极致大部分场景用numpy就够了只有当你真的遇到内存瓶颈存大量布尔值的时候这个库能帮你省90%的内存还不用改太多代码。这个库全网已经有14万下载了MIT协议完全开源免费可商用项目地址- Giteehttps://gitee.com/BKsell/bool-hybrid-array- GitHubhttps://github.com/BKsell/bool-hybrid-array内存优化
做Python开发存大量布尔值的时候你肯定遇到过内存问题线性筛素数、用户标签、特征标记、布隆过滤器、位图索引数据量一上来内存直接爆list占内存大numpy不够灵活自己写位数组又麻烦。今天这篇从新手到高手一步步带你优化布尔数组存储从最开始的1MB一步步优化到100KB每一步都有可落地的代码90%的人优化到第3步就以为到极限了最后一步才是真正的开箱即用方案。—## 第1步新手写法——用list存布尔值内存浪费严重刚学Python的新手存布尔值第一反应都是用listpythonarr [i % 10 0 for i in range(1_000_000)] # 100万个值10%为True跑起来你会发现这玩意直接吃了约1MB内存数据量到1亿就是100MBGC压力大。为什么因为Python里的bool是完整对象每个值都有对象头大量存的时候浪费非常严重。你以为这是Python的问题别急往下看。—## 第2步入门优化——换numpy数组内存直接省87%有点经验的开发者会换numpy bool数组pythonimport numpy as nparr np.zeros(1_000_000, dtypenp.bool_)arr[::10] True同样100万个值numpy只占约125KB比list省了87%的内存新手到这一步就觉得numpy真牛这就是极限了吧太天真了。你仔细想如果你的数据里只有10%是True剩下90%都是Falsenumpy还是老老实实给每个False都存1字节这部分完全可以只存True的位置内存还能再省。—## 第3步进阶技巧——自己实现稀疏数组内存再省80%知道稀疏存储的开发者会自己写只存True的索引其他默认False比如pythontrue_indexes list(range(0, 1_000_000, 10)) # 只存True的位置def get(arr, i): return i in arr但是你实际测一下就会发现Python的int每个占28字节10万个索引反而占2.8MB比numpy还大。而且自己实现稀疏数组有个大问题如果数据变密集了稀疏存储反而更占内存访问速度还慢你得自己判断什么时候用稀疏什么时候用密集非常麻烦。90%的人到这一步就卡住了不知道怎么平衡内存和速度。—## 第4步高阶优化——自动切换密集/稀疏模式其实最优方案是自动切换- 数据密集、长度固定的位置用numpy.ndarray存访问速度快- 数据稀疏、长度变化频繁的位置用array.array存索引内存小修改不用创建新实例- 自动识别稀疏模式大部分False异常True和非稀疏模式大部分True异常False- 支持和list一样的索引、切片、赋值操作不用改业务代码但是自己实现这个太麻烦了要处理自动切换、扩容、切片、位运算、序列化没个几千行代码下不来还要处理各种边界情况。—## 第5步现成轮子——开箱即用的BoolHybridArray如果你不想自己写几千行代码实现这些优化有个开源库已经把这些都做好了叫bool-hybrid-array你直接拿来用就行bash# 安装推荐用uv更快pip install uvpython -m uv pip install cython # 可选Cython优化推荐安装python -m uv pip install bool-hybrid-array使用和普通list一模一样零学习成本pythonfrom bool_hybrid_array import BoolHybridArr, TruesArray, FalsesArray# 创建数组和list用法一样arr BoolHybridArr([i % 10 0 for i in range(1_000_000)])print(arr[0]) # 访问元素和list一样print(arr[1:10]) # 切片也支持arr[5] True # 赋值也支持在100万值10%为True/False的场景下它只占约100KB内存比普通list省90%随机访问速度和list基本一致还自动帮你切换存储模式不用自己判断。—## 更多实用功能除了基础的数组操作它还有很多方便的功能1.位运算支持直接做 | ^ ~ 等位运算写布隆过滤器、位图索引非常方便2.二维数组支持BHA_List可以模拟二维布尔数组还能指定用原生bool/numpy.bool_/BHA_Bool类型3.高性能队列内置BHA_Queue双栈队列均摊O(1)入队出队4.IO流支持内置cin/cout/fstream读写文件速度快还支持自定义类输入输出5.自动优化调用arr.optimize()自动调整存储模式始终保持最优内存6.内存查看arr.memory_usage(detailTrue)可以看详细内存占用和优化建议7.兼容numpy可以直接转numpy数组和现有numpy代码无缝衔接8.支持哈希可以放到set、dict里当key用9.大整数/浮点数支持还有IntHybridArray存超大整数、FloatHybridArray存浮点数同样省内存—## 最后Python内存优化不是一蹴而就的从新手用list浪费内存到自动切换密集稀疏存储中间差的不只是一个库更是对数据结构的理解。当然也不是所有场景都要优化到极致大部分场景用numpy就够了只有当你真的遇到内存瓶颈存大量布尔值的时候这个库能帮你省90%的内存还不用改太多代码。这个库全网已经有14万下载了MIT协议完全开源免费可商用项目地址- Giteehttps://gitee.com/BKsell/bool-hybrid-array- GitHubhttps://github.com/BKsell/bool-hybrid-array内存优化
)
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
