【免费下载链接】Cybersecurity-ProjectsBuilding 70 Projects ranging from beginner to advanced so anyone can — learn from, build upon, use as a reference, or even copy directly. Gamified Cybersecurity learning 项目地址https://gitcode.com/gh_mirrors/cy/Cybersecurity-Projects点击查看免费下载b64tool是 Cybersecurity-Projects 仓库中一个面向安全分析场景的多格式编码/解码命令行工具它同时支持 Base64、Base64URL、Base32、十六进制与 URL 百分号编码并以**递归多层剥离recursive layer peeling**为核心特色——给定一段编码文本它能自动识别格式、逐层解码直到还原出最底层的原始数据。阅读完本文你将掌握编码与加密的本质区别、五种编码在字节层面的工作原理、各格式的模式识别与置信度打分算法并能够使用和扩展一套基于 Typer Rich 的整洁、类型安全的 Python CLI。项目能做什么一个洋葱解码器安全实战中最常遇到的不是单一编码而是多层嵌套编码攻击者把 payload 先做 base64再 hex 编码最后 URL 编码一次用来绕过 Web 应用防火墙WAF的检测。b64tool 的处理思路像剥洋葱——它拿到一段编码文本后自动判断它属于哪种编码格式解码该层检查解码结果本身是否仍是编码文本如果是继续识别并解码下一层直到命中原始数据为止。日常安全工作中处处可见编码数据JWT Token 是 base64数字证书是 base64抓包和恶意软件分析中出现的是 hex dump每个 Web 请求里都带着 URL 编码。b64tool 把这五种格式统一到一个 CLI 里并自动完成多层解码。该项目的定位与完整脉络见 00-OVERVIEW.md后续 01-CONCEPTS.md、02-ARCHITECTURE.md、03-IMPLEMENTATION.md、04-CHALLENGES.md 分别展开概念、系统设计、代码走读与扩展练习。环境准备与快速上手前置要求Python 3.14pyproject.toml 中声明requires-python 3.14代码中还使用了 3.11 的StrEnum、3.12 的 PEP 695type语句等新特性uv包管理器用于同步依赖与运行命令基本的命令行操作能力了解 bytes 与字符串的区别会有帮助非必需。安装并查看帮助cd PROJECTS/beginner/base64-tool uv sync uv run b64tool --helpuv sync会按 pyproject.toml 解析并锁定依赖typer、rich以及 dev 分组下的 pytest、hypothesis、mypy、ruff 等随后即可通过uv run调用命令行入口b64tool由[project.scripts]中的b64tool base64_tool.cli:app注册。基础命令速测uv run b64tool encode Hello World # Output: SGVsbG8gV29ybGQ uv run b64tool decode SGVsbG8gV29ybGQ # Output: Hello World uv run b64tool detect SGVsbG8gV29ybGQ # Shows: base64, 95% confidence多层编码链chain与剥离peeluv run b64tool chain alert(xss) --steps base64,hex # Produces a hex-encoded base64 string uv run b64tool peel 5957786c636e516f4a33687a63796370 # Peels: hex → base64 → alert(xss)管道Pipe支持echo SGVsbG8 | uv run b64tool decode cat encoded_payload.txt | uv run b64tool peel命令行默认格式为 base64--format/-f可显式选择base64、base64url、base32、hex、url五种格式由 constants.py 中的EncodingFormat(StrEnum)枚举直接驱动Typer 自动生成选项列表无需单独写校验代码。核心概念编码 ≠ 加密这是本项目中最重要的概念混淆二者会造成真实的漏洞。编码Encoding把数据转换成另一种表示形式任何人在没有密钥的情况下都能还原。Base64 的安全性和用儿童语言pig latin书写一样——没有秘密可言。加密Encryption使用密钥对数据进行变换没有密钥就无法恢复原文。AES、RSA、ChaCha20 才是加密。CWE-261Weak Encoding for Password就是专门针对用弱编码当密码加密的漏洞分类。2018 年D-Link 摄像头CVE-2017-8417曾把管理员凭据以 base64 形式存储在设备上任何能访问网络的攻击者都能瞬间解码。判断规则如果不需要密码或密钥就能还原那就是编码。编码是为了兼容性不是安全性。Base64 的字节级工作原理Base64 把二进制数据转换成 64 个可打印 ASCII 字符字母表为A-Z、a-z、0-9、、/用做填充。编码过程取输入字节按位流读取按 6 位分组不是 8 位把每个 6 位值0–63映射到字母表中的一个字符。为什么是 6 位因为 2^6 64恰好对应 64 个可能的取值。Input: Hi Bytes: 0x48 0x69 Binary: 01001000 01101001 Split into 6-bit groups: 010010 | 000110 | 1001xx Pad the last group with zeros: 010010 | 000110 | 100100 Map to alphabet: 18 → S 6 → G 36 → k Add padding (input was 2 bytes, need 1 pad): Result: SGk三个输入字节恰好产生四个输出字符。当输入长度不能被 3 整除时会出现填充剩 1 个字节补剩 2 个字节补。Base64URL 变体标准 base64 的和/在 URL 中属于特殊字符。Base64URLRFC 4648 Section 5把它们替换为-和_。JWT 和许多 API Token 都使用 base64url——如果看到像 base64 的字符串里含有-或_那大概率是 base64url。体积开销3 字节变 4 字符即 33% 的体积膨胀。1 MB 文件 base64 后约 1.33 MB。这正是 base64 最初为 MIME 邮件附件而生的原因在 HTML 内嵌图片等场景需要留意开销。Base32 工作原理与 base64 思路相同但只使用 32 个字符A-Z和2-7按 5 位分组。什么时候优先用 base32 而非 base64对大小写敏感的字符集有要求的环境。DNS 名称不区分大小写base64 在其中不可靠TOTPGoogle Authenticator的共享密钥用 base32因为人类手输密钥时更容易混淆大小写字母。Base32 输出比 base64 更长60% 开销 vs 33%代价是更少的字符集合换来更少的歧义问题。十六进制Hex编码Hex 把每个字节表示为0-9、a-f中的两个字符是字节到文本的直接映射。Input: Hi Bytes: 0x48 0x69 Hex: 4869100% 的体积开销每个字节变成两个字符但它是直白、普遍可读的编码。常见场景包括MAC 地址aa:bb:cc:dd:ee:ff、颜色代码#FF5733、抓包与 hex dump、恶意软件哈希签名如d41d8cd98f00b204e9800998ecf8427e、二进制文件分析。URL 编码百分号编码URL 中保留字符?、、、/、#等具有特殊含义URL 编码用%XX替换不安全字符XX为十六进制值。Input: hello worldkeyval Encoded: hello%20world%26key%3Dval注意标准 URL 编码中空格是%20而表单编码application/x-www-form-urlencoded中空格是。Web 安全测试必须区分这两种形式——b64tool 的encode_url/decode_url通过form关键字参数同时支持两者见 encoders.py。RFC 4648 与严格解码RFC 4648 是 Base16/Base32/Base64 编码的权威标准要点包括定义精确的字母表与填充规则规定解码器何时必须拒绝畸形输入、何时可以接受Base64 填充字符只能出现在末尾接受非字母表字符的解码器会带来安全问题填充预言攻击 padding oracle attacks 由此成为可能。Python 的base64模块遵循 RFC 4648。b64tool 在 decode_base64 中传入validateTrue强制严格合规——不传该参数时Python 解码器会静默忽略非字母表字符传入后任何非法字符都会抛出binascii.Error。其余解码函数同样做了健壮化处理base64/base64url 解码前用.join(data.split())去除所有空白MIME 标准按 76 字符换行base32 解码前.upper()大小写归一hex 解码时剥离空格、冒号、短横线、句点等常见分隔符因此AA:BB:CC、AA BB CC、AA-BB-CC、AABBCC都能正确解码见 encoders.py。编码在攻击中的角色双重编码绕过 WAFWeb 应用防火墙会检查请求参数中的恶意内容。如果 payload 做一次 URL 编码WAF 解码一次并检查。但如果双重编码呢Payload: scriptalert(1)/script Single: %3Cscript%3Ealert(1)%3C/script%3E ← WAF catches this Double: %253Cscript%253Ealert(1)%253C/script%253E ← WAF decodes once, sees %3C (looks harmless), passes it throughWeb 服务器会再次解码浏览器最终拿到原始 XSS payload。这属于 OWASP A05:2025 注入类目。即便在 2026 年配置不当的 WAF 依然会被双重编码绕过——这正体现了自动多层解码工具的价值。多层混淆恶意软件场景DARKGATE 恶意软件在地下论坛活跃售卖使用自定义非标准 base64 字母表编码其配置与键盘记录输出。旧版本使用硬编码的自定义字母表5.2.3 版本根据硬件 ID 种子随机化字母表。Kroll 的研究人员发现弱点硬件 ID 是 32 字节 ASCII MD5 哈希DARKGATE 把这些字节求和作为种子和值熵有限使得暴力恢复自定义字母表可行。这正是理解编码重要性的原因真实恶意软件使用真实的编码技巧分析师必须能解码它们。数据外渗攻击者通过把数据编码后嵌入看似正常流量来外渗数据DNS TXT 记录查询中的 base64 数据HTTP 头中的 hex 编码 payload看起来像分析追踪的查询参数中的 URL 编码数据。b64tool 这类工具帮助防御方识别并解码这些模式。编码格式检测模式识别与置信度打分如何判断一段字符串属于哪种编码模式匹配加启发式规则。Base64 信号字符来自A-Za-z0-9/长度能被 4 整除以 0、1、2 个结尾大小写混合。Base32 信号全大写A-Z加数字2-7长度能被 8 整除填充为 0、1、3、4、6 个。Hex 信号仅0-9和a-f或A-F长度为偶数大小写一致有时带分隔符:、-、空格。URL 编码信号含有%XX序列其中XX为合法十六进制。棘手之处某些字符串同时匹配多种格式。比如 hex 字符串CAFE在补齐 8 位后也是合法 base32在长度凑巧时也是合法 base64。因此好的检测必须采用置信度打分而非二值判定。b64tool 对每种格式给出 0.0–1.0 的置信度并排序detector.py。打分器架构与权重明细每种格式对应一个Callable[[str], float]打分函数注册在_SCORERS字典中detector.py与编码器的注册表模式同构——新增格式只需写一个打分函数并注册一条字典项。所有打分器遵循相同结构快速拒绝字符集检查、长度检查如长度 4、长度不是 4 的倍数等直接返回 0.0基于结构信号累积置信度尝试实际解码若解码结果可打印文本则加分结果裁剪到 [0.0, 1.0]。关键阈值与权重定义在 constants.py常量值含义PEEL_MAX_DEPTH20剥离最大层数防止病态输入无限运行CONFIDENCE_THRESHOLD0.6检测成立的最低置信度低于此即判定无匹配MIN_INPUT_LENGTH4检测所需的最短输入长度PREVIEW_LENGTH72预览截断长度PRINTABLE_RATIO_THRESHOLD0.8可打印文本判定的最小可打印字符比例以 base64 打分器detector.py为例其计分过程最能说明问题基线 0.4字符集 长度整除 4 通过0.1 合法填充0/1/2 个0.1 含或/区别于 hex/base320.1 大小写混合-0.2 无信号惩罚没有大写字母且没有/特殊字符时扣分0.05 长度 ≥ 80.15 解码成功0.15 解码结果为可打印文本。那个 -0.2 惩罚至关重要全小写十六进制串6132666338若不加惩罚会以 0.85 的高分被误判为 base64加了惩罚后降到 0.65而 hex 打分器会给它 0.80——hex 胜出。Hex 与 Base64 的消歧难题这是检测中最难的问题。考虑 hex 字符串6332566a636d563049484268655778765957513d它是 hex 编码的c2VjcmV0IHBheWxvYWQ后者又是 base64 编码的secret payload。该串每个字符0-9、a-f都是合法 base64 字符长度恰好被 4 整除。解决方案是两个信号配合base64 打分器的大小写检查hex 串通常全小写或全大写base64 几乎总是大小写混合无大小写且无特殊字符时 base64 扣 0.2hex 打分器的一致性加成detector.py所有字母字符大小写一致时 hex 0.1。两者配合使该串的 hex 得分约 0.80、base64 得分约 0.50可靠分离。URL 打分器detector.py不走字符集检查而是用正则%[0-9a-fA-F]{2}统计百分号编码占比置信度随编码字符占输入总长度的比例放大URL_BASE0.3min(ratio * 0.4, 0.35)并判断解码结果是否与原文不同来加分。系统架构与数据流设计哲学单职责模块每个模块只有一份职责见 02-ARCHITECTURE.mdencoders.py数据变换detector.py格式打分peeler.py编排递归解码formatter.py渲染输出cli.py把用户输入接到函数上constants.py/utils.py无内部依赖的底层支撑。新增编码格式只需动encoders.py和detector.pyCLI、formatter、peeler 都不变。模块依赖图有向无环cli.py ├── constants.py (EncodingFormat, ExitCode, PEEL_MAX_DEPTH) ├── encoders.py (encode, decode, encode_url, decode_url) ├── detector.py (detect_encoding) ├── peeler.py (peel) ├── formatter.py (print_encoded, print_decoded, print_detection, print_peel_result, print_chain_result) └── utils.py (resolve_input_bytes, resolve_input_text) peeler.py → constants.py, detector.py(detect_best), utils.py detector.py → constants.py, encoders.py(try_decode), utils.py(is_printable_text) formatter.py→ constants.py, detector.py(类型), peeler.py(类型), utils.py encoders.py → constants.py依赖箭头始终向下constants.py与utils.py位于底层零依赖cli.py位于顶层从各处导入。这是一个有向无环图DAG一旦出现循环导入Python 会立刻报错。五个命令的数据流encoderesolve_input_bytes()utils.py把参数/文件/stdin 统一转为字节→encode(raw, fmt)通过ENCODER_REGISTRY分发 → 格式专用编码函数 →print_encoded()终端显示 Rich 面板管道输出原始文本。decoderesolve_input_text()统一转为去除首尾空白的文本→decode(text, fmt)分发 → 格式专用解码函数返回字节 →print_decoded()formatter.py 用safe_bytes_preview安全预览能 UTF-8 解码则显示文本否则退回 hex。detectdetect_encoding(text)运行全部五个打分器按 0.6 阈值过滤、置信度降序排序print_detection()渲染 Rich 表格格式、置信度百分比、解码预览。peel核心特色peel(text, max_depth20)peeler.py迭代循环detect_best(current_text)取最高置信度检测三个终止条件无检测、低于阈值、解码返回 None记录PeelLayer深度、格式、置信度、前后预览解码并把结果作为下一轮输入若解码结果无法按 UTF-8 解码则停止。chainresolve_input_bytes()→_parse_chain_steps(base64,hex,url)cli.py 对每个格式名 strip、小写、对照枚举校验非法名称报错并列出合法选项→ 按序循环encode()每一步的编码字符串作为下一步输入 →print_chain_result()分步展示。关键设计模式注册表模式RegistryENCODER_REGISTRY: dict[EncodingFormat, tuple[EncoderFn, DecoderFn]]encoders.py替代一串if fmt ...分支派发就是字典查找def encode(data: bytes, fmt: EncodingFormat) - str: encoder_fn, _ ENCODER_REGISTRY[fmt] return encoder_fn(data)URL 条目用 lambda 包装因为encode_url多一个form参数需要适配统一的EncoderFn签名。这体现了开闭原则对扩展开放、对修改关闭。冻结数据类Frozen DataclassesDetectionResult、PeelLayer、PeelResult均使用dataclass(frozenTrue, slotsTrue)。冻结保证创建后字段不可变slots 省去每实例的__dict__内存更省、速度略快适合流水线中流转且不应被改动的数据。管道友好的输出is_piped()formatter.py检测sys.stdout.isatty()。管道模式下 stdout 只写原始文本write_raw终端模式下输出 Rich 面板/表格/颜色。所有 Rich 诊断输出走 stderrConsole(stderrTrue)确保管道数据不被污染——这是很多 CLI 工具都做错的标准 Unix 约定。PEP 695 类型别名type EncoderFn Callable[[bytes], str] type DecoderFn Callable[[str], bytes]encoders.py替代typing.TypeAlias文档化了契约编码器输入 bytes 输出 str解码器输入 str 输出 bytes。错误处理策略双层处理模块层的try_decode()encoders.py捕获ValueError、binascii.Error、UnicodeDecodeError、UnicodeEncodeError并返回Nonedetector 和 peeler 借它优雅处理解码失败而不崩溃CLI 层每个命令用 try/except 包裹typer.BadParameter原样重抛Typer 会友好格式化其余异常统一输出[red]Error:[/red]消息并以退出码 1 退出。中间模块detector、peeler从不自行捕获异常只检查try_decode()的None返回值错误处理保持在边界而非散落在业务逻辑中。为什么不用类核心模块的行为都不是类只有数据用了类EncodingFormat、DetectionResult、PeelLayer、PeelResult。编码器是纯函数打分器是纯函数peeler 是函数没有需要封装的共享可变状态因此没有用类的理由。Encoder类只会增加间接层而不增加价值注册表字典以更少的仪式实现同样的多态。这正是 Python 的惯用法数据用类行为用函数。源码走读五个核心模块constants.py — 一切依赖的根基无业务逻辑只有定义constants.pyEncodingFormat(StrEnum)5 种格式成员同时是字符串EncodingFormat.BASE64 base64为真字符集均为Final[frozenset[str]]O(1) 成员测试Final让 mypy 保证常量不被重新赋值ScoreWeight类集中存放每种格式的每一项计分权重上述表格中的 0.4/0.1/0.2 等全部来自这里。encoders.py — 纯变换五种格式各自的 encode/decode 函数 注册表 try_decode。实现细节encoders.pydecode_base64用validateTrue严格校验RFC 4648base64/base64url 解码前去空白兼容 MIME 76 字符换行base32 解码前大写归一hex 解码剥离 、:、-、.四种分隔符URL 编解码支持form关键字参数def encode_url(data: bytes, *, form: bool False)用*强制关键字传参防止误用位置参数。detector.py — 置信度打分核心产物DetectionResultfrozen dataclassformat、confidence 0.0–1.0、decoded bytes 或 None。五个打分器按_SCORERS注册表分发。detect_encoding汇总所有超过 0.6 的结果并按置信度降序detect_best返回最高分项。相比二值的是/不是 base64检查打分制能表达80% 是 hex、50% 是 base64并排序。peeler.py — 递归剥离peel()是迭代而非递归实现for 循环配max_depth上限规避 Python 递归的栈帧开销与RecursionError风险。每轮detect_best→ 检查三个终止条件 → 记录PeelLayer→ 解码 → 尝试 UTF-8 解码作为下一轮文本。UTF-8 检查peeler.py是自然停止条件当命中底层原始数据可能是二进制时无法 UTF-8 解码循环结束同时避免在二进制垃圾里检测编码。PeelResult.layers用 tuple冻结结果内不应再有可变集合final_output用 bytes最终内容可能是二进制success表示是否至少剥下一层。formatter.py — 终端输出Rich 面板/表格全部走 stderr_confidence_colorformatter.py做置信度配色≥0.9 绿色、≥0.7 黄色、否则红色在 peel 输出中直观呈现检测可信度。cli.py — 接线层Typer 应用cli.pyno_args_is_helpTrue让无子命令时显示帮助pretty_exceptions_show_localsFalse防止崩溃时倾倒局部变量可能泄露正在编解码的敏感数据。所有参数使用Annotated[type, typer.Option(...)]现代 Typer 风格。--max-depth/-d覆盖剥离深度上限--verbose/-V展示每层/每种格式的得分明细。退出码ExitCode0/1/2定义在 constants.py。utils.py — 输入解析resolve_input_bytes/resolve_input_text按相同优先级取值--file文件 → 位置参数 → stdin仅当 stdin 非 TTY 时都没有则抛typer.BadParameter。编码处理字节可编码二进制文件解码处理文本编码字符串总是 ASCII 安全所以分成两个函数。is_printable_text要求至少 80% 的字符可打印或为\n/\r/\t防止碰巧解码成功的二进制数据拿到可读文本加分。测试验证78 个用例的覆盖维度项目测试目录包含五个测试文件teststest_cli.py通过 Typer 的 CliRunner 驱动全部命令、test_detector.py每种格式的检测准确率、test_encoders.py直接测全部编解码函数、test_peeler.py单层与多层剥离、test_properties.pyproperty-based 往返测试Hypothesis 随机输入验证 encode→decode 一致性。配合 pyproject.toml 中testpaths [tests]的配置可用uv run pytest一键执行。实战场景速查场景推荐命令解码单个 base64 串uv run b64tool decode SGVsbG8解码 MAC 地址格式 hexuv run b64tool decode AA:BB:CC:DD:EE:FF -f hex处理带换行的 MIME base64直接decode内部自动去空白识别一段未知文本的编码uv run b64tool detect ...加-V看各格式分数明细剥多层混淆载荷uv run b64tool peel 5957786c636e516f4a33687a63796370构造双层混淆样例uv run b64tool chain alert(xss) --steps base64,hex批量解码文件uv run b64tool decode --file payload.txt接入自动化管线echo ... \| uv run b64tool decode管道模式输出纯文本延伸挑战从入门到专家04-CHALLENGES.md 提供了一条从易到难的练习路线Easy添加 ROT13 编码难点在打分器——如何区分 ROT13 文本与普通 ASCII 文本需要字母频率/常见词启发式给detect/peel加--json机器可读输出对接 SOAR/SIEM 自动化加-o/--output文件输出解码二进制 payload 需要精确字节落盘。MediumASCII85Base85PDF 恶意软件中常见处理 Adobe~...~变体decode-chain命令--steps base64,hex逆序解码用于验证 peel 结果hexdump命令解码后按偏移/hex/ASCII 三栏显示。Hard自定义 base64 字母表复刻 DARKGATE 的自定义字母表混淆深入学习位操作编码频率分析批量 IOC 分类流式模式处理超大文件3 字节/4 字符为单位读入生成器保持常量内存。Expert解码输出的二进制格式检测魔数识别 PNG/ELF/PE/PDFDARKGATE loader 解码后是 DLLShannon 熵分析熵 7.5 说明已加密而非编码是恶意软件分析的第一道分诊对接 CyberChef recipeJSON 配方导入导出与安全运营社区共享的配方互操作。结语b64tool 的价值不在于多支持了几种编码而在于把多层编码剥离这一恶意软件分析与 WAF 绕过场景中的高频需求实现为一个干净、可扩展、带置信度解释的 CLI。编码不是加密——所有能无密钥还原的都是编码理解各格式的字节级原理、掌握模式识别的置信度打分才能在海量含噪数据中可靠地还原被层层包装的真实内容。从本仓库的 README.md 开始运行沿着 learn 目录的五篇文档逐层深入你就能把这份实战能力沉淀为自己的安全分析工具箱。赞分享【免费下载链接】Cybersecurity-ProjectsBuilding 70 Projects ranging from beginner to advanced so anyone can — learn from, build upon, use as a reference, or even copy directly. Gamified Cybersecurity learning 项目地址https://gitcode.com/gh_mirrors/cy/Cybersecurity-Projects点击查看免费下载相关推荐k-skill 项目 ohou-today-deal 技能实战基于 __NEXT_DATA__ 解析 오늘의집 오늘의딜特价商品k skill 项目 ohou today deal 技能实战基于 __NEXT_DATA__ 解析 오늘의집 오늘의딜特价商品 本篇技术指南聚焦 k skiCrypto数据编码Base64、Hex和Base32完整教程Crypto数据编码Base64、Hex和Base32完整教程 在当今数据驱动的世界中 Crypto数据编码 技术已成为安全通信和数据处理的核心组成密码学后端CPython base64 模块完全指南Base16、Base32、Base64 与 Base85 数据编码实战CPython base64 模块完全指南Base16、Base32、Base64 与 Base85 数据编码实战 base64 是 CPython 标准库中编程语言语言运行时解释器标准库上一篇YimMenu怎么用GTA5玩家必备的崩溃防护与玩法增强实用指南下一篇3大核心功能big-AGI的多模态AI应用实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考