如何快速上手 tinygrad从零开始的最小深度学习框架完整指南【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygradtinygrad 是一个极简的端到端深度学习框架PyTorch 风格的 Tensor API、可见可改的 IR 与编译器、TinyJit 加速机制让你能在 CPU、GPU、WebGPU 等多平台上完成训练与推理并彻底读懂深度学习框架的完整链路。项目概览tinygrad 深度学习框架能做什么一句话定位tinygrad 位于 PyTorch 与 micrograd 之间——比 micrograd 完整带编译器和多后端比 PyTorch 小得多且每个部分都可读。核心特性 带自动求导的 Tensor 库API 风格接近 PyTorch学习成本低⚙️ 内置 IR 与编译器负责 kernel 融合与代码生成整条链路透明可见 TinyJit 图执行机制把 kernel 捕获后重放跳过 Python 开销内置 nn / optim / datasets配合多 GPU 分片Tensor.shard可跑真实训练为什么你需要一个可读懂的深度学习框架框架内部是黑盒。PyTorch、JAX 这类框架功能强但编译与调度层代码量巨大出了问题只能看报错信息。当你想修改一个 kernel 的融合策略、或者想理解 autograd 到底怎么反向传播时动辄百万行的代码库让人无从下手。tinygrad 刻意保持小核心目录tinygrad/的每个模块都可以通读。调试手段有限。训练时经常遇到这步为什么慢这个 kernel 到底生成了什么代码这类问题。大型框架只能借助 profiler 间接观察而 tinygrad 把中间表示和生成代码直接打印出来见下文DEBUG变量调试路径是直的。新硬件接入成本高。想在非主流加速器上跑深度学习通常要写大量适配代码。tinygrad 要求一个后端只需实现约 25 个底层算子见 READMEtinygrad/runtime/里已包含 OpenCL、CUDA、METAL、AMD、NV、QCOM、WebGPU 等现成后端可参考。tinygrad 三大核心机制惰性执行、调度 lowering 与 JIT 重放惰性执行。在 tinygrad 里做a b时什么都不发生只是在图上加一个节点直到调用.realize()或.numpy()才真正计算。类比点菜你先只往菜单上勾菜名厨房调度器最后看完整单发现几道菜可以合并成一道来炒——这就是 kernel 融合的来源。调度与 lowering。按 开发文档tinygrad 分四层Tensor 前端、调度器把计算图切成一个个 kernel、lowering 引擎把 AST 转成目标代码、执行引擎。前端所有语法糖最终都只是构建 UOp 计算图调度器负责把大图拆成可放进单个 kernel 的子图再由 Renderer 渲染成代码、Compiler 编译成二进制。TinyJit 重放加速。官方 MNIST 教程 docs/mnist.md 给出实测同一步训练未用 JIT 约 75 ms套上TinyJit后约 1 ms。原理很朴素——前两次运行正常执行并捕获 kernel第三次起只重放捕获的 kernel跳过全部 Python 调度代码。连 optimizer 更新一起 JIT相当于换数据重放。快速上手安装 tinygrad 并跑通第一个训练最简部署步骤从源码安装 tinygrad官方推荐从源码安装docs/index.md要求 Python 3.11核心库本身无第三方依赖git clone https://gitcode.com/GitHub_Trending/tiny/tinygrad cd tinygrad python3 -m pip install -e .最小配置确认当前默认计算设备安装后无需任何配置即可运行。执行python3 -c from tinygrad import Device; print(Device.DEFAULT)可查看默认设备有 CUDA 的环境显示CUDA纯 CPU 环境显示CPU。想切换后端时用DEV环境变量即可例如DEVAMD:LLVM表示用 AMD 设备加 LLVM 渲染器完整写法见 docs/env_vars.md。启动验证用反向传播确认框架可用下面的示例同时验证了 Tensor 创建、惰性求值和 autograd 三条核心路径from tinygrad import Tensor x Tensor.eye(3).clone() y Tensor([[2.0, 0, -2.0]]) z y.matmul(x).sum() z.backward() print(x.grad.tolist()) # dz/dx print(y.grad.tolist()) # dz/dy能打印出两组梯度说明整个链路工作正常。跑通完整训练MNIST 手写数字分类最完整的入门样例是 examples/beautiful_mnist.py一个两层卷积网络README 标注其约 5 秒可到 98% 精度。模型就是普通类加__call__没有nn.Module用TinyJit装饰训练步函数即可加速。数据集加载只有四行源码在tinygrad/nn/datasets.py可直接阅读。进阶用法环境变量、后端切换与真实模型常用运行时环境变量速查大多数行为通过环境变量控制也支持用Context在代码里临时设置如with Context(DEBUG2): step()变量取值作用DEBUG1-7逐级加深调试输出设备列表 → kernel 计时 → 优化过程 → 生成代码 → UOp 中间表示DEV如AMD、NV:CUDA:sm_70、CPU:LLVM指定设备、渲染器与架构BEAM整数kernel beam search 宽度搜索出本机最快的 kernel 实现并缓存结果VIZ1打开可视化界面查看计算图DEFAULT_FLOATHALF等指定默认浮点 dtype用 tinygrad 跑真实模型examples/目录覆盖视觉、语音、生成式与 LLM 四类任务YOLOv8 目标检测、EfficientNet 分类支持传入图片路径或webcam实时识别、Stable Diffusion 文生图、Whisper 语音、以及 examples/llama.py 对话模型。多 GPU 与性能调优多卡训练只需把模型和数据分别.shard到各 GPUexamples/beautiful_mnist_multigpu.py 给出完整写法BEAM2触发 kernel 搜索搜索一次后结果被缓存官方文档称搜索后速度可对标 PyTorchDEBUG2按 kernel 查看耗时分布DEBUG4直接查看生成的 kernel 源码部署方案与性能优化对比部署方式适用场景技术难度推荐指数本地 CPU 安装学习原理、调试小模型零硬件要求低⭐⭐⭐⭐本地 GPUCUDA / AMD / METAL日常训练与推理Device.DEFAULT自动选择中⭐⭐⭐⭐⭐云 GPU如 Colab T4无本地显卡时快速原型一行 pip 即可装好低⭐⭐⭐⭐多 GPU 分片大模型训练Tensor.shard切分参数与数据高⭐⭐⭐性能侧的主要手段就三个给训练步函数加TinyJit、用BEAM搜索本机最优 kernel、用DEBUG2定位慢 kernel。这三步足以覆盖绝大多数场景不需要额外工具链。tinygrad 常见调用失败原因与解法问怎么确认当前用的是哪个设备答print(Device.DEFAULT)查看默认值显式指定用DEVNV:CUDA:sm_70这类三元组语法设备:渲染器:架构。问为什么我的训练速度比 PyTorch 慢很多答tinygrad 默认不做激进的 dispatch 优化速度依赖TinyJit重放。把整个训练步含 optimizer包进 JIT 函数后官方示例中单步从 75 ms 降到约 1 ms。问迁移 PyTorch 代码要注意什么差异答没有nn.Module和forward模型是普通类 __call__参数用nn.state.get_parameters递归收集很多算子是函数式写法如x.conv2d(w, b)。详见 docs/index.md 的 Differences from PyTorch 一节。问如何查看某一步实际生成了什么 kernel 代码答DEBUG4打印生成代码DEBUG5/6打印 UOp 中间表示DEBUG7打印目标架构汇编。也可以用VIZ1在可视化界面里看计算图。问换了后端结果对不上怎么办答先跑对应后端的测试集例如python3 test/backend/test_ops.py测试语义见 test/各后端的差异大多集中在这套 op 测试中暴露。小结谁适合使用 tinygrad想真正读懂深度学习框架内部的学习者——代码量小到可以通读从 Tensor 到汇编全链路可见需要在 CPU、AMD、NV、WebGPU 等异构平台上统一一套训练代码的开发者受困于框架黑盒、想直接改 kernel 融合或调度策略的工程师需要快速原型且不想装重型依赖的场景——核心库零第三方依赖pip 装完即用tinygrad 用小换来了可维护性它不是为极限性能而生的框架而是让你在几分钟内跑通训练、几小时内看懂编译器的完整深度学习栈。【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考