ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

下载下来的transformers 模型如何使用,里边包含了模型推理 再训练 Hugging Face Transformers 模型目录

2026/8/14 2:44:28 拓冰建站 浏览量
下载下来的transformers 模型如何使用,里边包含了模型推理 再训练 Hugging Face Transformers 模型目录

best_train_model你自己(或训练脚本)保存下来的一个 Hugging Face Transformers 模型目录,里边包含了模型推理/再训练所需的全部文件。根据你列出的文件,可以推断:

  1. 模型文件

    • model.safetensors —— 真正的权重(采用 safetensors 格式,比旧的 pytorch_model.bin 更安全、更快)。
  2. 词表 / 分词器

    • vocab.jsonmerges.txttokenizer.jsontokenizer_config.jsonspecial_tokens_map.jsonpreprocessor_config.json
      这些共同构成一个完整的分词器,告诉程序如何把原始文本转成模型能接受的 token ID。
  3. 配置 & 生成超参数

    • config.json —— 模型结构配置(层数、hidden size、attention head 数等)。
    • generation_config.json —— 生成(decode)时的默认超参数(温度、top-k、top-p、max_new_tokens 等)。

怎么用?

from transformers import AutoModelForCausalLM, AutoTokenizermodel_dir = r"K:\download\手绘电路图\best_train_model"tokenizer = AutoTokenizer.from_pretrained(model_dir)
model     = AutoModelForCausalLM.from_pretrained(model_dir, trust_remote_code=True)inputs = tokenizer("你好,今天", return_tensors="pt")
out    = model.generate(**inputs, max_new_tokens=32)
print(tokenizer.decode(out[0], skip_special_tokens=True))

一句话总结:
best_train_model 就是你训练好或下载好的、随时可以直接加载的完整模型文件夹