🧡💛💚TensorFlow2实战-系列教程 总目录

6、构建训练数据

• 所有的输入样本必须都是相同shape（文本长度，词向量维度等）
• tf.data.Dataset.from_tensor_slices(tensor)：将tensor沿其第一个维度切片，返回一个含有N个样本的数据集，这样做的问题就是需要将整个数据集整体传入，然后切片建立数据集类对象，比较占内存。
• tf.data.Dataset.from_generator(data_generator,output_data_type,output_data_shape)：从一个生成器中不断读取样本

def data_generator(f_path, params):with open(f_path,encoding='utf-8') as f:print('Reading', f_path)for line in f:line = line.rstrip()label, text = line.split('\t')text = text.split(' ')x = [params['word2idx'].get(w, len(word2idx)) for w in text]#得到当前词所对应的IDif len(x) >= params['max_len']:#截断操作x = x[:params['max_len']]else:x += [0] * (params['max_len'] - len(x))#补齐操作y = int(label)yield x, y

1. 定义一个生成器函数，传进来读数据的路径、和一些有限制的参数，params 在是一个字典，它包含了最大序列长度（max_len）、词到索引的映射（word2idx）等关键信息
2. 打开文件
3. 打印文件路径
4. 遍历每行数据
5. 获取标签和文本
6. 文本按照空格分离出单词
7. 获取当前句子的所有词对应的索引
8. 如果当前句子大于预设的最大句子长度
9. 进行截断操作
10. 如果小于
11. 补充0
12. 标签从str转换为int类型
13. yield 关键字：用于从一个函数返回一个生成器（generator）。与 return 不同，yield 不会退出函数，而是将函数暂时挂起，保存当前的状态，当生成器再次被调用时，函数会从上次 yield 的地方继续执行，使用 yield 的函数可以在处理大数据集时节省内存，因为它允许逐个生成和处理数据，而不是一次性加载整个数据集到内存中