要将这些生成器对象合并成一个包含 n 行的 JSONL 文件，每行包含字典中的每个字段的一条记录，可以按照以下步骤进行操作：

  1. 从每个生成器中逐条读取数据。
  2. 将每条数据合并成一行。
  3. 将合并后的数据写入 JSONL 文件。

以下是一个示例代码，展示了如何实现这一过程：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import json

# 假设你的生成器对象存储在一个字典中
generators = {
    'gpt4': <generator object read_jsonl at 0x7fd495aa32e0>,
    'llama3-8b': <generator object read_jsonl at 0x7fd495b41a80>,
    'glm4-9b': <generator object read_jsonl at 0x7fd495b42e30>,
    'qwen2-7b': <generator object read_jsonl at 0x7fd495b40f40>,
}

# 打开一个文件用于写入 JSONL 数据
with open('merged_output.jsonl', 'w') as outfile:
    # 逐条读取生成器中的数据
    for _ in range(n):  # 假设 n 是每个生成器的条数
        merged_line = {}
        for key, generator in generators.items():
            merged_line[key] = next(generator)

        # 将合并后的数据写入 JSONL 文件
        json.dump(merged_line, outfile)
        outfile.write('\n')

在这个示例中：

  1. generators 字典包含了你的生成器对象。
  2. with open('merged_output.jsonl', 'w') as outfile: 打开一个文件用于写入 JSONL 数据。
  3. for _ in range(n): 循环 n 次，每次从每个生成器中读取一条数据。
  4. merged_line = {} 初始化一个空字典用于存储合并后的数据。
  5. for key, generator in generators.items(): 遍历每个生成器，读取当前条数据并存储在 merged_line 字典中。
  6. json.dump(merged_line, outfile) 将合并后的数据写入文件，outfile.write('\n') 写入换行符以分隔每行数据。

请确保在运行代码之前，将 n 替换为实际的生成器条数。这样，你就可以将这些生成器对象合并成一个包含 n 行的 JSONL 文件，每行包含字典中的每个字段的一条记录。