发送http请求 以csdn为例，鼠标右键点击检查（或F12进入开发者模式），然后点击Network，刷新网页，继续点击Name列表中的第一个。我们发现此网站的请求方式为GET，请求头Headers反映用户电脑系统、浏览器版本等信息。 在展开框中选择请求标头，一般拿到Cookie和User-Agent就可以（前者用来加载登陆状态，后者用来伪装浏览器访问）。 构造一个请求 url = ...

多进程一键开启 使用 multiprocessing 库 经典方法 import os import time from multiprocessing import Pool def long_time_task(name): print(f'Run Task {name} {os.getpid()}...') start = time.time() tim...

要将这些生成器对象合并成一个包含 n 行的 JSONL 文件，每行包含字典中的每个字段的一条记录，可以按照以下步骤进行操作： 从每个生成器中逐条读取数据。 将每条数据合并成一行。 将合并后的数据写入 JSONL 文件。 以下是一个示例代码，展示了如何实现这一过程： import json # 假设你的生成器对象存储在一个字典中 generators = { '...

背景 已有基于求解器的评测系统，等于在数学建模大模型这一品类下，不存在人类专家奖励分数难以获取的情况，可以直接获取标准化的评测分数。因此，初步调研认为，使用PPO无疑是方便且能够最大程度发挥数学建模大模型特色的。 RLHF调研 参考资料 ChatGPT 背后的“功臣”——RLHF 技术详解 (huggingface.co) 步骤1：收集数据与有监督训练策略 从数据集中采样的pro...

Python 获取类的属性 在本文中，我们将介绍如何获取 Python 中类的属性。 介绍属性 在 Python 中，类是通过属性和方法来定义的。属性是类的特征，方法是类的行为。了解如何获取类的属性是非常重要的，因为它允许我们在运行时动态地访问和操作类的特征。 使用 dir() 函数获取属性 Python 内置的dir()函数可以获取一个对象的所有属性和方法。当我们调用dir()函...

原版地址： Kittens Game - a Dark Souls of incremental gaming 原版是有中文的。 配套的小猫科学家github地址： https://github.com/kitten-science/kitten-scientists 这里面提供了插件和小书签，可以选一个装，我们装小书签就可以了，比较简单。 小书签： javascript:(f...

批量处理迭代器（列表、元组） 在Python中，map() 函数用于将一个函数应用于迭代器中的每个元素，并返回一个包含结果的新的可迭代对象。它的基本语法如下： map(function, iterable) 其中，function 是一个函数对象，iterable 是一个可迭代对象，比如列表、元组等。 map() 函数将 iterable 中的每个元素依次传递给 function ...

你是否还在为json.dumps输出的json-string太丑而悲伤？ 你是否倦怠于每次利用ide格式化手动美化结果？ 一个入参解决你的问题！ json.dumps(self, indent=4) 另外一个入参可以处理非dict格式的变量，使其也能转化成json-string。 json.dumps(self, default=lambda o: o.__dict__, inden...