美文网首页
openai中的josn转换josnl

openai中的josn转换josnl

作者: 叫我马小帅 | 来源:发表于2024-01-14 16:38 被阅读0次

笔者最近正在研究openai方向内容,涉及到模型训练,模型训练当然少不了jsonl数据对模型的投喂,josn转jsonl有两种方式,一种本地安装openai的环境,配置好key后调用openai的tool方法进行转换,这样的转换成功后可以直接代码进行模型的训练.但是官网现成的可视化操作页面让我不想再配置冰冷的环境了,遂直接拿python对json的数据进行转换,转换后直接上传进行训练,转换代码如下

import json

# 假设您有一个包含多个JSON对象的列表
json_data =  "josn数据"

# 指定输出的jsonl文件路径
output_file_path = '输出路径/output.jsonl'

# 将JSON数据写入JSON Lines文件
with open(output_file_path, 'w', encoding='utf-8') as jsonl_file:
    for obj in json_data:
        json_line = json.dumps(obj, ensure_ascii=False)
        jsonl_file.write(json_line + '\n')

print('转换完成。')

如果还有研究openai的小伙伴遇到什么问题可以评论区留言讨论.毕竟现在都是摸着石头过河~大家一起探讨下更容易解决问题。

生命不息,代码不止!码农一枚,请多点赞

相关文章

网友评论

      本文标题:openai中的josn转换josnl

      本文链接:https://www.haomeiwen.com/subject/lpsjgdtx.html