投票
比如对于同一个生成的文本,生成3次,然后自己写一个prompt,写明评测的要点,然后让gpt 选择一个最好的答案。
3次生产的概率中挑选一个最好的,整体质量会有一个提升,这是很多论文中已经提到的优化方向。
这个方法的问题,浪费钱,同时latency 变为原来的3倍,对实时性应用来说,不好接受。
自己把握好尽可能的确定性
减少幻觉的一个方法,让任务尽可能的小。
我举个例子,比如你召回了10个 text 文本,让gpt 总结成一段话,那么生成的样式每次都会有较大的差别,哪怕你温度设置为0.
一种平衡确定性,减少幻觉的方法:
你可以对10个text文本,排好序,让他按照你的排序生产。这个排序你可以使用一些算法规则,或者小模型。
那么最后大模型生成的时候,就会确定性高很多。
核心就是,你的任务,要拆分到很细,你最好是把LLM当作一个高中生,不要太相信他,但也不要看不起他。
让他做一个听话的执行者,而不是一个 架构者。
网友评论