有段时间没有研究国内大语言模型的动向。今天小试牛刀，发现技术日渐丰富，背后点点滴滴的进步均需工程师们巨大付出。
近期学习一下小程序的开发，由于涉及到了宝塔、node、typescript、pm2、vue2/vue3很多不擅长的技术，可为寸步难行。深感国内大模型发展到如此地步实属不易！
一、示例效果
下面向大语言模型提问，query或者prompt为：“简述郭鸾的荣誉”，其回复如下。
大语言模型示例
二、大模型能力直观表现
- 大语言模型回复前3条内容来自私域知识（我的word文档），后3条从搜索引擎实时获取。
这解决了pre-trained大语言模型的2大短板：a) 由于训练数据来自公开数据集，它无私域知识的回答能力，b) 没有新知识的能力（比如：北京地铁事故，但可通过搜索引擎获取）； - 对最重要的荣誉进行了加粗显示，并置顶；
- 对不了解的内容追问用户而不是随便给个答案。
三、使用到的大模型技术
通过这个简单提问分析一下背后的技术支撑。看似一个简单的查询，后台使用到了多项先进技术支撑，如果说这个小查询背后累积研发投入数十亿也不夸张，从信息流分析这个查询使用到的大语言模型基础能力包括：
- Query改写
- 复杂Query分解
- 大语言模型阅读、理解、问答
- 文档解析
- 文档切分
- 嵌入互联网搜索引擎
- 知识提取、清洗、排序
- 语义匹配
- 语义向量计算
- 向量检索
网友评论