大语言模型增强

更新时间：2024-3-2

简介

LLM 是个革命性的技术突破但是在现阶段依然存在很多不足，如何改进，一方面可以通用更大的参数、更优质的语料，更科学的训练方法的基础模型来弥补，另外也可以通过一些工程技术化的手段来做。

对于基础模型的平台 (OpanAI、Anthropic、Google 等)主要是采用采用第一种方式，小的开发团队则主要使用第二条路径，我们同样也是如此。

我们主要关注的问题是：

• LLM 对命令语义理解不足
• 存在模型幻觉
• 指令遵从、角色扮演能力需要增强
• 信息存在滞后，缺乏实时内容
• 缺乏长期记忆和对话管理、在线学习

以及多基础语言平台的接入能力

命令语义增强

我们在对话中引入了 NLU ，专门针对命令语义做处理，提取用户对话中的命令进行识别，并分别调用不同的增强模块进行处理。

向量知识库引入知识

在判断用户意图后，针对准确性的知识内容，调用向量数据库和知识图谱引入外部知识，增强语言模型回答的追确幸

搜索引擎扩充实时内容

对于天气、航班等需要实时处理的知识，使用搜索引擎接口，引入实时的外部信息，帮助语言模型做回答

长期记忆和对话管理

在对话过程中，用外部工具的方式，让 LLM 调用记忆方法，将需要记忆的片段进行持久化存储，改进了原有摘要的工作方式。并根据用户的对话反馈，生成在线学习数据，用于增强 NLU。