面向闭源大语言模型的增强研究综述
刘华玲张子龙彭宏帅
上海对外经贸大学统计与信息学院
摘要：随着大语言模型在自然语言处理领域的快速发展，以ChatGPT系列为代表的闭源大语言模型的性能增强成为一个挑战。由于无法访问模型内部的参数权重，传统的训练方法，如微调技术，难以应用于闭源大语言模型，这使得在这些模型上进一步优化变得困难。同时，闭源大语言模型已经广泛应用于下游实际任务，因此研究如何增强闭源大语言模型的性能具有重要意义。本文聚焦于闭源大语言模型的增强研究，对提示工程（Prompt Engineering）、检索增强生成（Retrieval Augmented Generation）、智能体（Agent）三种技术进行了分析，并针对不同方法的技术特性和模块架构进行了进一步细分，详细介绍了每种技术的核心思想、主要方法及其应用效果，研究了不同增强方法在推理能力、生成可信度、任务适应性等方面的优越性和局限性。此外，本文还讨论了这三种技术的组合应用方法，结合具体案例，强调了组合技术在增强闭源大语言模型性能方面的巨大潜力。最后，本文总结了现有技术的研究现状和存在的问题，对未来闭源大语言模型增强技术的发展进行了展望。
- 专辑：
电子技术及信息科学
- 专题：
计算机软件及计算机应用; 自动化技术
- 分类号：
TP391.1;TP18
中国知网独家网络首发，未经许可，禁止转载、摘编。
引文网络
相关推荐
- 相似文献
- 读者推荐
- 关联作者
- [1]大语言模型在无锚题等值中的应用——以阅读素养测评为例[J]. 杜君磊,郑勤华,宋义深. 武汉大学学报(理学版).
- [2]基于大语言模型的语料库查询自动生成方法[J]. 张成辉,罗景,涂新辉,陈雨霖. 计算机工程.
- [3]基于译文易错词纠正机制的大语言模型机器翻译[J]. 李博,季佰军,段湘煜. 计算机工程.
- [4]大语言模型的偏见挑战：识别、评估与去偏[J]. 徐月梅,叶宇齐,何雪怡. 计算机应用.
- [5]大语言模型赋能“问题与方法”学术图谱构建与应用研究[J]. 刘启刚,王尹凡,牟立峰,徐伟,孙向阳. 数据分析与知识发现.
- [6]基于大语言模型的在线服务系统故障诊断研究综述[J]. 张弼铖,张晨曦,彭鑫,赵文耘. 计算机应用与软件.
- [7]农业大语言模型的部署及应用开发探索[J]. 刘铮,朱轶. 中国农业文摘-农业工程.
- [8]基于大语言模型的知识库查询风格自适应转换[J]. 付钧渤,赵国帅,钱学明. 计算机研究与发展.
- [9]基于大语言模型的材料科学信息抽取[J]. 时宗彬,乐小虬. 软件导刊.
- [10]大语言模型增强的时间注意力推荐系统[J]. 孙浩然,王欣,熊菲. 西安交通大学学报.