基于大语言模型全流程微调的叙词表等级关系构建研究
李泽宇刘伟
中国科学技术信息研究所
摘要:[目的/意义]随着知识组织系统运作环境的变化,知识组织的重要性不断提升,为突破传统叙词表构建及应用困境,结合最新大语言模型技术探索叙词表构建新范式。[方法/过程]从叙词表自身特征及其构建思路入手,采用继续预训练、监督微调和强化学习的全流程微调,结合本地知识库的方案,对大语言模型进行微调训练,并基于“量子科技”领域和“理论力学”领域进行实证。[结果/结论]实证发现,经过继续预训练、“多策略数据处理微调方案”和RLHF的微调方案表现更优。其中,对于“理论力学”领域的已有词表等级关系构建准确度高达89.06%,“量子科技”新兴领域词表等级关系构建准确度为63.02%。这表明,本方案可以实现已有词表等级关系的构建,且在新领域词表等级关系的构建中表现良好,具备一定可行性,能为新领域叙词表构建提供参考。
- DOI:
10.16353/j.cnki.1000-7490.2025.04.017
- 专辑:
电子技术及信息科学
- 专题:
计算机软件及计算机应用; 自动化技术; 图书情报与数字图书馆
- 分类号:
TP18;TP391.1;G254.24
引文网络
相关推荐
- 相似文献
- 读者推荐
- 关联作者
- [1]基于大语言模型的开源情报摘要生成研究[J]. 汪伦,艾斯卡尔·艾木都拉,张华平,耿国桐,吕雁飞,雷帅. 情报理论与实践.
- [2]大语言模型赋能图书馆知识服务:基础、模式[J]. 刘长辉. 信息系统工程. 2024(07)
- [3]面向高校图书馆智慧服务的大语言模型探索性研究——以命名实体识别任务为例[J]. 刘思得,李东升. 现代情报. 2024(12)
- [4]以大语言模型构建智慧图书馆:框架和未来[J]. 郭利敏,付雅明. 图书馆杂志. 2023(11)
- [5]大语言模型对图书馆数字人文工作的挑战及应对思考[J]. 张宏玲,沈立力,韩春磊,付雅明. 图书馆杂志. 2023(11)
- [6]基于预训练语言模型的互联网开源信息抽取与情报分析应用研究——以“学术、讲座、论坛”等会议活动为例[J]. 王宇琪,周庆山. 情报理论与实践. 2024(01)
- [7]面向图书自动分类的大语言模型提示学习研究[J]. 戎璐. 图书馆学研究. 2024(01)
- [8]基于大语言模型知识自蒸馏的无标注专利关键信息抽取[J]. 赵建飞,陈挺,王小梅,冯冲. 数据分析与知识发现. 2024(Z1)
- [9]大语言模型在图书馆采编业务中的应用展望[J]. 刘贝玲,张雨卉. 信息与管理研究. 2024(05)
- [10]大语言模型在智慧图书馆中的应用与挑战[J]. 姚佳呈,许鑫. 信息与管理研究. 2024(05)