农业机械学报

作者：王春山，张宸硕，吴华瑞，朱华吉，缪祎晟，张立杰

单位：河北农业大学;国家农业信息化工程技术研究中心,河北农业大学,国家农业信息化工程技术研究中心,国家农业信息化工程技术研究中心,国家农业信息化工程技术研究中心,河北农业大学,

关键词：农业病害;命名实体识别;连续提示;指针网络;嵌套实体;预训练语言模型

基金：国家科技创新2030-“新一代人工智能”重大项目（2021ZD0113604）、财政部和农业农村部：国家现代农业产业技术体系项目（CARS-23-D07）和河北省自然科学基金项目（F2022204004）

针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题，本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC（Continuous prompts for machine reading comprehension）。该模型引入BERT（Bidirectional encoder representation from transformers）预训练模型，通过冻结BERT模型原有参数，保留其在预训练阶段获取到的文本表征能力；为了增强模型对领域数据的适用性，在每层Transformer中插入连续可训练提示向量；为提高嵌套命名实体识别的准确性，采用指针网络抽取实体序列。在自建农业病害数据集上开展了对比实验，该数据集包含2933条文本语料，8个实体类型，共10414个实体。实验结果显示，CP-MRC模型的精确率、召回率、F1值达到83.55%、81.4%、82.4%，优于其他模型；在病原、作物两类嵌套实体的识别率较其他模型F1值提升3个百分点和13个百分点，嵌套实体识别率明显提升。本文提出的模型仅采用少量可训练参数仍然具备良好识别性能，为较大规模预训练模型在信息抽取任务上的应用提供了思路。

来源：2024年第6期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2024年第6期