农业机械学报

作者：余礼根，郭晓利，赵红涛，杨淦，张俊，李奇峰

单位：北京市农林科学院;国家数字畜牧业创新中心,华北电力大学,华北电力大学,北京市农林科学院;国家数字畜牧业创新中心,北京市农林科学院;国家数字畜牧业创新中心,北京市农林科学院;国家数字畜牧业创新中心,

关键词：畜禽疫病;文本分词;预训练语言模型;双向长短时记忆网络;条件随机场

基金：云南省重大科技专项计划项目（202102AE090039）、北京市农林科学院创新能力建设专项（KJCX20230204）和北京市数字农业创新团队建设项目（BAIC10-2023）

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题，提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象，构建了常见疫病文本数据集，将其与通用语料PKU结合，利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示；通过双向长短时记忆网络(Bidirectional long short-term memory network, BiLSTM)获取上下文语义特征；由条件随机场(Conditional random field, CRF)输出全局最优标签序列。基于此，在CRF层后加入畜禽疫病领域词典进行分词匹配修正，减少在分词过程中出现的疫病名称及短语等造成的歧义切分，进一步提高了分词准确率。实验结果表明，结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%，与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比，分别提升11.01、10.62、8.3、0.72个百分点，验证了方法的有效性。与单一语料相比，通用语料PKU和羊常见疫病文本数据集结合的混合语料，能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分，在通用语料及疫病文本数据集上F1值都达到95%以上，具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

来源：2024年第2期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2024年第2期