农业机械学报

作者：蒋婷婷，徐澳，吴飞飞，杨帅，何进，辜丽川

单位：安徽农业大学;智慧农业技术与装备安徽省重点实验室,安徽农业大学;智慧农业技术与装备安徽省重点实验室,安徽农业大学;智慧农业技术与装备安徽省重点实验室,安徽农业大学;智慧农业技术与装备安徽省重点实验室,安徽农业大学;智慧农业技术与装备安徽省重点实验室,安徽农业大学;智慧农业技术与装备安徽省重点实验室,

关键词：猪病;多模态知识图谱;多模态融合;实体对齐

基金：国家自然科学基金面上项目（32472007）和安徽省高等学校科学研究项目（自然科学类）重点项目（2023AH051020）

传统的猪病防治主要依赖于人工经验，很可能因为人工疏忽存在疾病漏诊。为此，构建一个多模态猪病知识图谱，帮助管理者更好地理解猪只间的关联关系，为后续有效识别潜在的疾病传播路径和异常情况提供良好的数据基础。首先，从不同来源获取猪病数据，经过知识抽取以及图像匹配后初步构建两个多模态猪病知识图谱；其次，提出基于“图像-文本”间关联增强的多模态融合方法，利用多头注意力机制学习图像与文本之间的语义关联，通过减少猪病视觉模态模糊问题带来的负面作用，以增强猪病实体的向量表征；最后，基于对实体向量表征相似度的计算，融合两个多模态数据集中的猪病实体，以形成一个知识完备性更高的猪病知识图谱。实验表明，本文提出的多模态融合方法在猪病实体对齐任务上取得了优异的性能，相较于现有方法，对齐准确性（Hits@1）提升0.033，在通用数据集DBPZH-EN、DBPFR-EN、DBPJA-EN上进行实验验证，对齐准确性分别提升0.152、0.236、0.180，证明了该方法在多模态知识图谱融合方面的有效性。

来源：2025年第1期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2025年第1期