农业机械学报

作者：郝霞，周子钰，宋扬，李广烨，王志军，郭旭超

单位：山东农业大学,山东农业大学,山东农业大学,山东农业大学,山东农业大学,山东农业大学,

关键词：小麦;病虫害识别;深度学习;多模态融合;多模态学习;小样本学习

基金：山东省自然科学基金项目（ZR2023QF016）和国家自然科学基金项目(32401702)

小麦作为全球重要粮食作物之一，对其病虫害进行及时诊断与防治可有效减少粮食损失。然而，深度学习方法通常依赖于大量的训练数据和高性能计算资源，在小样本学习数据和资源有限情况下存在限制。为了解决上述问题，提出一种基于知识增强的轻量化多模态小麦病虫害识别模型Blend-CNN（Multi-modal blend convolutional neural network）。该模型以双分支卷积神经网络为主体框架，在采用EfficientNet骨干网络提取病虫害图像特征基础上，引入多路TextCNN骨干网络提取病虫害文本描述特征，以得到更多的病虫害特征信息，从而提高模型识别准确率；提出基于卷积网络的多模态学习方法，使模型能够从全局上更优地融合2种模态信息。为了减少传统多模态方法的准确率损失，构建了梯度拼配损失函数；为了验证所提模型的有效性，在包含880个样本的自建数据集上进行了对比实验。结果表明，所提模型不仅在该数据集上取得最高识别准确率（96.95%），并且与其他对比模型相比，参数量更少、复杂度更低，更加轻量化，可以用于边缘设备，可为小样本和资源有限场景下的小麦病虫害识别提供一定理论支撑。

来源：2025年第12期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2025年第12期