农业机械学报

作者：李道亮，李万超，杜壮壮

单位：中国农业大学;国家数字渔业创新中心,天津农学院,中国农业大学;国家数字渔业创新中心,

关键词：鲈鱼;摄食强度分类;多模态融合;Self-Attention-DSC-CNN6

基金：国家重点研发计划项目（2022YFD2001703）

摄食强度识别分类是实现水产养殖精准投喂的重要环节。现有的投喂方式存在过度依赖人工经验判断、投喂量不精确、饲料浪费严重等问题。基于多模态融合的鱼类摄食程度分类能够综合不同类型的数据（如：视频、声音和水质参数），为鱼群的投喂提供更加全面精准的决策依据。因此，提出了一种融合视频和音频数据的多模态融合框架，旨在提升鲈鱼摄食强度分类性能。将预处理后的Mel频谱图（Mel Spectrogram）和视频帧图像分别输入到Self-Attention-DSC-CNN6（Self-attention-depthwise separable convolution-CNN6）优化模型进行高层次的特征提取，并将提取的特征进一步拼接融合，最后将拼接后的特征经分类器分类。针对Self-Attention-DSC-CNN6优化模型，基于CNN6算法进行了改进，将传统卷积层替换为深度可分离卷积（Depthwise separable convolution，DSC）来达到减少计算复杂度的效果，并引入Self-Attention注意力机制以增强特征提取能力。实验结果显示，本文所提出的多模态融合框架鲈鱼摄食强度分类准确率达到90.24%，模型可以有效利用不同数据源信息，提升了对复杂环境中鱼群行为的理解，增强了模型决策能力，确保了投喂策略的及时性与准确性，从而有效减少了饲料浪费。

来源：2025年第1期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2025年第1期