关键词：
异常检测
鱼类行为
水质检测
无监督学习
注意力机制
摘要：
中国是渔业大国,也是最大的水产品出口国。鲜活水产品需求量的逐步提高,水产品养殖规模的不断扩大,对我国水产养殖的信息技术化提出了更高的要求。在鱼类养殖中,通过水温、氢离子氧化还原电位浓度、溶解氧浓度和化学成分等外界环境变化的刺激,鱼群会产生不同的应激行为,比如回避、无方向地游动和死亡等。因此,在水产养殖中及时地对鱼群异常行为做出相应的判断以检测不同的水质情况是非常重要的环节,具有很高的研究意义和实用价值。首先,传统的人工提取抽象特征方法一般是基于先验知识进行提取,利用这种特征提取方式来捕获视频异常存在特征学习不足、特征选择困难、泛化性差等问题,已经不再适用于大规模的水产养殖。其次,更多的研究学者们将计算机视觉技术与渔业研究结合起来用于鱼类的异常行为检测,但是异常行为的定义难以捉摸,即正常事件和异常事件之间的数据分布不均衡。最后,异常样本具有多样性,类型极其丰富,在不同场景下对同一行为的定义也不相同。因此,深度学习网络模型在鱼群异常行为检测中的应用给渔业发展带来了新的契机和挑战。如何利用深度学习网络模型自动化提取鱼群的运动相关性和外观特性,客观地反映鱼类运动状态,已成为实现鱼群异常检测方面亟待解决的问题。受监控视频中异常检测研究的启发,本文提出了两种无监督的深度学习模型的鱼类视频异常检测方法。首先针对连续视频中时间信息和空间信息利用不充分的问题,本文提出了一种基于时间位移和注意力机制的异常检测方法RTS-RCA,利用Wider Resnet为基础网络作为编码器对视频帧进行特征提取,并将提取的特征图分别输入时间网络和空间网络。在时间网络上利用残差时间位移来学习更加丰富的时间信息,其次在解码阶段利用残差通道注意力机制来校正通道特征,以生成更加真实的预测帧,实现异常行为检测。实验结果表明,该方法在视频异常检测基准数据集Ped1和Shanghai Tech上的帧级AUC分别为0.864和0.734,同时该方法在鱼群数据集上的帧级AUC分别达到了0.906和0.894,证明了该方法在检测鱼类异常行为上的有效性。其次,针对前一研究方法中异常检测精度较低且对于大型场景数据泛化性较差的问题,本文提出了一种结合多层记忆增强和残差时空transformer的异常检测方法MMA-RTST,以U-Net网络为基础,利用其编码器和解码器对视频帧实现编码和解码,并根据预测帧和真实帧之间的差异实现异常检测。为了加强连续视频帧之间的时空信息特征联系,本文提出残差时间transformer模块和残差空间transformer模块提升网络对时间信息和空间信息的建模能力。由于卷积神经网络具有一定的泛化能力,本文使用记忆增强模块代替U-Net网络中的跳跃连接,缓解编码器对异常帧的表达能力。此外,为了生成更加真实的预测帧,使用生成对抗网络(Generative Adversarial Networks,GAN)来处理异常,提升网络的检测精度。实验结果表明,该方法在视频异常检测基准数据集Ped1和Shanghai Tech上的帧级AUC分别为0.87和0.75,在斑马鱼和红鲫鱼两类鱼群数据集上的帧级AUC分别为0.916和0.921,与现有的其他方法相比,有效地提高了检测精度并且在Shanghai Tech数据集上有更明显的效果提升。本文的研究结果表明,本文所提出的深度学习模型可以有效地检测鱼类视频中的异常情况,相比于传统方法有更大的优势,更适用于大规模的水产养殖。同时,本文总结了所提出模型的优点和缺点,并展望了深度学习方法在鱼类视频异常检测中未来的发展。
欢迎来到三峡大学图书馆！
同方学位论文库
详细信息
