基于计算机视觉技术的特色农产品品质调控系统

计算机视觉技术能够对生产设施场景进行清晰、精确、细致的分析，这成为了智能化生产管理的关键途径之一。该技术的实施主要依赖于稳定的超高清视频监控设备、便携的智能手机以及智能机器人等设备。具体应用场景涵盖羊肚菌的菌群与菇形监测、环境异常状况的检测、产品外观品质的优选、番茄叶片病害及果实病害的识别、虫害的检测、果实成熟度的判断以及品质分级等多个方面。

在病虫害智能识别的特定场景中，Wspanialy与Moussa选取了视觉几何群网络（VGG16）作为核心特征提取网络，以此对U-Net算法进行了优化。他们通过对番茄叶片上的病斑区域进行精确分割，并计算病斑与叶片面积的比例，从而实现了对病害严重程度的准确评估。郑超杰及其团队为解决传统卷积神经网络结构复杂、参数众多的问题，研发了适用于移动设备的MobileNetv3-Prune轻量化卷积网络。该网络在测试集上的平均识别准确率高达99.6%，并且单张图片的识别时间仅需12.13毫秒，完全符合移动设备识别的需求。刘拥民等人对Swim Transformer模型进行了迁移学习优化，他们引入了Mixup混合增强算法，这一改进使得番茄叶部病害的识别准确率达到了98.4%，并且该模型还展现出良好的鲁棒性。李淑菲等人对自然场景中黄瓜所受病害产生的噪声问题进行了研究，他们提出了一个基于可见光谱的YOLOv5-SE-DW模型。该模型在监测霜霉病、白粉病和炭疽病方面表现出色，其监测精度分别达到了78.0%、80.9%和83.6%，完全能够满足实际种植环境中病害检测的需求。符首夫与王卫民等人利用U-Net模型构建了Insect-Net昆虫图像分割模型，该模型分别将完整的虫情图像及分割后的虫情图像输入其中，对两者的特征进行整合，之后将整合的特征输入一个1×1的卷积层以获得分割的最终结果。接着，将所得结果进行二值化处理，并运用轮廓检测算法将昆虫目标从背景中分离出来，并完成计数。陈俭对叶片表面的微小目标进行了研究，这些目标与背景的相似度较高，具体为蚜虫幼虫。他收集了受蚜虫侵害的小青菜叶片图像，并基于U-Net卷积神经网络模型，成功构建了一个蚜虫分割模型。在测试数据集上，该模型的Dice系数达到了0.82。在番茄成熟度识别与目标检测领域，Zu等人针对成熟绿色番茄颜色与邻近枝叶常出现遮挡的情况，设计了一种基于区域的卷积神经网络算法——掩码区域卷积神经网络（Mask-RCNN），用于检测与分割成熟绿色番茄。该算法通过区域建议网络确定候选框，并选用ResNet50FPN作为主要网络结构。此外，它还运用感兴趣区域对齐（ROIAlign）和双线性插值技术来计算目标区域。实验结果显示，该算法的F1值达到了92.0%，成功实现了对成熟绿色番茄的精确分割。陈等人创新性地提出了多任务深度学习模型MTD YOLOv7，该模型能够对数据进行多标签分类。在YOLOv7模型的基础上，他们额外加入了两个编码器，分别用于检测番茄果簇、果实成熟度以及果串成熟度。经过测试，该模型的总体识别精度高达86.6%，推理速度仅为4.9毫秒，完全能够满足采收过程中对果品检测的需求。Li等人研发了一款名为AHPPBot的自主番茄收获机器人，该机器人基于表型分析和姿态预测技术进行自主作业。它融合了多任务YOLOv5算法与基于检测的自适应密度聚类算法（DBScan），以此实现精准的姿态估计，并具备连续作业的能力。杨信廷等人针对绿熟番茄在采后持续转熟过程中的品质保障，强调了温度调控的必要性。为此，他们提出了一种基于Swin Transformer和改进门控循环单元（GRU）的番茄成熟度识别模型，并实现了时序动态预测。该模型在成熟度识别方面的准确率高达95.783%，为番茄成熟度贮藏过程中温度的柔性调控提供了科学依据。综上所述，借助计算机视觉技术，我们可以在番茄生长期间迅速发现病虫害问题，防止其在生长期间遭受损害。在采摘与储存阶段，通过智能识别果实的外观特征如颜色和形状，我们能够确保采摘果实的品质以及储存产品的商品价值。

相较于番茄在各个发展阶段的广泛应用，羊肚菌在视觉模式识别领域显得较为薄弱。这主要是因为羊肚菌生长于较为寒冷的环境中。在暖棚栽培中，识别的关键要素集中在菌丝形成阶段。专家们通常使用高像素手机进行定点拍摄，以获取适用于决策的图像，但这需要调整焦距和放大倍数。因此，为了更有效地监测羊肚菌不同生长阶段的状态，有必要采用高像素、高清晰度的视频监控摄像头进行数据采集。

基于知识驱动的特色农产品品质调控系统

知识驱动的品质调控成为近年来的新兴动向，伴随着知识图谱、多模态数据分析以及大模型的迅猛发展，互联网上的数据资源、行业专家的智慧、科技文献、农业技术的多媒体视听资料、种质资源、栽培技术、气象信息、环境数据和水文资料等得到了广泛而深入的利用。针对特色农产品的品质管理，新一代人工智能技术不仅能够对大范围的环境和农业状况进行监测与解读，而且还能对局部的水肥灌溉决策、病害成因进行深入分析，再者，知识智能服务这一全场景、多用户适用的简约服务模式，使生产者能够迅速获取所需资源，并快速获得专业指导。

林森等人将知识图谱与机器视觉技术相结合，应用于设施草莓的种植领域。他们成功构建了一套依托知识推理与视觉信息识别的智能管控决策体系。这套体系已部署在云托管服务系统中，实现了对环境、水肥以及数据分析等方面的智能管控与托管。张宇等人为了加速并增强获取番茄种植管理知识的效率与精确度，提出了一种利用图结构来描述番茄在不同环境下的种植管理方法。他们运用了Neo4j图形数据库和PyQt框架来开发了一个可视化应用程序。该方法在平均响应时间和准确率方面相较于Cypher技术有显著进步，并能够为番茄的生产管理提供更为高质的种植建议。河北农业大学的研究团队专注于蔬菜病害的研究，他们详细梳理了病害的类型、涉及的作物、病害的具体特征、相关微生物以及发病的多种因素，并在此基础上构建了相应的实体关系模型。他们不仅完成了模式层的构建和实体的识别工作，还巧妙地运用了知识推理和词嵌入向量化技术对病害进行了深入解析，从而实现了较为显著的研究成果。饶海笛提出了一种基于图像语义的作物病虫害多模态图谱构建技术，该方法结合了人工蜂群算法与增强决策树技术，对输入特征进行筛选与优化，从而为问答知识库的构建奠定了基础。赵春江则针对设施环境，提出了动态数据采集策略、实时数据处理机制以及多因素耦合的资源池聚合方法，这些方法共同作用于知识模型，实现了水肥决策、营养状况诊断和病害诊断等功能的模式化操作。Lyu等人提出了一种基于预训练语言模型的知识提取技术，该技术运用双流结构实现了文本与图像的协同表示，并有效融合了图像与文本信息。他们通过跨模态细粒度的对比学习策略，成功解决了模态间语义关联不足的问题。此外，他们还为用户设计了一个可视化的交互界面。实验结果显示，图文匹配的准确率达到了76.7%，这一成果为多模态农业知识问答和推荐系统提供了理论支持。

农业自动化和智能装备技术的迅猛进步催生了众多服务设施智能装备和智能机器人的涌现，针对特色羊肚菌和番茄的生产需求，科研和生产团队积极研发了表型智能监测设备、自动化植保设备、智能收割车辆、番茄智能采摘机器人，并深入进行了智能系统架构的研究与应用。数字技术与农业生产的结合正逐步催生一种新型模式，即装备、农艺和信息的三位一体融合。在这一模式中，图像、视频、音频和文本数据被赋予了高度智能化的属性，它们正逐渐在精准作业、病虫害分析、关键生长阶段的长势评估以及收获品质检测等方面发挥重要作用。针对设施特色农产品品质调控的需求，我们首先提出了一个多场景多要素的云边端一体化品质调控系统架构，该架构旨在满足多要素环境监测、算力及网络传输资源的优化，以及多种环境和调控模式的应用需求。随后，我们分别对品质调控过程中的基础数据采集环节进行了深入分析，包括基于物联网技术的特色农产品品质调控系统、基于计算机视觉技术的特色农产品品质调控系统以及基于知识驱动的特色农产品品质调控系统。最终，我们结合羊肚菌和特色番茄这两类设施生产的特色农产品，介绍了一种切实可行的操作方法，旨在为业务管理人员、系统开发人员以及用户提供有力支撑。

依据特色农产品的种植品种特性、生长条件特点以及品质管理的目标，整合全生命周期监控设备所收集的数据类型，打造一个能够即时处理整个农业流程和周期数据的农业云-边-端数据架构。此架构主要涵盖终端感知、数据存储、边缘计算、数据传输以及业务应用等五个层面，具体如图1所示。

图1 特色农产品设施环境云边端一体化系统架构

图1展示了特色农产品设施环境云侧集成系统架构

小结

特色设施农产品品控涉及品种特性、栽培模式、种植管理、产后质量检测等多个环节，这一过程贯穿了农产品的整个生命周期，构成了一项复杂的系统工程。其中，以设施多要素环境管控作为整体品质控制的核心环节之一至关重要，然而，农业生产人员对不同环节的理解、同一区域内同类型生产的参考数据，以及及时、精确、匹配的知识服务也同样不可或缺。若不然，仅凭人为设定的管控参数和阈值，很可能会导致品质管控的失败。因此，亟需建立涵盖品种、设施环境、投入品管理、农业机械装备、加工参数等方面的知识库。对于关键环节的生产要素、数据要素进行智能分析，以及对其相关关系和因果关系进行决策推理，这些问题亟待解决。知识图谱技术、多模态数据分析技术以及大模型技术，都是解决这些问题的有效途径之一。目前，我们团队主要从以下两个方面着手进行探索。如图2a和图2b所示，首先，我们关注多模态知识图谱在农业领域的应用，这主要涉及对农事生产过程中数据间因果关系和关联关系的分析。通过构建特定专业知识的知识推理结构，我们具体应用了图-文多模态数据语义对齐、命名实体识别、实体关系抽取等技术。这些技术被部署在服务器端，提供Web图数据库的调用与展示功能，能够实现特色设施农产品的图文农业信息检索、实体关系可视化以及实体关系标注等功能。再如图2c和图2d所示，其次，我们将知识图谱的结构用于大模型提示词的专业化匹配。这一方面针对更广泛的在线技术服务场景。考虑到大模型训练与预测的数据分布容易产生幻觉，以及海量知识锚定具体场景服务的难度较大，生产种植人员通常更习惯于自己的表达方式，难以与计算机高效处理的语言正确匹配。因此，我们需要融合知识图谱技术来辅助大模型，从而提升其应用效率。通过图文问答和多轮问答的方式，我们能够提供全天候的农业知识交互服务。

图2 展示了依托多模态知识图谱与特色农产品全生育期农业知识服务体系的大模型特性。

图2展示了整个生长周期中，基于多模态知识图谱和特色农产品大型模型的农业知识服务体系

智慧农业微信交流服务群

为便利农业科学界的读者、作者以及审稿专家之间的学术交流，推动智慧农业的进步，以及更高效地服务于广大读者、作者和审稿人，编辑部特地设立了微信交流服务群。在群里，大家可以就专业领域的问题进行讨论，也可以咨询有关投稿事宜。加入群聊的方式是：添加小编的微信号码17346525780，并在备注中注明您的姓名、所属单位和研究方向。小编会邀请您入群，请机构营销广告人员勿扰。

发布征集

热忱邀请您在公众号上分享科研团队的介绍、最新的创新科研成果以及相关活动资讯。