新的辐射传输建模框架增强了植物表型的深度学习

一个研究团队使用Helios 3D植物建模软件开发了一个辐射传输建模框架，以模拟具有完全分辨率参考标签的RGB、多光谱/高光谱、热和深度相机图像。这种创新方法显著减少了劳动密集型手动注释数据集的必要性

该框架生成高质量合成图像的能力使得能够有效地训练高通量植物表型的深度学习模型，从而增强作物性状分析，并为推进农业研究和遥感应用提供工具

遥感和近端传感方法的集成促进了植物系统的高通量监测，提供了对植物功能的全面见解。这些技术的进步已经产生了丰富的高分辨率图像，但将这些数据与可操作的植物特征联系起来仍然存在挑战。目前的方法不足以进行所需的劳动密集型数据注释和多模式数据比对

2024年5月30日发表在《植物现象学》杂志上的一项研究旨在通过开发一种新的三维辐射传输建模框架来应对这些挑战。

这项研究使用各种SKILL分数来验证辐射传输模型，以评估其模拟物体吸收的辐射和反射辐射通量的准确性。不同测试（brfpp_uc_sgl、brfpp_co-sgl、brfop和fabs）的SKILL得分分别为98.00、92.65、97.52和99.98，证明了该模型的高精度

此外，相机校准的R2值在0.864到0.930之间，表明有效的失真恢复和颜色校准。使用该模型生成的合成图像，包括RGB、NIR和热图像，显示出与真实图像的高度视觉相似性，从而证实了该模型生成高质量注释植物图像的能力。这些发现验证了该模型在模拟复杂场景方面的有效性，并使其成为高通量植物表型和机器学习模型训练的强大工具

该研究的首席研究员童磊断言，Helios提供了一个模拟环境，可以生成具有随机变化的植物和土壤的3D几何模型，以及对其特性和功能的规范或模拟。这种方法不同于传统的计算机图形绘制，因为它明确地模拟了辐射转移的物理过程，从而建立了与植物潜在生物物理过程的关键联系

总之，本研究介绍了一种使用Helios 3D软件模拟植物图像的辐射传输建模框架，包括RGB、多光谱、热图像和深度图像，并附有详细注释。该框架减少了手动数据收集的需要，并改进了植物表型的深度学习模型训练

未来的发展将增强模型的灵活性，并纳入更复杂的过程，通过提供对植物性状和生理状态的有效分析，推进高通量表型和农业研究 More information: Tong Lei et al, Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework, Plant Phenomics (2024). DOI: 10.34133/plantphenomics.0189