一种基于多模态大模型的柔性制造系统目标组件三维重建方法,具体包括:在柔性制造系统的目标组件区域布设多个不同拍摄角度的摄像头,所述摄像头在同一时刻不同视角下拍摄目标组件的2D图片,将所述2D图片进行预处理,生成目标图像;利用多模态目标检测GLIP模型在提示词的辅助下对所述目标图像进行定位,获取目标区域;将所述目标区域输入语义分割模型SAM2中进行分割,获取分割结果;将所述分割结果输入三维高斯泼溅模块生成3D点云信息;利用像素级重建算法将所述3D点云信息转化为网格模型,获得所述目标组件的三维重建结果。
全部评论