桂林理工大学

详情

视界立维--基于激光雷达与视觉耦合的空间三维重建

申报人：刘贤明 申报日期：2025-01-03

基本情况

2025年批次
视界立维--基于激光雷达与视觉耦合的空间三维重建 学生申报
创新训练项目
工学
计算机类
学生来源于教师科研项目选题
一年期
文化遗产保护是全球共同面临的重大课题。作为文明古国，我国拥有大量珍贵的文化遗产。然而，随着时间的流逝和环境的影响，许多古文化遗迹遭到不同程度的破坏和损毁。为了完整、精细地记录文物信息并实现长期保存，现代科技的引入成为不可或缺的重要手段。作为SLAM（即时定位与地图构建）技术的重要分支，该系统融合视觉惯性系统（VI）和雷达惯性导航系统（LI），在三维建模领域实现实时场景更新，并便于模型导出与后期处理。 当前，轻量级手持SLAM在古文物修复与保存领域的应用尚处于起步阶段，存在点云重叠、定位精度低及后期处理复杂等问题。这些瓶颈显著增加了时间成本，且定位漂移往往导致建模需多次修复。我们的产品针对以上痛点，通过精密的传感器融合技术与智能算法优化，显著提升了建模效率与质量，为古建筑修复及文化遗产保护提供了可靠的技术保障。我们的产品采用了ESIKF框架，采用顺序更新来解决激光雷达和视觉测量之间的尺寸不匹配问题，提高了鲁棒性。大大减少了激光雷达与视觉的点云重叠，以及定位飘移，我们的系统还能结合多种传感器（RTK、GPS等）拓展性高，后期升级维护成本小。
SCI三区第三作者TITLE = {Unsupervised Low-Light Image Enhancement Based on Explicit Denoising and Knowledge Distillation},URL = {http://www.techscience.com/cmc/online/detail/22159},
（1）2017年11月14日 桂林理工大学课题《基于目标管理的高校资助工作绩效考核研究—以桂林理工大学为例》，课题编号GUT17FB05 2019年9月结题，参与。
（2）2017年11月14日 桂林理工大学课题《“双一流”视域下大学生就业服务精准化模式探究—基于5所“双一流”高校的调查分析》，课题编号GUT17FB06 2019年9月结题，主持。
（3）2018年12月20日 桂林理工大学课题《大数据视域下广西高校校园文化创新途径研究》，课题编号GUT18FB05 2019年9月结题，参与。
（4）2019年12月 学校共青团“4+3”青春成长工程品牌培育项目A类《高台舞狮—桌椅上的龙狮盛宴》结题 2016年立项，主持。
（5）参与广西自然科学基金面上项目《含激电效应的可控源电磁法正反演成像、最优化观测系统及应用研究》项目编号：2018GXNSFAA050070，参与。
（6）参与2020年度广西本科教改工程项目《“新工科”视域下地方高校测绘地理信息专业群建设与实践》（重点项目），参与。
（7）2019年度广西高校中青年教师科研基础能力提升项目《大型音乐舞蹈史诗的舞蹈比较研究—以《东方红》《中国革命之歌》《复兴之路》为例》项目编号：2019KY0998，参与。
（8）2020年11月16日 桂林理工大学课题《自媒体环境下高校大学生意识形态教育的机制构建研究》，课题编号GUT20FC09，参与。
（9）2021年度广西高校中青年教师科研基础能力提升项目《岩溶区微重力测量精细地形校正空间域高效算法研究》项目编号：2021KY0272，参与。
（10）2021年6月3日郑州市2021年度社会科学调研课题立项《构建郑州多元高层次文创产业投融资机制研究》项目序号：0722；2021年12月25日结题;结题证书时间:2022年6月20日证书编号:ZSJX20220985，参与。
（11）2020广西重点实验室项目立项《基于人工智能的LTCC高通滤波器的设计研究》项目编号：2020-2-1，参与。
（12）参与2022年浙江省教育科学规划研究课题《共同富裕背景下浙江省产教融合激励制度研究》，参与。
（13）参与2021年广西高等教育自治区级教学成果一等奖《“三融合三协同”的计算机类本科人才培养质量提升研究与实践》桂教高教【2021】65号/证书号G-Y-2021077，参与。
（14）参与2023年广西旅游职业教育教学改革研究项目立项《旅游演艺业态创新背景下广西旅游职业院校音乐表演专业人才培养的探索与实践》项目编号:2023LYHZWY008，参与。
（15）参与2024年度广西高校中青年教师科研基础能力提升项目《基于视觉深度学习的室内移动机器人路径规划研究》项目编号：2022KY0252，参与。
对该项目的技术方面提供支持，指导项目的研究方向
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
刘贤明 计算机科学与工程学院 人工智能 2023 技术研发
阳炫俊 计算机科学与工程学院 人工智能 2022 视觉技术处理
张霞霞 计算机科学与工程学院 计算机科学与技术（应用） 2022 设备采购与实验环境配置
周信露 物理与电子信息工程学院 电子信息工程（应用） 2022 框架的整体搭建与实现，包括代码、装配、调试、以及外壳设计
农彩花 化学与生物工程学院 能源化学工程 2023 实验设备装配

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
孟德 计算机科学与工程学院 否

立项依据

文化遗产保护是全球性的难题。我国作为历史悠久的文明古国，拥有大量珍贵的文化遗产。然而，岁月流逝使许多古文明遗迹逐渐失去了原貌。为全面、精细地记录文物信息，现代科技的介入成为关键。
基于激光雷达、惯性导航与视觉传感器融合技术，我们设计了一套轻量化手持SLAM系统。该系统小型灵活，成本低，能够集成多种传感器，通过手持扫描采集古文物的高分辨率、多维度影像数据，并实现实时三维建模。系统采用ESIKF框架，采用体素射线投射和动态光照优化技术，有效应对复杂场景，提升建模精度与效率。
此外，系统支持与无人机结合，扩展至高空复杂遗迹的场景应用。通过这一工具，工作人员能够高效、全面地采集文物信息，推动文化遗产保护与数字化存档的发展。
作为SLAM（即时定位与地图构建）技术的重要分支，该系统融合视觉惯性系统（VINS）和雷达惯性导航系统（LINS），在三维建模领域实现实时场景更新，并便于模型导出与后期处理。
当前，轻量级手持SLAM在古文物修复与保存领域的应用尚处于起步阶段，存在点云重叠、定位精度低及后期处理复杂等问题。这些瓶颈显著增加了时间成本，且定位漂移往往导致建模需多次修复。我们的产品针对以上痛点，通过精密的传感器融合技术与智能算法优化，显著提升了建模效率与质量，为古建筑修复及文化遗产保护提供了可靠的技术保障。我们的产品采用了ESIKF框架，采用顺序更新来解决激光雷达和视觉测量之间的尺寸不匹配问题，提高了鲁棒性。大大减少了激光雷达与视觉的点云重叠，以及定位飘移，我们的系统还能结合多种传感器（RTK、GPS等）拓展性高，后期升级维护成本小。
1.高精度融合框架：系统采用ESIKF框架，通过顺序更新解决激光雷达和视觉测量数据在尺度匹配上的问题，同时增强异步更新框架的鲁棒性。此优化大幅降低了点云重叠与定位漂移的问题。得益于多传感器（如RTK、GPS等）的高扩展性设计，系统后期升级和维护成本显著降低。
2.动态物体处理：引入按需体素射线投射算法，克服动态物体对建模精度的干扰。在传统手持SLAM中，动态物体容易导致点云冗余，而我们的系统成功解决了这一难题，使建模结果更加精确与清晰。
3.实时建模与数据处理：系统集成了轻量化的机载计算模块，能够在建模过程中实时处理数据，同时实现数据向云端传输，极大地提高了工作效率，简化了数据后期处理流程。
4.空地一体化支持：系统支持与无人机融合，能够灵活应对高耸或复杂建筑的三维建模需求。空地协同的操作方式，不仅提升了作业效率，还增强了模型细节的完整性与精细度。
当前，国内外在基于激光雷达与视觉耦合的空间三维重建领域的研究水平表现出以下几个特点：
技术创新与融合：激光雷达与视觉传感器的融合已成为研究的热点。例如，LVI-GS系统结合了激光雷达、视觉和惯性传感器，利用3D高斯散射技术进行实时、高保真的场景重建和渲染。这种方法结合了激光雷达的几何结构特性和图像的视觉细节特性，通过彩色激光雷达点初始化3D高斯分布，实现了对场景的精确重建和渲染。
SLAM与语义重建：基于激光雷达和单目视觉融合的SLAM和三维语义重建方法是无人车领域的研究重点。这种方法通过融合语义图像与低分辨率的3D激光雷达点云，生成稠密的语义深度图，提高了定位精度，并实现了对户外环境的精细重建。这种方法在定位误差和重建质量方面表现出优于传统方法的性能。
三维重建技术的应用：三维重建技术在增强现实、医学、智慧城市、文物保护和工业等领域得到了广泛应用。例如，利用激光雷达与相机的融合，可以弥补单一传感器的缺陷，适应复杂的环境变化，得到信息丰富的三维场景数据。研究还包括改进点云配准方法和三维重建方法，以提高重建的精度和效率。
综上所述，这一领域的研究正朝着技术创新、多传感器融合、SLAM与语义重建的方向快速发展，并在多个领域展现出广泛的应用潜力。
1.相较于传统的手持式三维建图设备，本产品集成了激光雷达与视觉惯性系统，可实现自主场景感知和路径规划，具备实时动态建模能力，大幅提高了古建筑修复与文物保护的自动化水平。
2.系统支持无人机挂载，通过空地协同方式解决高耸复杂建筑的建模难题，同时采用自主充电技术，可在低电量时自动返航充电，减少人工干预，提高系统运行效率与持续性。
3.在数据采集方面，系统引入了按需体素射线投射和动态物体过滤功能，实现高效点云重构，解决传统技术中存在的点云冗余和动态场景干扰问题，确保建模结果精确且清晰。
4.系统内置自动化模型处理与分级功能，可直接生成高质量的三维模型并上传至云端，支持后续的智能修复与展示，相较于传统人工建模方式，显著缩短了处理时间，降低了技术门槛与成本。
该系统旨在以最小的人工投入实现文物保护的最大化效益，为古建筑修复及文化遗产数字化提供了一套高效且可持续的解决方案。 
1.基于ESIKF框架的多传感器融合：本系统采用误差状态迭代卡尔曼滤波（Error-State Iterated Kalman Filter, ESIKF）框架，通过顺序更新方式将激光雷达、视觉传感器和惯性导航单元（IMU）进行深度融合。ESIKF框架克服了不同传感器之间数据维度不匹配的问题，通过异步测量的顺序更新提高了系统的鲁棒性和精度。
（1）激光雷达模块直接利用点云数据，不提取边缘或平面特征，通过点到平面的残差实现高效几何构建。
（2）视觉模块采用直接光度误差优化方法，动态更新图像参考块，通过与激光雷达的联合配准，确保图像对齐的高精度。
（3）融合过程中，系统使用统一的体素地图，将激光雷达几何结构与视觉纹理信息结合，实现传感器数据的有机整合。
2.按需体素射线投射与动态物体处理：按需体素射线投射技术通过投射光线选择重要体素，在需要时动态生成和更新地图数据，有效减少不必要的计算量。该方法还能过滤动态物体干扰，避免传统建模过程中因动态物体引起的点云冗余问题。
3.高效光照适应与图像对齐优化：系统通过实时估算相机曝光时间，优化了光照变化环境下的图像对齐精度。
（1）动态曝光调整：可在室内弱光到室外强光的极端光照变化条件下稳定工作，确保模型对齐的鲁棒性。
（2）引入平面先验：利用激光雷达点云的几何特性作为图像对齐的初始条件，大幅提升了图像纹理的对齐精度与效率。
（3）优化图像参考块选择策略：采用高视差和丰富纹理的参考图像块，有效降低低质量图像块对模型精度的负面影响。
由于文化遗产保护和修复的需求不断增加，文物保护行业对数字化技术的依赖性也日益加强。全球范围内，尤其是中国、印度、欧洲等地区，对于古文物的保护工作投入巨大资金，未来市场前景广阔，古建筑、历史遗址保护以及相关的修复项目也对高精度数据采集技术有着强烈需求，尤其是在保护文物的过程中，精确的三维模型可以有效地指导修复工作。利用数字化技术制作虚拟博物馆、历史遗址虚拟参观等项目成为近年来的新兴产业。
此类产品能够吸引大量的游客和文化爱好者，极大地推动教育和旅游行业的跨界融合。当前市场上，已经有一些文物数字化设备和技术供应商，但大多数产品仍存在一些缺陷，例如采集精度不高、设备重量大、操作复杂等问题。本设备通过结合激光雷达、IMU和SLAM技术，能够解决这些问题，具有较强的市场竞争力。
初期主要投入在设备研发、技术优化、市场推广和客户教育等方面。尽管初期投入较大，但随着技术的成熟和市场接受度的提升，随着文物保护和数字化领域对精准设备的需求增加，该设备将具备持续的市场需求。预计该系统在文物保护领域的市场份额将逐步扩大，成为行业标准技术之一，带来持续的盈利增长。根据市场分析和行业发展趋势，预计该设备将在3-5年内实现盈利，并具备较高的投资回报率。

  我们已经完成了SLAM样品并进行了相关实验，以下为实物展示：



1、实时建模效果图整体部分                      2、实时建模效果细节部分

summernote-imgsummernote-img

3、轻量手持SLAM（正面）                      4\轻量手持SLAM（背面）
 
summernote-img summernote-img
已具备条件：
本作品基于手持式SLAM技术，专为文化遗产保护和高精度三维建模设计，适用于古建筑、文物遗址等复杂场景的数据采集与数字化存档。
启动设备后，用户可通过手持式平台采集文物的高分辨率点云数据和影像信息。系统集成激光雷达、惯性导航与视觉传感器，通过实时多传感器融合，实现高效、精确的动态建模与数据处理。设备采用按需体素射线投射技术和动态光照优化算法，有效过滤冗余数据，确保点云建模的精度与完整性。
采集完成后，设备将自动生成精细的三维模型，并支持导出至云平台供进一步处理和存档。手持式SLAM平台体积小、灵活性强，适用于各种复杂环境，为文物保护提供了高效便捷的技术支持。
缺少条件与改进方法：
目前，对于设备的操作系统不够简便，设备的生产需要硬件上的支持，因此需要经费支持。我们将把操作流程以web-ui或者软件的方式变化，并将选择性价比高的硬件作为标准配置以准备往后的量化生产。

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 6500.00 无 2750.00 3750.00
1. 业务费 1000.00 无 0.00 1000.00
（1）计算、分析、测试费 0.00 无 0.00 0.00
（2）能源动力费 0.00 无 0.00 0.00
（3）会议、差旅费 0.00 无 0.00 0.00
（4）文献检索费 0.00 无 0.00 0.00
（5）论文出版费 1000.00 版面费 0.00 1000.00
2. 仪器设备购置费 4500.00 主要框架采购 2000.00 2500.00
3. 实验装置试制费 500.00 零部件采购 500.00 0.00
4. 材料费 500.00 材料采购 250.00 250.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司