露天煤矿智慧化建设中的全息立体虚拟仿真展示系统

仲召林，卢   磊

（中联润世新疆煤业有限公司，新疆   昌吉   831800）

摘   要：基于实际项目，提出 1 种基于全息立体显示、实体电子沙盘和激光交互的虚拟仿真展示系统。系统由大型全息立体显示系统、实体电子沙盘系统、激光雕刻系统、6DOF（Six Degrees of Freedom，六 自 由度） 光学定位系统和集控管理平台系统 5 个模块组成，构建沉浸感知、动态演绎与实时交互相结合的混合现实平台。测试表明系统实现了真 3D 精细可视化（立体显示深度误差<0.5%）、低延迟高精度交互（渲染延迟28.7 ms，多用户协同交互正确率 98.6%） 以及 72 h稳定连续运行，各项指标均达到设计要求。该系统的应用显著提升了露天矿山数字化成果的立体展示与交互能力，为露天煤矿智慧化建设成果的可视化呈现和管理决策提供了有力支撑。

关键词： 露天煤矿；智慧化建设；虚拟仿真展示

中图分类号：TD804；TP391.9     文献标志码：A      文章编号：2095-0802-(2026)02-0086-04

Holographic Stereoscopic Virtual Simulation Display System in Intelligent

Construction of Open-pit Coal Mines

ZHONG Zhaolin, LU Lei

(Zhonglian Runshi Xinjiang Coal Industry Co., Ltd., Changji 831800, Xinjiang, China)

Abstract: Based on a practical project, a virtual simulation display system integrating holographic stereoscopic display, physical electronic sand table, and laser interaction was proposed. A laser engraving system, a 6DOF (Six Degrees of Freedom) optical positioning system, and an integrated control management platform system, forming a mixed reality platform that combines immersive perception, dynamic simulation, and real time interaction. Tests show that the system achieves true 3D fine visualization (stereoscopic display depth error <0.5%), low latency high precision interaction (rendering delay 28.7 ms, multi user collaborative interaction accuracy 98.6%), and stable continuous operation for 72 h, with all indicators meeting the design requirements. The application in open pit mines, providing strong support for the visual representation and management decision making of intelligent construction achievements in open pit coal mines.

Key words: open pit coal mine; intelligent construction; virtual simulation display

随着矿山行业数字化转型和智能化建设的推进，矿区成果展示方式正由传统平面静态向立体动态升级。露天煤矿因空间广阔、数据复杂 ，对成果逼真呈现和交互体验提出了更高要求 ，但传统展板图表等平面手段难以全面展现矿山全貌和智能化流程[1]。针对这一挑战，本研究采用全息立体显示、实体电子沙盘和激光交互相结合的技术路径 ，构建露天矿山全息立体虚拟仿真展示系统，融合多源三维可视化与人机交互技术，实现矿区环境及生产过程的沉浸式动态再现。 研究内容涵盖系统架构设计、关键软硬件模块开发和真实场景应用验证 ，以提升矿山数字化信息的直观表达效果和管理决策支撑能力。

1   系统整体架构

中联润世露天煤矿全息立体虚拟仿真展示系统项 目构建基于“全息立体显示+实体电子沙盘+激光交互”三位一体的多模态融合平台，形成具备沉浸感知、动态演绎与空间交互的智能展示系统。 整体系统布设于 8.3 m ×3.1 m ×5.5 m 空间中 ，采用中心集成式科技风格框架结构 ，确保各子系统空间耦合与功能独立性共存。核心硬件由五大子模块构成：1） 大型全息立体显示系 统，采用≥8 m ×4 m 专业透明全息投影膜 ，配置 P1.86 小点距 LED（Light-Emitting Diode，发光二极管） 主动立体显示屏、120 Hz 高帧率信号处理模块及图形工作站，支持帧同步立体渲染、双目视差主动立体呈像，实现立体显示深度误差 <0.5%的真 3D 视觉输出 ；2） 实体电子沙盘系统， 以白模漫反射实体地形为基础 ，通过 2 台 8 000 lm 激光工程投影机阵列融合输出 ，支持多分区局部动态投影 ，具备沙盘全景融合校正算法和三维地貌分层叠加机制；3） 2W RGB 激光雕刻系统集成激光图形生成与投影路径预设逻辑 ，可实现与沙盘投影内容的时空同步控制 ，进行多场景的动态激光标识演绎 ；4） 6DOF 光学定位系统， 融合光学空间定位与IMU（Inertial Measurement Unit，惯性测量单元）惯性补偿技术 ，延迟控制≤20 ms，赋能空间中任意角度、任意路径的实时交互操作 ；5）集控管理平台系统以边缘节点架构部署 ，支持软硬件统一调度、状态实时监控及多模块协同控制。各模块通过高速信号总线与中控平台互联 ，确保多系统间帧级同步与高并发响应能力，整体渲染延迟控制在 30ms 以内。该架构在实现高沉浸立体视觉基础上 ，构建兼具物理实体感知与虚拟仿真交互的混合现实平台，为露天煤矿智慧化成果的可视化表达与管理决策提供系统级支撑。

2   应用模块功能实现

2.1   全息立体显示系统

全息立体显示系统构建于以双目视差原理为基础的主动立体视觉平台 ，采用真 3D 全息映射与动态地形重构融合算法 ，实现露天煤矿场景的高保真视觉再现与交互表达[2]。系统以无人机倾斜摄影测量数据为数据源，结合 SfM（Structure from Motion，运动恢复结构）与MVS（Multi-View Stereo，多视图立体）重建算法 ，生成具备厘米级精度的地形点云模型。该模型经多边形网格化后导入渲染引擎，执行基于动态 LOD（Level of Detail，细节层次） 的地形渲染。

影像输出方面，系统以≥8 m ×4 m 专业透明全息投影膜为成像介质 ，配合 P1.86 小点距 LED 主动立体显示屏及 120 Hz 高帧率信号处理模块 ，通过图形工作站 （CPU i9-13900，GPU RTX 5000） 驱动三维数据渲染。帧同步机制基于硬件 Genlock 协议实现，使每帧图像在左右眼同步呈现，最大限度减少立体图像撕裂和深度抖动现象。图像拼接与校正由双路图像融合服务器完成，支持 8K 输入和实时帧封装转换 ，将立体显示深度误差控制在 <0.5%。

2.2   采矿工艺仿真模块

采矿工艺仿真模块以全息立体显示系统与实体电子沙盘系统双引擎驱动，结合Unity 3D 引擎构建高保真物理仿真环境 ，通过 Lua 脚本驱动 5 阶段采矿工艺流程 ：穿孔（drill）、爆破 （blast）、采装（load）、运输（haul）、排岩（dump） 动态演绎[3]。地形数据采用无人机倾斜摄影所得DEM（Digital Elevation Model，数字高程模型） 文件与作业区 OBJ（Object File，对象文件）模型融合构建， 场景切换基于状态机管理系统实现。设备运动轨迹控制采用刚体动力学模块 （Rigidbody+ Collider+NavMeshAgent） 和 Bezier 曲线插值函数 ，实现基于路径点的缓动拟真动画。

系统通过多线程调度投影端与全息显示端的演绎内容，建立基于时间戳（timestamp）+帧号（frameIndex）双维同步机制 ，误差控制 <1 帧。硬件交互方面 ，采用平板设备控制演示进度与播放内容 ，基于 ROS（Robot Operating System，机器人操作系统）局域网络协议发送JSON 格式命令至中控主机，完成模块激活与内容切换。设备展示采用模块化 3D 模型包 ，支持主采设备 （如 CAT 793F 卡车、PC4000 挖掘机）拆解展示，加载方式基于 StreamingAssets 分块流加载技术。

2.3   全景漫游系统

全景漫游系统基于Unity 引擎构建虚拟地理信息场景，采用 6DOF 空间定位技术实现用户在三维空间内的任意自由移动与视角切换。系统融合地形 DEM 数据、无 人 机 倾 斜 摄 影 模 型 与 BIM（Building Information Modeling，建筑信息模型）构件 ，构建 LOD 分层结构，使用 Quadtree 动态调度算法控制场景资源加载效率。场景漫游过程支持局部细节自适应渲染 ，实时调整纹理分辨率与网格密度。

  漫游控制采用基于IMU+ 光学融合的空间追踪系统，观众手持平板通过蓝牙低延迟通信 (≤20 ms） 与主控系统绑定，驱动虚拟摄像机沿 Bezier 轨迹或自由路径飞行 。引擎内嵌 Skybox 多天气系统， 模拟沙尘暴、昼夜交替、低空气流扰动等环境效果[4]。实时光照变化通过混合HDR（High Dynamic Range，高动态范围） 与动态 GI（Global Illumination，全局光照） 实现，增强视觉真实度。

系统采用双通道画面输出，一路传输至全息影像区，另一路传输至投影沙盘，实现虚实同步飞越。地图交互采用瓦片级地理坐标系绑定机制，触控事件通过Raycast 投射至地图表面 ，由 UI（User Interface，用户界面） 事件系统反馈至逻辑层完成区域跳转、信息弹窗加载。整体系统帧率控制在≥60 帧/s，GPU 并发渲染负载≤70% ，多景区漫游切换时间 <3 s，确保系统运行流畅性与用户沉浸感。作为沉浸式展示的核心子模块 ，全景漫游系统具备强可拓展性与场景迁移能力，实现煤矿不同发展阶段的时空推演、建设规划的动态模拟，为煤矿数字化转型提供直观支持。

2.4   多模态交互技术

多模态交互系统融合光学定位 、IMU 姿态估计、语音指令识别与手势跟踪技术 ，构建以空间感知为核心、自然语义为补充的人-机-场景闭环交互体系^[5]。系统采用的Vicon Bonita 系列高帧率红外定位相机布设于展示区域顶部 ，实现多用户 6DOF 坐标捕捉 ，结合平板终端内嵌的 MPU9250 IMU 模块数据 ，通过卡尔曼滤波算法融合位置与姿态信息。

光学数据采集频率达240 Hz，平板端动作捕捉延迟≤20 ms，空间漂移误差 <5 mm，保障高精度空间交互体验。

手势识别模块采用基于Mediapipe 骨骼点模型+K-NN（K-Nearest Neighbors，K- 最近邻算法） 分类器实现动态手势检测 ，语音识别模块集成腾讯 AI Lab 语音识别 SDK（Software Development Kit，软件开发工具包），识别指令以中文普通话语义词典为基础 ，通过WebSocket 与主控服务实时传输交互指令^[6]。控制指令采用事件驱动机制触发，平板交互终端以React Native开发，绑定命令与动作响应链。

为实现协同交互，系统引入Socket.IO 框架构建实时通信中枢 ，支持多平板同步指令广播、状态互锁机制 ，采用 UUID（Universally Unique Identifier，通用唯一识别码）标识独立会话 ，配合 Redis 发布订阅实现跨设备 状 态 一 致 性 控 制 ^[7]。系统整体交互响应时间≤ 100 ms，支持≥10 组用户并发， 保障矿区展示、漫游控制、设备拆解等任务协同触发， 整体构建出沉浸式、多维度、人本导向的互动体验空间 ，有效提升观演参与感与虚拟仿真的交互可信度。

3   应用效果分析

系统部署于中联润世准东露天煤矿智慧展示厅后，在真实观摩、培训与生产决策模拟3 类典型场景中完成应用测试 。依据 ISO/IEC 9126 软件工程质量模型与VESA 3D 性能评估标准 ，对系统的视觉沉浸度、空间交互响应、 图像渲染精度及系统稳定性进行定量测试。测试过程中使用虚拟漫游、工艺流程演绎与激光沙盘联动等模块作为评估样本 ，采集 40 次操作数据 ，系统平均响应延迟控制在 28.7 ms，低于行业 30 ms 阈值，系统同步误差控制于 0.67 帧内 ，满足 Genlock 帧级同步标准。

空间交互精度通过IMU-光学融合数据回调比对，在定位区域（3.0 m ×2.5 m ×2.0 m） 内进行 3 组用户协同操作，空间定位误差 <4.2 mm，交互事件触发正确率达 98.6% 。在裸 眼观察立体 图像过程中 ，平均 FOV （Field of View，视场角） 为 167.4，匹配多用户不动位同步观看需求。系统稳定运行测试 72 h 无死机、无帧丢失，软件模块平均资源占用率 <65% ，GPU 最大负载率未超出 80% ，符合大规模多用户实时调度要求。

该仿真技术整体应用场景覆盖矿区宣传接待、智能开采培训、规划预测演示与科技成果展陈，显著提升了矿区数字化展示与交互表达能力，具备推广至其他矿山、工业园区或能源企业的场景迁移价值。

4   结束语

所提出并设计的全息立体虚拟仿真展示系统，整体技术体系完备，各项性能指标均达到设计要求，实现了高沉浸感、高精度和高可靠性的露天矿虚拟仿真展示效果。设计过程中所提出的多模态融合技术路径（将全息立体成像、实体电子沙盘和交互控制深度集成）有效提升了矿山三维可视化与人机交互水平。所构建的平台为露天煤矿智慧化成果展示提供了创新载体，具备向其他矿山及相关工业领域推广应用的潜力。

参考文献：

［1］刘文.基于虚拟仿真技术的农业机械交互展示设计［J］.农机化研究，2024，46（12）：199-203.

［2］ 宁世超，王洪涛.融合虚拟仿真技术的“电机学”教学探索与实践［J］.科技风，2024（25）：98-100.

［3］杨晓文，郭子军，张元，等.虚拟仿真技术引导汽车构造拆装实验系统开发［J］.机械管理开发，2024，39（5）：238-242.

［4］李伟丽，李松燕，徐燕.虚拟仿真技术平台在导游服务技能大赛备赛中的应用研究［J］.南阳师范学院学报，2023，22（1）： 73-76.

［5］ 陶慧娟.虚拟仿真技术在展示设计教学中的应用研究［J］.信息与电脑，2024，36（14）：65-67.

［6］ 陈臻炜，谭泽富，蔡黎，等.基于虚拟仿真技术的变压器实验教学实践与探索［J］.三峡高教研究，2024（1）：29-34.

［7］林海.智能仿真虚拟实验室中的产品展示技术及实现［J］.科技与创新，2023（7）：53-55.

（编   辑：高志凤）