详情

“南科遗梦”—虚拟交互技术应用于非物质文化遗产活态保护与传承

申报人:黄继薇 申报日期:2025-01-06

基本情况

2025年批次
“南科遗梦”—虚拟交互技术应用于非物质文化遗产活态保护与传承 学生申报
创新训练项目
法学
社会学类
学生自主选题
一年期
“南科遗梦”项目将虚拟交互技术应用于广西壮族自治区内甚至全国范围的非物质文化遗产(以下简称非遗)的保护与传承,打造数字虚拟的非遗手艺传承平台,让用户可通过VR、手柄、3D建模、动作捕捉装置等技术跨越现实条件参与到非遗的具体流程中,感受非遗文化本身的魅力,在使用高新科技复现和保存濒临失传的非遗技艺、传统等具体流程的同时,让非遗文化以全新的形式出现在大众的视野,从而提高大众对非遗的认知和兴趣,使得非遗能够更好被更多人保护与传承。
暂无参与过的科研课题。
主持校党建与思想政治教育研究等课题3项,参与国家级、区级课题3项。
提供非遗保护与支持研究的学术指导;帮助学生理解虚拟技术和非遗研究相关领域的理论和实践问题;帮助团队明确项目目标和提供可行性分析、方案设计及步骤规划的建议;帮助学生访问学术数据库和推荐相关书籍和期刊;指导学生撰写项目报告;提供学生论文写作技巧、格式要求、数据展示等方面的帮助。
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
黄继薇 商学院 物流管理 2023 负责人
胡赛岚 商学院 会计学 2024 组员
杨胜恺 商学院 国际经济与贸易 2024 组员
李奕瑶 商学院 会计学 2024 组员

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
黄小华 马克思主义学院

立项依据

(1)旨利用虚拟交互技术为濒危非物质文化遗产(以下简称非遗)提供了能够较长时间记录与保存的手段,即便其手艺以及其他工序流程等随着时间等客观因素逐渐消失,但依旧能够在虚拟世界中可以较大程度的被保留;
(2)旨在在顺应高新科技不断发展和广泛普及的趋势当下利用虚拟交互技术营造出对非遗文化的沉浸式的体验、认知、学习环境。通过这种沉浸式、互动式的体验更有助于激发年轻人对非遗传承的兴趣,挖掘潜在的传承人才,引导他们深入学习非遗技艺,为非遗的可持续发展不断注入新鲜血液。例如学习传统壮锦制作工艺时,通过AR技术将壮锦制作步骤投射在真实操作台上,即能模拟实际操作手感,也使其更加直观、深刻地理解非遗知识。
研究虚拟交互技术(包括VR、3D扫描、体感设备等)在非遗保护与传承方面的应用,实现各类非遗的数字化存档,并且无需亲临现场也能通过VR设备探索不同的非遗项目,体验传统技艺、文化习俗或仪式的真实过程,且研究将虚拟交互技术的融入为非遗带来更多新的表现形式和创意空间,使其能够与现代科技、现代审美、现代生活更好地结合,衍生出诸如非遗主题的数字藏品、虚拟操作等新业态,赋予非遗新的生命力,让其在当代社会持续焕发光彩。
国内众多科研项目和实践案例不断涌现,如湖北大学余日季教授负责的“土家族传统村落数字化展示与传播平台建设”项目,利用VR技术结合多种尖端科技,为土家族非遗文化构建数字化展示与传播方案;西交利物浦大学学生团队将VR和AR技术与中国传统文化结合,开发出与文物互动的创新应用。
国外在虚拟交互技术研发方面一直处于领先地位,如意大利佛罗伦萨的遗产数据系统,利用数字信息技术对城市历史景观进行科学保护和管理,通过三维建模和增强现实技术,让公众以全新的方式体验和了解文化遗产的价值和历史。
一、创新点
(1)多维动态数据融合:
不仅将非遗的物理形态(如器物、舞蹈动作)数字化,还能捕捉声音、色彩、质感等多维数据。例如,通过高保真的声音采集技术记录传统乐器的音色,实现非遗的“活态”复现,让用户不仅“看得见”,还“听得到、摸得着”;
(2)沉浸式全景体验:
突破传统单一虚拟交互技术的局限,将虚拟现实(VR)、增强现实(AR)、混合现实(MR)、动作捕捉、人工智能(AI)、触觉反馈等多种前沿技术深度融合,不仅重现场景,还能还原非遗的文化氛围,让用户感受到特定时间和空间的独特魅力;
(3)虚拟与现实的联动:
通过MR技术,非遗的数字化存档不仅停留在虚拟世界,还可以叠加在现实中,比如用户在真实环境中用AR设备操作虚拟刺绣机,实现非遗技艺与现实操作的无缝结合,推动技艺保护与传承的场景化和教育化。
二、项目特色
(1)跨时空的文化传播:
突破了地域和时间限制,无需亲临现场即可体验,例如用户可以通过VR参与中国的龙舟节,即便身在国外也能沉浸其中;
(2)互动过程的可记录与分享:
用户在虚拟场景中观看的非遗表演(如昆曲、少数民族舞蹈等)和制作的非遗作品(如陶器、剪纸等)和可以保存为数字文件,通过社交平台分享,扩大非遗的传播范围;
(3)虚拟体验与知识传承的结合:
在用户体验的过程中,可设置嵌入文化背景知识(如工艺来源、历史演变、文化意义),让用户在体验技艺的同时深入理解其内涵。
 首先,对不同类型的非遗(如传统技艺、民俗活动、表演艺术、口头传统等)进行分类梳理,确定针对各类非遗的关键采集要素。根据采集要素,选择合适的采集设备和技术手段。可以运用高清摄像机、3D扫描仪、音频录制设备等,分别对非遗的视觉、触觉、听觉等方面的特征进行全面记录。
其次,拟解决的问题在于如何选择合适的虚拟交互技术平台和开发工具(如Unity、Unreal Engine等游戏引擎,这些具备强大的跨平台能力和丰富的插件资源,从而便于集成各种交互技术),将虚拟现实(VR)、增强现实(AR)、混合现实(MR)、触觉反馈、人工智能(AI)等技术进行集成开发。
预期想达到的成果例如,利用VR技术营造沉浸式的非遗体验空间,让用户仿佛置身于非遗活动所处的现场环境;通过AR技术将虚拟的非遗元素与现实场景相结合,实现虚实融合的互动效果;借助触觉反馈技术,模拟传统技艺操作过程中的触觉感受,增加交互的真实感;运用AI技术实现智能语音导览、虚拟角色的自主行为以及根据用户操作进行实时反馈和个性化推荐等功能。
1.开展项目调研:
收集国内外相关案例,深入了解虚拟交互技术在非遗保护与传承方面的已有应用模式、成效以及存在的问题,同时对拟研究的特定非遗项目进行背景调研,梳理其文化内涵、表现形式、传承现状等基本情况,为后续工作奠定基础;
2.制定项目计划:
根据调研结果,结合项目目标,详细制定涵盖各个阶段的项目整体计划,包括各阶段的任务、预期成果、时间节点、人员安排以及预算分配等内容,并确保计划得到所有团队成员的认可与熟悉;
3.资源准备:
购置项目所需的硬件设备,如高清摄像机、3D 扫描仪、动作捕捉设备、VR/AR 头戴设备等,以及软件工具,如三维建模软件、游戏引擎、数据分析软件等;同时,积极与非遗传承人和相关文化保护机构建立联系,争取获得非遗资源使用授权,确保项目合法合规推进;
4.确定非遗研究对象:
基于前期调研和项目实际情况,选定若干具有代表性且亟待通过技术手段加强保护与传承的非遗项目作为重点研究对象,如某种传统手工艺壮锦等、以及民俗活动或表演艺术等,并进一步深入分析其特点与传承需求;
5.数据采集规划制定:
针对选定的非遗项目,尝试与非遗专家共同确定详细的数据采集要素,例如对于传统手工艺,要明确采集工具、材料、制作步骤、成品细节等方面的数据;对于民俗活动,则需聚焦活动流程、参与人员角色、场景布置、仪式细节等。根据采集要素,选择合适的采集设备和技术手段,并制定具体的采集计划,包括采集时间、地点、人员安排等;
6.实地数据采集(包括3D扫描与建模、视频与动作捕捉、纹理与材质数据采集、声音与语言采集、文化与背景信息收集):
按照采集计划,项目团队深入非遗传承现场,使用LiDAR、摄影测量等技术对非遗实体(如器物、场景)进行三维数据采集,对动态非遗(如舞蹈、戏剧)进行高精度视频拍摄,使用动作捕捉技术记录人体动作轨迹,录制非遗相关的声音(如传统乐器、唱腔),并采集非遗器具或场景的表面纹理和材质数据,用于模型细节还原。在采集过程中,注重与非遗传承人密切合作,确保采集到的数据准确反映非遗的真实面貌,同时注意收集传承人的实践经验、技巧以及文化内涵解读等方面的口头资料,并做好相应记录;
7.数据整理与预处理:
将采集到的大量原始数据(包括图像、视频、音频、文字记录等)进行分类整理,去除重复、模糊或错误的数据,对关键数据进行标注和注释,以便后续处理和使用;
8.存档与建库:
设计数字化存档系统,包含数据存储、分类、检索功能,按照非遗类型、地域、时间、传承人等标签确定数据分类标准;使用云存储服务(如阿里云、腾讯云)进行数据存档,便于后续访问和共享,定期备份数据至本地硬盘或专用服务器,确保数据安全;为存档内容添加详细的元数据,包括非遗的名称、类型、采集地点、传承人信息、时间戳等,方便未来检索与使用;
9.数字化建模基础工作:
根据整理好的数据,选择合适的专业建模软件,开始进行非遗项目的数字化建模基础操作。针对不同类型的非遗元素(如人物、道具、场景等)分别创建基础模型,确定模型的基本结构、比例和形态,为后续的精细建模和动画制作做准备;
10.精细数字化建模与动画制作:
在基础模型的基础上,进一步完善模型细节,通过调整材质、纹理、光照等参数,使模型更加逼真地呈现非遗项目的视觉特征。对于具有动态表现的非遗项目(如表演艺术),结合动作捕捉数据,运用动画制作技术为虚拟模型赋予生动、准确的动作行为,使其能够完整地展现非遗的表演过程或工艺流程,最终完成所有选定非遗项目的数字化建模工作,并进行内部审核,确保模型质量符合项目要求;
11.交互需求调研与分析:
通过问卷调查、实地访谈、焦点小组等多种方式,广泛收集不同用户群体(如普通民众、非遗爱好者、学生、专业研究人员等)对非遗虚拟交互体验的需求和期望,分析不同群体在知识获取、操作便利性、趣味性、沉浸感等方面的偏好,梳理出共性和差异化的交互需求,确定核心交互功能及相应的实现优先级;
12.核心交互功能开发:
按照既定的框架和需求,我们开始运用选定的技术和工具,集中精力进行各项核心交互功能的开发工作。例如,实现触摸交互功能,让用户能够通过触摸设备感受传统手工艺品的纹理质感;开发语音交互功能,支持用户通过语音指令查询非遗知识、与虚拟角色对话等;完善手势交互功能,便于用户控制虚拟场景中的角色动作或切换视角等,确保各交互功能的准确性和稳定性;
13.集成人工智能辅助功能:
引入人工智能技术,开发如智能语音导览、虚拟角色的自主行为以及根据用户操作进行实时反馈和个性化推荐等功能,提升用户体验的智能化水平,使虚拟交互系统能够更好地适应不同用户的行为习惯和需求,增加系统的趣味性和吸引力;
14.系统整合与联调:
将各个独立开发的交互功能模块进行整合,对整个虚拟交互系统进行联合调试,检查各功能之间的衔接是否顺畅、数据传递是否准确、系统整体运行是否稳定等。针对调试过程中出现的问题,及时进行代码优化和功能调整,确保系统能够流畅、稳定地实现各项预定的交互功能,满足用户的使用需求;
15.功能测试:
尝试进行组织由非遗专家、技术开发人员、普通用户代表等组成的测试团队,对虚拟交互系统的各项功能进行全面测试。从专业角度检查非遗内涵的准确呈现情况,从技术角度评估交互功能的实现效果(如手势识别的准确性、语音交互的响应速度和识别率、触觉反馈的逼真程度等),详细记录测试过程中发现的功能缺陷和问题,并及时反馈给开发团队进行修复和优化;
16.用户体验测试:
邀请不同类型的用户群体进行试用体验,通过观察用户操作行为、收集用户主观反馈等方式,重点关注用户对虚拟交互系统整体的易用性、趣味性、沉浸感等方面的评价,了解用户在体验过程中遇到的不便之处和改进建议,为系统的进一步优化提供依据;
17.优化调整:
根据功能测试和用户体验测试的结果,对虚拟交互系统的界面设计、交互流程、内容呈现等方面进行全面优化调整。例如,简化复杂的操作流程、优化虚拟场景的视觉效果、丰富交互反馈的形式等,以提升用户的满意度和参与度,确保虚拟交互系统能够更好地服务于非遗传承工作,同时再次进行内部测试,验证优化效果,保证系统质量;
18.应用场景部署:
将经过测试优化的虚拟交互系统部署到多个预设的应用场景中,如学校教育(作为非遗课程的辅助教学工具)、文化展馆(用于展览展示和互动体验)、旅游景区(打造非遗主题的沉浸式旅游项目)、线上平台(通过网络让更多用户远程体验非遗文化)等。根据不同场景的特点和需求,对系统进行适当的适配和定制,确保其在各场景中能够发挥最大的作用,有效促进非遗传承;
19.合作洽谈与推广准备:
开始尝试积极与文化机构、教育部门、旅游部门、社交媒体平台等相关各方进行合作洽谈,争取各方对项目推广的支持与参与。同时,制定详细的推广计划,准备推广所需的宣传资料(如项目介绍手册、演示视频、图文宣传材料等),确定宣传渠道和推广活动形式,为项目的大规模推广做好充分准备;
20.全面推广:
按照推广计划,通过多种渠道进行项目的宣传推广。利用社交媒体平台(如微信公众号、微博、抖音等)发布精彩的非遗虚拟交互体验视频和图文介绍,吸引公众关注;与合作方共同举办非遗虚拟交互体验活动、专题讲座、研讨会等,扩大项目影响力;积极参与国内外文化科技相关的展会、竞赛等活动,展示项目成果,提升项目知名度,吸引更多人了解并参与到非遗传承工作中来,同时对项目进行总结评估,分析项目成效、存在问题及改进方向,为后续的持续发展提供参考。
(1)敦煌“数字供养人计划”:通过交互设计,利用H5创意视频、音乐创作、文化IP等形式,实现敦煌文化的数字化保护和活态传承;
(2)VR纪录片《来自大湾区》:国内首部聚焦大湾区非遗文化的VR纪录片,融合空间音频、VR绘画与动画等技术,呈现非遗文化的多样传承;
(3)粤剧VR体验:香港教育大学推出“虚拟实境粤剧体验”,观众可戴上VR眼镜,化身粤剧《西楼错梦》主角,以第一人称视角体验粤剧演出;
还有东莞文化馆元宇宙展厅、龙门石窟智慧文旅数字孪生平台、非遗景泰蓝京剧脸谱系列数字藏品等,为非遗保护与传承注入全新活力。
(1)已具备的条件:
①3D建模与扫描技术成熟;
②虚拟现实(VR)、增强现实(AR)技术普及;
③人工智能(AI)赋能:AI技术可以动态优化非遗技艺的模拟过程;
④国家政策的推动:中国政府多次强调文化自信及非遗保护的重要性,相关政策为虚拟交互技术的应用提供了强有力支持;
⑤社会重视与公众认同;
⑥数字教育平台的兴起:腾讯课堂、网易云课堂等在线平台开始提供非遗技艺的在线课程,培养新一代传承人;
⑦国际合作与经验积累:一些国际非遗保护项目(如联合国教科文组织的“非遗数字化保护计划”)为中国非遗数字化存档和虚拟交互技术的应用提供了重要借鉴。
(2)尚缺少的条件:
①感官体验局限:当前虚拟交互主要集中在视觉和听觉,触觉、嗅觉、味觉等模拟技术尚未成熟;
②技术成本高:非遗数字化和虚拟交互技术开发成本较高,难以大规模推广;
③标准化缺失:缺乏系统的非遗数字化标准,项目之间难以整合或共享;
④内容深度不够:大部分非遗数字化项目仅停留在表面展示,交互性和教育性不足;
⑤传承人数字化能力不足:许多非遗传承人对虚拟交互技术了解有限,难以主动参与数字化;
⑥技术与文化的隔阂:技术开发者与非遗传承人之间缺乏充分的交流与协作;
⑦知识产权问题:数字化非遗内容的版权归属不明,可能导致文化资源被滥用;
⑧过度娱乐化倾向:部分数字化项目过于追求商业价值,从而忽视了非遗的文化内涵。
(3)解决方法:
①推动多感官模拟技术发展:投入研发触觉(如力反馈手套)、嗅觉和味觉技术,增强虚拟交互的沉浸感;
②开发轻量化工具:为中小型非遗项目提供低成本、易操作的数字化工具,降低技术门槛;
③制定标准化规范:制定非遗数字化存档与展示的统一技术标准,包括建模格式、数据存储、交互设计等;
④深挖非遗内涵:在数字化内容中融入非遗的历史背景、文化意义和技艺精神,增强项目的教育性和文化性;
⑤提供技术培训:为非遗传承人提供数字化技能培训,提升其在虚拟交互技术中的主动性;
⑥建立协作平台:通过线上线下交流平台,加强技术开发者与非遗传承人的合作;
⑦建立版权保护机制:利用区块链技术记录非遗数字内容的版权归属,确保传承人的合法权益;
⑧平衡商业化与文化性:在开发过程中尊重非遗的文化本质,避免过度娱乐化,同时探索合理的商业模式支持项目持续发展。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 200000.00 项目研究 125500.00 74500.00
1. 业务费 85000.00 专家咨询,合作项目,技术指导,沟通协调,数据采集,数据分析,以及以下未详尽的其余支出 52500.00 32500.00
(1)计算、分析、测试费 25000.00 三维建模与数字重建计算、多模态数据分析、技术性能测试、虚拟交互测试、人员劳务费、设备使用费 18000.00 7000.00
(2)能源动力费 30000.00 电力费,水费,燃料费 15000.00 15000.00
(3)会议、差旅费 20000.00 住宿费,伙食费,交通费,场地租金,调研场地与活动 13000.00 7000.00
(4)文献检索费 5000.00 非遗保护与传承的基础理论文献、虚拟交互技术的基本文献、非遗数字化存档与管理文献、非遗保护中的文化与伦理研究文献 3500.00 1500.00
(5)论文出版费 5000.00 编辑,排版,校对,印刷,数字传播以及出版,与推广营销 3000.00 2000.00
2. 仪器设备购置费 60000.00 仪器装置购买使用 40000.00 20000.00
3. 实验装置试制费 20000.00 实验装置测试,制作、调试和试验专用仪器设备,技术革新与产品升级 15000.00 5000.00
4. 材料费 35000.00 非遗内容材料,数据材料、设备硬件购置,办公用品,储存设备等 18000.00 17000.00
结束