随着第24届冬季奥林匹克运动会的临近,冬奥村也即将正式开村,迎接来自世界各地冬奥运动员的到来。为了帮助运动员们更快地熟悉冬奥村环境,享受更好的入驻体验,人工智能软件公司商汤科技SenseTime在科学技术部科技冬奥的专项支持下,负责了“基于3D的实时精准定位技术、虚拟与现实结合的3D高精度识别的智慧AR导航系统研究”课题,基于SenseMARS火星混合现实平台,经过几个月的研发攻关,短时间内实现了大尺度场景下厘米级的三维地图构建和部署,并解决了动态复杂场景下实现精准定位跟踪等难题,为张家口冬奥村创新打造智慧AR导航应用。AI+AR技术的融合创新,充分绽放“科技冬奥”的无穷魅力,展现冬奥村的人文情怀。

张家口冬奥村智慧AR导航

在冬奥村开村后,该应用可为数千名入驻张家口冬奥村的运动员和工作人员,提供便捷的AR导航导览服务。用户通过手机进入专属APP,打开摄像头识别周边实景,即可轻松锁定自己的位置,输入目的地后,跟随地面上的AR虚拟贴地箭头,便可直达接待中心、健身中心、居住区等地点。相较于传统导航方式,AR导航将路线标识与真实场景融为一体,拥有更加沉浸、直观的视觉体验,大大节省了时间,帮助运动员们迅速对冬奥村周边环境了如指掌,更专注于投入到赛事准备工作当中。在这个虚实融合的数字世界当中,还有在空中遨游跃动的北京冬奥会吉祥物冰墩墩,加之随处可见的各冬奥场所介绍大屏,能够给各国运动员带来更好的代入感和归属感。

近年来,移动AR技术尽管发展迅猛,但实现广泛的规模化落地仍需突破诸多难题。在此次课题中,实现AR智慧导航主要面临两个挑战,一是张家口冬奥村及周边区域覆盖面积大,超过30万平方米,要在冬奥村从建设完毕到赛前封闭的极短时间内,完成如此大尺度场景的高精度三维地图构建,对数据采集和算法效率都提出了很高要求;二是冬奥村内建筑群风格统一,各个地方存在大面积相似的纹理,并且常有冰雪覆盖道路、植被和建筑,造成场景的视觉变化,要在这种环境下基于图像精准识别自身位置,存在很大挑战。

凭借在计算机视觉领域长期的技术深耕以及丰富的场景经验,以及SenseMARS火星混合现实平台强大能力,商汤创新地通过GPS与视觉融合的数据关联方法和参数分块优化方法,在短时间内快速支持了张家口冬奥村厘米级的高精度三维地图构建。商汤还研发了云端结合架构,实现了云端全局定位和终端局部跟踪的协同。其中,全局定位综合利用视觉、蓝牙、GPS等信号解决相似场景的问题,并针对冰雪场景训练了不同天气条件下鲁棒的图像特征;移动终端借助云端地图信息和自身传感器,在web低算力的条件下实现了稳定跟踪,最终在如此复杂场景下,实现了实时、精准的6自由度空间定位。同时,商汤还建立了高效的虚拟内容编辑和创作工具链,通过可视化的编辑工具,即可快速创建各种AR内容。

得益于多项技术创新,在实际使用过程中,这套智慧AR导航应用可在30万平方米区域内任意地点,都能始终保持定位精准、无延迟感的沉浸式虚实融合效果,且不会受到建筑、冰雪等复杂环境的影响。不仅如此,该应用无需独立APP,仅借助web浏览器即可轻松体验,同时广泛支持搭载iOS、Android及鸿蒙操作系统的移动终端,可以在不同体育场所、赛事中推广及应用。

基于商汤SenseMARS火星混合现实平台实现张家口冬奥村厘米级高精度三维地图重建

冬奥村作为冬奥会的配套设施,赛事期间将是各国代表团的主要居住地,不仅将承担住宿、餐饮、娱乐、休闲等方面的服务工作,同时也是举行国际交流和联欢活动的场所。商汤此次通过AI和AR技术的融合应用,不仅助力提高了奥运村的数字化、智能化水平,也让运动员们在紧张激烈的赛事期间,体验到“科技冬奥”理念下,科技创新所展现的趣味性和轻松氛围。

商汤科技也将积极响应“科技冬奥”倡导的核心理念,将这样的技术体验带到人们日常生活、消费购物、文化旅游等更多场景当中。此前,商汤SenseMARS火星混合现实平台已经成功在商超、景点、博物馆、机场等场所规模化落地,并带来多重的模式创新。例如,商汤通过AR导航、AR营销等玩法组合,为广州悦汇城、成都IFS国际金融中心等线下零售业态打造全新的流量入口和商业闭环;在长沙黄花机场,商汤用AR导航打造虚拟地标和指示路牌,创新了机场的客户服务模式。

以人工智能技术实现物理世界和数字世界的连接,为人们带来更好的虚实结合生活体验,是商汤科技长期以来的愿景之一。商汤也将以此次赋能“科技冬奥”为契机,进一步促进AI技术与文化、旅游的相互融合,创造新一代沉浸式体验型文化和旅游消费内容,用空间计算、场景感知、人机交互等更加全面的AI+AR基础能力,构建多元化的虚实融合的应用体验。