现实世界和元宇宙,两个不同的世界间相隔的是一条数字鸿沟,而元客方舟就像它的名字一样,像是一条摆渡船,沟通两岸,将人带往虚拟的元宇宙,也将元宇宙那头美妙的世界带到现实中。元客方舟——一家面向元宇宙虚拟现实、Web3.0时代数字人、沉浸媒体、全息通信、计算光学成像等应用的公司,其主营的元宇宙数字内容制作等技术服务,在现实与虚幻之间建立起了坚实的连接。
2022年11月,凌云光技术股份有限公司公布,基于公司整体战略发展规划,为积极、快速推进虚拟现实技术在元宇宙领域应用的产业化和规模化发展,公司投资设立全资子公司元客视界。同时,元客视界与中关村通力共同出资设立控股孙公司元客方舟。这家全新的公司带着许多人的愿望诞生,从出生的那一刻起,就注定要在现实与元宇宙的数字洪流中乘风破浪。
元客方舟主营业务就是基于全栈数字内容制作解决方案的能力,通过核心光场重建、运动捕捉和XR虚拟拍摄技术,帮助客户实现业内高质量、高效率的全栈式的超写实数字人、虚拟演播内容制作,元客方舟服务总台春晚、北京冬奥手语播报数字人、咪咕世界杯数智人、电影《飞向月球》等标杆项目。
连续三次支持央视春晚:FZMotion运动捕捉系统让神兽现世
2023年春晚,央视通过强大的融媒体传播矩阵及“百城千屏”、“全球千屏”,将春晚的祝福送至千家万户;通过前沿科技打造了惟妙惟肖的虚拟舞台空间,为全国观众带来了震撼、极致的视听体验。元客方舟运用总台超高清视音频制播呈现国家重点实验室联合凌云光研发的XR虚实融合超高清制作系统,将舞台艺术、时空交互等表现的淋漓尽致,让时空穿越更加随心所欲,为科技与艺术互融树立了行业典范。
上古奇幻界,瑞兽降新年。在创意节目中,依托XR虚拟融合超高清融合制作系统,基于春晚舞台建立的3D模型,采用FZMotion运动捕捉系统结合智能动作迁移技术,生动还原了来自上古典籍中白泽、麒麟、貔貅等神兽的传神姿态,让上古神兽“走出”典籍与活泼灵动的孩子们在《当“神兽”遇见神兽》节目中实现了融合交互,打造了一场传统文化与现代科技双向联动的“时空投影”,唱响了传统文化与现代科技融合创新的蓬勃活力!
FZMotion是一套光学式高精度动作表演捕捉系统,采用了自主研发的红外光学运动捕捉相机和精准的刚体匹配算法,全新的骨骼解算器等,可满足不同场景下对刚体、人体运动数据的精准捕捉,具有大视野、高速度、高精度的技术功能,系统在上千平米大空间也可以达到影视级捕捉,可搭配高速光源,独有的微秒级超短曝光及变形翼测量技术, 可针对目标物在高达200m/s运行速度下进行运动分析,最高可达0.02mm/m的工业计量级捕捉精度。
2022年春晚刘德华“云”同台节目《牛起来》:首次运用“AI+VR裸眼3D”演播室以及交互式摄影控制技术进行节目形式创新,重构了传统的表演舞台,突破了空间和场景限制,支持刘德华通过“云端”录制参与节目表演,内容新颖炫酷。
2021年春晚创意舞蹈《金面》:运用动捕和数字人视效技术,让千年大立人铜像“复活”与演员同台牵手漫步,穿越时空,突破虚实,瞬间梦回古蜀。
打造咪咕数智人新玩法
元客方舟还为咪咕世界杯提供运动捕捉系统及超写实数字人建模技术,为咪咕数智人家族打造世界杯新玩法,复原了20年前米卢数字形象,智慧数字人弋瑭首次实现世界杯实时手语播报,数智人尤子希成为首位世界杯赛事全程播报员,进一步拓宽了元宇宙产业应用在各个领域的落地。
在北京冬奥、,冬残奥期间,冬奥手语数字人曾服务于整个赛事的手语播报,首次让听障人士感受到了冬奥魅力,手语播报数字人完成了《国家通用手语词典》8214条通用手语,以及2000多条赛事相关词汇手语的采集和录制,通过集成高精度人脸人体重建、动作捕捉、面部表情捕捉、手指捕捉等技术,可实现二维&三维肢体动作、表情、手指等手语语料高效同步采集,已完成10万条高质量多模态手语语料库的建设;通过大规模预训练模型构建手语数字脑,开发语义蒸馏算法与手语翻译模型,生成和原文语义高度接近、精简且符合手语表达习惯的手语词序列,融入跨模态拟人生产算法,从而驱动AI手语数字人提供专业、准确的手语赛事解说。
通过此前对手语数智技术的积累,基于用科技创新推动人类文明,对特殊群体给予更多的关怀,让听障人群平等、方便、无障碍的享受盛会的宗旨。对服务世界杯的实时播报手语数字人,新增足球相关手语词90个,提取2018年世界杯8场比赛近1000分钟的语音解说文本,进行手语翻译词序列的语料标注,补充6场比赛11个球队超过280名球员的手语表达方式。在整个赛事期间手语实时解说数字人提供比此前更加连贯精准的手势、表情以及口型动作,给观众带来了一场场全新的体验。
北京市光场共性技术平台运营主体
习总书记早在中央财经委员会第五次会议上便提出:要建立共性技术平台,解决跨行业、跨领域的关键共性技术问题,支持上下游企业加强产业协同和技术合作攻关。“共性技术”因其具备通用性、关联性和系统性等特点,可在多个领域,对多个产业的发展起到基础技术的根基作用,是发展创新链和产业链的关键基础。早在中央财经委员会第五次会议上,习总书记提出:要建立共性技术平台,解决跨行业、跨领域的关键共性技术问题,支持上下游企业加强产业协同和技术合作攻关。
近日,中国共产党北京市第十三届委员会第二次全体会议明确指出:“要充分发挥在京高校、院所、企业等创新主体作用,建设一批共性技术平台,集聚力量开展“卡脖子”关键核心技术攻关,实现更多“从0到1”突破。”
光场共性技术平台是在北京市科委、中关村管委会支持下,秉持以国际前沿光场成像技术为研究方向,针对目前国内光场系统数据质量差、计算效率低、成熟应用少等问题,研发系列光场成像系统、高精度、高效光场处理算法为目标,旨在为科幻、元宇宙等产业提供光场共性技术服务,为数字内容、工业仿真、全息视频通信等新型产业发展提供助力,元客方舟作为光场共性技术平台的独立运营主体。
平台已在在北京市石景山区首钢园中关村科幻产业创新中心落地,建成了精细化光场重建系统与XR虚实融合测试平台,已为2022卡塔尔世界杯、总台春晚制播、2023年央视网两会节目等重大活动中得以应用,支撑了国内首个《XR虚实融合制作系统技术要求与测试方法》标准的关键测试数据。
与此同时,光场共性技术平台积极构建基于光场技术的产学研合作生态圈,研发并推广光场技术。通过“人才+技术+场景”的模式,与中央美术学院、北京电影学院展开合作,且分别在北京市顺义区、北京市海淀区搭建了联合实验室基地,致力于推进政府、企业、院校等全方位合作,打通人才、技术、基础设施之间不再孤立,实现前沿技术的突破与应用。
以超写实数字人制作为例,通过光场技术建模的数字人,不仅制作质量不受建模师、绑定师水平等条件限制,还可将数字人模型绑定制作周期从3-4周缩短至2天。在2022世界杯大型赛事元宇宙数字内容节目创作中,平台技术助力支撑了世界杯报道,特别是在光场采集方面,制作形成了多个虚拟数字形象,如咪咕数智人米卢、虚拟手语主播“弋塘”等,为广大观众带来更沉浸、更多元的新体验。此外平台在预研过程中,结合XR虚实融合制作、运动捕捉技术等,已在冬奥手语主播、央视网小C,央视春晚、电影《飞向月球》等大型项目中应用。
提到未来的展望,元客方舟负责人表示,今后将在北京市科委、中关村管委会的带领下,平台将充分发挥自身及北京市科技企业的优势,同时结合人才优势、政策优势、平台优势以及国际影响力,平台将持续发挥产业生态优势,不断完善光场共性技术平台建设,更好地为科幻、元宇宙等产业提供光场共性技术服务,打造北京市光场技术国际领先新标杆,不断满足“技术迭代+场景应用”行业发展需求,赋能产业集聚化发展。