温州理工学院学生开发超写真虚拟数字人
主播工作时间长、压力大一直是困扰直播电商行业发展的棘手问题之一，头部主播以一当十，工作压力巨大，同时培养电商主播也成为MCN机构最大的成本支出。随着国家监管部门严格的政策监管，电商直播行业遭遇了发展的瓶颈期。针对这一问题，温州理工学院学生们基于深度学习和自然语言处理技术，研发了一款专门面向电商直播领域的超写实虚拟数字人产品。
2020年初，来自温州理工学院数据科学与人工智能学院的8位计算机的同学组建成团队，一起参加各种创新创业实践。一次偶然的机会，团队从新闻中看到了某电商头部主播直播翻车的报道，随之引发了对虚拟数字人直播的广泛兴趣。“我们调查发现，高强度的工作让主播叫苦不迭，同时MCN机构也苦恼主播的工作时间段，无法产生长时间的内容转化率。市场上现有的虚拟主播智能程度比较低，相比之下拟真类的虚拟主播拥有巨大的市场价值，是破解直播电商发展的产业升级手段之一，所以我们下决心在这个方面做一些研究”，团队负责人沈克强如是说。
为了能做出更符合电商直播市场需求、更低成本的虚拟数字人，团队成员一有时间就在工作室内商量、设计、制作，经过长达一年半的不断探索，这款快速拟真建模、可以拟真发音的虚拟数字人终于诞生了。
图一 虚拟数字人测试
该款虚拟数字人利用深度学习进行人脸数据解算和快速重建，仅用一段真人视频便可完成1：1人脸拟真还原，同时依托温州理工学院在自然语言处理方面的技术积累，团队在专业教师的协助下，定制完成了自然语言训练模型，可以实现拟真发音，破解了传统虚拟主播合成发音机械的难题。
图二 口型驱动建模
“通过我们的自有技术体系，虚拟数字人材料采集、重建、动作绑定、驱动、合成全过程从以往的数个月甚至数年缩短到几周内，大大减轻了制作的成本，提高了制作的效率。”沈克强介绍到，他们的这一尝试目前已在淘宝直播、抖音等多个平台进行测试。去年，这一项目还申报了大学生创新创业训练项目和浙江省新苗人才计划。
据团队指导老师、温州理工学院后勤与基建处综合科科长吴小虎老师介绍，这一支爱动脑爱做市场调查的大学生团队在多个项目上取得过优异的成绩，团队申报的实用新型专利、发明专利、软件著作权、作品著作权就有10多个。
目前，团队已从最初的四个人扩展到20多人，覆盖温州理工学院、温州大学、温州商学院等各大高校。下一步，团队将根据直播电商细分领域，展开更多的实践和落地。