一位年轻的女性走在充满霓虹灯的东京街头、两艘战船在咖啡杯里航行、黑人小伙在云端看书、古镇巷子里迎接龙灯的男女老少……这些由Sora(一款文生视频模型)生成的视频效果足以“乱真”。
当地时间2月15日,OpenAI (一家海外人工智能公司)推出旗下首个文生视频大模型Sora,同时展示了由它生成的48段视频。该模型生成的视频以超高的清晰度、连贯性、语义还原度引发业内广泛关注。
Sora的惊艳令人振奋,它的出现也可能会深远地影响到游戏、影视和广告等内容行业。“目前看来,AIGC(生成式人工智能)相关工具的应用,能够有效提高媒体、设计等相关领域的内容生产速度,利用AIGC工具进行概念构想和快速迭代,会成为未来这些行业工作流程中的重要一环。”中国艺术科技研究所数字艺术部主任张宜春接受新京报贝壳财经专访时说。
虽然技术路径、呈现效果与Sora还存在差异,但生成式人工智能已经成为国内的热门赛道,不少技术也已投入应用。新京报贝壳财经独家获悉,年初摘得iOS(苹果旗下手机应用商店)免费榜冠军的言情手游《世界之外》中的不少人物和剧情就来自人工智能生成。此外,2月6日上线的古装探案剧《大唐狄公案》也用人工智能生成了古代长安城的全景镜头。不少CPC广告(点击付费广告)的物料也使用了人工智能生成。
华泰证券研报显示,2023年实际诞生的文生视频大模型达到数十个,全球用户数量超过百万级别,但目前多数视频模型仍处于产品早期阶段。2024年各大公司加快了文生视频模型的研发步伐。
Sora生成的视频截图。图/IC
游戏行业
内容生产、语音交互等领域已应用AIGC,核心画面仍需人工加入
2024年开年,网易旗下的无限流言情手游《世界之外》成为“黑马”。但鲜少有人知道这款游戏的很多对话和美术都由人工智能生成。
“初期这个项目(《世界之外》)在内部优先级不高,甚至已经到了‘待砍’的边缘,但游戏的主策划四处奔走,坚持要把这个游戏发出来。这个团队人很少,所以这款游戏的很多人物和对话都是AI生成的。现在这个题材爆了,又紧急配了不少人,开始美化和修饰。”游戏行业资深运营林函(化名)向记者透露,他曾经服务过多家主流游戏大厂。
网易2024年财报显示,旗下《逆水寒》《蛋仔派对》等游戏大量使用AI技术。比如,基于伏羲人工智能模型的《逆水寒》手游中,融合了高智能NPC(非玩家角色)、AI捏脸、AI作诗、AI作画、AI大宋头条等。《蛋仔派对》则提供了具有AI算法的用户内容生成工具,能够降低用户制作地图的门槛,目前该游戏地图总数突破了1亿张,单张地图最高游玩次数超1.2亿次。另据贝壳财经记者了解,目前不少游戏公司已经在研究将AI用于3D建模的不同方向。
据林函介绍,目前的主流游戏厂商,在非核心内容上都使用了AIGC,主要应用领域有以下几个方面:其一是游戏内容生产,包括图形、图像生成,游戏剧本创作,NPC智能生成等,甚至有的游戏中90%的过场图都可以用AIGC再结合一些人工优化生成,这是降本增效的方式;其二使用AI对话和语音交互,比如根据游戏策略和人物属性,给NPC生成语言包,让他更有交互和情感属性;其三是在商业投放的过程中,用AI来预测和模拟部分玩家的行为,从而更好地调优商业化数值。
“只要生成的底图比较正常,操作动作不要太夸张,就可以用。”从事游戏AI技术的陈星(化名)说。目前文生视频模型还停留在“4秒时代”,陈星认为,市面上的Pika、Runway等模型只能生成Gif图(图形交换格式)效果的内容,这些只能用在游戏“稍微动一点”的地方。
但涉及游戏较为核心的画面则需要人工加入。陈星表示,目前Sora最多能生成一分钟的视频,比较理想的使用场景是,如果需要制作5至10分钟的长CG(计算机生成图像),需要通过不断调整提示词,生成一些较为满意的片段和镜头,再通过人工的剪辑让这些片段看起来“更连贯些”,但更有可能出现的情况是,很大部分片段无法直接使用,造成更大的成本和算力浪费。
但陈星认为,“生成式人工智能对独立游戏的开发者和小工作室是利好的,以前独立游戏里没有的CG、过场动画和3D模型等,现在都可以有了。因为这些内容是逐帧渲染出来的,非常耗时耗钱。”以游戏PV(游戏宣传视频)为例,一段高质量的PV视频起码花费数百万元。
但从事游戏项目用户增长的张青(化名)提示,如果在二次元、MMO(大型多人在线游戏)、SLG(策略类游戏)等强调美术和内容质量的游戏中,直接使用模型生成内容容易招致玩家反感。他认为,这类游戏如果使用模型生成内容,“可能用在比较细微的地方,不太可能用在主线过场动画或主要宣传的视频,比如PV”。
据伽马数据《中国游戏产业AIGC发展前景报告》,在中国游戏营收TOP50游戏企业中,已有64%的游戏企业明确布局AIGC领域,并有实质性动作。已布局企业中,有27家企业已将AIGC投入到了游戏研发、营销、运营等游戏产业全流程应用层面;12家企业运用AIGC相关技术为其他行业或企业提供解决方案;9家企业则选择重点布局数字人、元宇宙领域。
广告行业
AIGC内容可能会最早应用在点击付费广告上
农夫山泉生肖龙AI绘画小程序上线,20天吸引网友创作一百多万张龙宝宝画作;可口可乐“龙连你我”系列活动用AI带领百万人冲击吉尼斯挑战……自AIGC问世以来,就已让不少广告人感到压力,龙年开局的几个优秀传播案例更是都用上了AI元素。
“每天早晨,我都会根据自己拟定的主题创作方向,用Midjunery、文心一格等软件来训练图片,直到生成6组满意的(图片),分发到视频号、小红书和抖音上。一年来运营三个账号的成本只有几千元,这在以前是完全想不到的,此前为图库付费都要几万甚至更多。”田海龙告诉新京报贝壳财经记者。
田海龙此前是一家A股上市传播机构的设计创意总监,有近20年广告设计经验。从2023年开始尝试用AIGC辅助创意设计工作。他孵化的“龙哥的AI实验室”账号仅用10个月就获得了“视频号2023年度优秀创作者”,训练生成的图片作品入选国剧盛典、新华社活动,他自己也成了“文心一格”的核心训练师。
“目前国内的专业文生图模型经历了至少四次迭代。第一代模型输出的图片完全不具备图片基本使用需求,也不符合我的审美。有天早晨,某款模型的产品人员提示我模型升级了,我用此前用过的提示词试了一下,结果出来的图片超出我的预期。但直到第三代模型出来之前,我都不敢用它训练人像图片,因为(模型)对人像的五官无法正常表现,理解误差大,直到第三代模型专门针对人像进行了优化。”田海龙指着手机上他用不同版本模型训练出的图片告诉记者。
田海龙这样描述他使用过的国外和国内文生图模型的差异,“教育的环境、方法、师资的水平以及优秀教师的数量都不在一个水平,结果导致不管是画质、细节、像素,还是画幅、景深,国内模型生成的图都略逊于国外模型,但也能感受到国内模型的进步速度之快。”他个人判断是由于优质训练内容和算力投入的不足,导致了中文模型的弱点。