AI+漫画生产，小冰、百度们的新商机?
文/ 智能相对论（ID：aixdlun）
作者/ 离离
近年，由于网络的普及，动漫作品传播的速度不断加快，二次元文化的受众数量不断上升，影响范围也越来越广泛。
如去年完结的日漫《鬼灭之刃》就成功“出圈”，掀起了现象级热潮。原著漫画为2020年日本漫画销量冠军，累计发行量突破1亿2000万册(含电子版)，为第二名的十倍有余。其剧场版动画电影《鬼灭之刃：无限列车篇》上映后，更是在短时间内突破300亿日元票房，并持续刷新日本影史的各项纪录。
看着日益广阔的动漫市场，一些厂商开始尝试利用人工智能来推动漫画生产，希望能实现漫画生产的自动化，在提高生产效率的同时减少人力成本。
Made in AI的漫画
“智能相对论”查到，一般的漫画创作过程大致可分为三部份: 一是人物形象设计；二是故事编排，包含情节、对话等文学脚本的写作；三是角色、场景与分镜配置等漫画绘制。每位漫画家都有不同的绘画风格和叙事方式。
去年，日本铠侠株式会社(Kioxia Corporation)的研究人员与手冢工作室的艺术团队合作，利用人工智能深度学习技术完成世界上第一部由人类与AI协作的漫画作品《PHAEDO》，高度还原了已故知名漫画家手冢治虫的漫画风格。
为了让人工智能学习手冢的画风与笔触，研究团队收集了十五万张手冢漫画手稿，利用图像识别技术将其分类标记，将角色面容等图像特征转换为数据，再利用多个NVIDIA V100 GPU和cuDNN加速的TensorFlow深度学习框架(由StyleGAN编写)进行训练和推理。
在角色生成的训练中，研究团队还使用了手冢治虫作品以外的多部不同漫画的人物脸孔和真实的人脸照片来进行训练，建立对抗性神经网络模型StyleGAN，让其充分学习不同风格、不同角度的漫画人脸画风。
再使用迁移学习来整合成千上万个数据点，从粗糙的轮廓描绘逐渐细化至眼睛、嘴唇等细节，让AI所绘制的人像与手冢原作更加相似。
在脚本创作方面，研究团队将《森林大帝》《铁臂阿童木》和《怪医黑杰克》等上百个手冢治虫的漫画作品分解为多个段落，作为AI“学习”的对象。
分析了这些故事后，AI便能自动生成多个故事大钢。但这些由AI创作的故事中存在许多逻辑错误，且只有五分之一具有意义，并充满让人意料之外的情节。
对于AI故事创作的不足，研究团队还是抱持较为乐观的态度，将这些另类的想法和飞跃视为手冢治虫漫画作品之特色。最后，通过手冢工作室艺术团队的人工校正，《PHAEDO》的剧本才得以完成。这部作品已发表于日本漫画杂志《Morning》与铠侠的项目网站“TEZUKA 2020”。
影视剧改漫AI实现自动化
除了现有的漫画作品，真人影集也是漫画的灵感来源之一。近期，来自大连理工大学和香港城市大学的研究团队提出了一款将视频自动转换为静态漫画页面的AI系统，为人工智能图像生成技术开拓了新的应用道路。
与前阵子在各大社交软件上流行的，将静态照片变成动画的Avatarify相反。这款漫画生成系统无需用户手动调整，即可将电视连续剧、电影、卡通等任意种类的影片，自动变成带有对话框及文字内容的漫画页面。
首先，系统会依照每段字幕的时间将视频分割成多个镜头，并藉由分析连续镜头的相似度与对话内容，从中提取要转换成漫画的关键帧画面。再将选取的关键帧源图像转换为黑白图像，执行量化与彩色风格化，造就出“漫画”风格的图像。
随后，根据关键帧的兴趣区域、重要性等级、彼此间的语义关系和页面上的面板数量来决定漫画的分格大小及数量，生成多页面布局。
研究团队通过参考漫画书中对话框形状的多样性，使用三种不同的气泡形状对应不同情感的语句。并利用一些动漫视频与相应漫画作为训练素材，帮助系统学习识别影片中的声音、字幕情感与相应的气泡形状。
利用文本总结算法，系统可将相关字幕进行合并，确保对话框中的句子不会太长，增强可读性。再通过发言人物检测和唇动检测，将带有发言内容的对话框放置在所属人物附近。
该系统现阶段依然有一些尚待解决的问题。例如关键帧的选择上，一些画面的相似度过高，仍有多余画面；无字幕的视频，单就语音识别生成的台词易出现错误。虽然相较于其它方法生成的改漫作品，该系统的反响良好，但总体而言仍处于试验阶段。研究团队表示，下一步希望能利用文本信息生成漫画。
AI漫画家走到哪了
“智能相对论”从《PHAEDO》和AI改漫系统的诞生可见，现阶段的人工智能尚未具备独立完成一部漫画作品的能力。在文学艺术的创作上，AI尚未成熟；但在漫画绘制过程中，AI对于画风与笔触的模拟可说是“以假乱真”。
在二次元经济大规模崛起的环境下，中国的动漫产值在近年步步高升，漫画市场规模也呈现稳定增长。这两项技术若实现商业化，可让漫画家们从枯燥无味的重复劳动中解放，集中心力完成情节、对话设置等艺术原创。不但能加快生产速度，同时也能减少人力成本，可说是具有一定的商业价值。
目前国内部份公司已具备自动制作漫画所需的人工智能图像识别、图像绘制及文本自动生成技术，可说是具有进入此市场的技术基础。但漫画自动生成并非只是这些技术的堆叠与排序，现有的商业应用方向似乎也并未覆盖漫画创作，还需要特定的数据库和算法模型加以训练。
以人工智能生成动漫图象的技术为例，现在最普遍的商业模式为面向B端，替拍照软件提供美漫、日漫、3D立体动画风格的图片生成服务。基于生成对抗网络GAN算法，不少公司都推出了头像改漫、漫画背景滤镜等服务，可将现实中的景观与人像转变成二次元动漫画风。
如百度大脑AI开放平台曾与B612咔叽美颜相机合作，为用户提供量身定做的二次元漫画头像定制、油画风格转换服务。
腾讯光影研究室在QQ小世界、微视App、微博等社交平台上推出的“王者脸”、“童话脸”等各类AI特效应用，可将照片和直播视频中的人物立刻变成游戏角色、真人“芭比”或“在逃公主”。
网易游戏《逆水寒》《天谕》的智能捏脸也是基于AI图象生成技术。玩家上传一张2D照片后，系统可自动生成相似度超高的3D脸部模型，甚至连发型都能自动生成。
这些基于图片识别与生成对抗网络的AI动漫图象生成技术可将已有的照片转换为漫画风格，具有影视改漫自动化的技术基础。但要像TEZUKA 2020项目那样“无中生有”固定风格的漫画作品，似乎还需要一些训练。
就这点而言，曾“就读”中央美术学院的小冰或许离AI漫画家更近一些。“学习”两百多位著名人类画家的作品后，小冰可在接收到文本或其他创作刺激后独立完成原创的命题画作。不仅曾在中央美术学院美术馆举办个人画展，还将这项能力应用于丝巾、服装等纺织面料及图案设计，实现商业化。
在故事脚本生成方面，虽然人工智能已具备撰写近体诗、新诗、新闻稿、广告文案等各类文体的能力，但目前对智能写作需求最大、黏性最强的四个市场分别是内容资讯、金融财经分析、数字营销和行政办公。
因此，国内已实现商业化的AI写作产品大多针对营销、政务等领域，以角色对话推进故事发展的漫画文稿等艺术创作方面的应用较少。
如阿里发布的“AI智能文案”产品结合淘宝、天猫的海量内容与自然语言算法，聚焦于电商营销文案，可模拟多种风格、自定义字数并实时学习在线样本，一秒内可生成两万条短标题。
金山WPS智能写作的训练数据源于权威媒体与政府公开网站，常用于公文写作。支持文本自动生成、辅助成搞写作、智能素材推荐等服务，在政务系统的覆盖率较高。
“智能相对论”看到，百度智能创作平台也带有自动写作功能，既有针对财经、体育数据的结构化数据写作，还有智能写诗、智能春联等API服务。而小冰框架不仅曾经出版现代诗集，还为万得资讯、华尔街见闻等公司提供金融摘要自动生成服务。
由此可见，虽然制作漫画所需的AI技术已发展出较为成熟的商业模式，但这些技术大多被作为单独的服务或产品分开使用，应用方向也各有不同。比起其他的AI系统，小冰和百度等同时具备文本写作与绘画能力的人工智能框架可能较有成为AI漫画家的潜力，但目前看来，国内公司似乎并未将人工智能大规模应用于漫画生产，更别说是形成“一条龙”的漫画自动生成产业链。
2015年，中国的漫画产业进入了高速增长期，并持续保有较高的增长率，在2019年开始进入平稳增长期。据2020年6月发布的《2020微博动漫白皮书》显示，微博泛二次元用户同比增长11.4%，连续4年保持增长；54%的动漫用户是内容付费用户。
在二次元用户数量与市场规模不断扩增的今日，消费者逐渐养成为内容付费的习惯，付费商业模式助于刺激生产，创作者们也不断探索新的漫画表现形式。如介于动画与漫画之间的动态漫画、经由用户触摸或摇晃设备而推动内容情节发展的互动漫画。
无论是需要耗费大量人力的静态漫画，还是这些制作周期更长、投入成本更高的新形态漫画，若能在内容生产上降低成本、提高产出效率，不但能让作者省下重复劳动的时间精力，得以更专注于打磨作品；也能降低漫画生产门槛，迸发出更多艺术可能。
在“国漫崛起”的现在，使用AI来加快漫画生产似乎是个不错的想法。就像参与《Phaedo》项目的科学家松原仁所说的，AI和人类合作画漫画是理所当然的未来。
相关推荐
AI+漫画生产，小冰、百度们的新商机?
微软小冰进入「第六天」
36氪专访 | 小冰CEO李笛：离开微软后，小冰的生存法则
微软小冰从上海音乐学院毕业 谱写云端峰会主题曲
微软小冰的“体面告别”
给AI一段故事，就能变成漫画，这个来自人大微软和北影的AI，要启发电影人的灵感
消失的搜索框和百度们的自赎
小冰与小娜：命运交叉的美少女AI
微软小冰这五年
微软小冰团队将分拆，核心高管另立门户？
网址: AI+漫画生产，小冰、百度们的新商机? http://m.xishuta.com/newsview41224.html
