酷应用

看过漫改，但你看过「改漫」吗？AI 一键让影视变漫画

百家 作者：AI100 2021-02-25 16:39:28
作者 | 神经小兮
来源 | HyperAI超神经
头图 | 下载于视觉中国

把影视剧变成漫画，是怎样的一种神操作？来自大连理工大学和香港城市大学的团队，最新提出的 AI 框架，可自动将影视剧转换为漫画。从此，观影追剧又多了一种打开方式。

如今，电影、电视剧以及各类视频，已经成为我们生活中不可缺少的一部分。据报告，每天上传到 YouTube 的视频总时长，就需要一个人花费超过 82 年的时间才能看完。
为了节省追剧时间，2 倍速播放已经成为刷剧标配。除了倍速、跳跃式观看，以及看影评人讲解，还有一种快速追剧的方式，就是——把影视剧改成漫画。
近日，大连理工大学和香港城市大学的研究人员，发布了一个有趣的研究，可以自动将电视剧、电影或其他视频的画面生成为漫画形式，并配上文字气泡。


《泰坦尼克号》《风声》《老友记》和《在云端》的漫画版本
研究人员在论文中表示：「与最新的漫画生成系统相比，我们的系统可以合成更具表现力和吸引力的漫画。未来会将这一技术扩展到，利用文本信息生成漫画。」

看过漫改，但你看过「改漫」吗？

此前，业内已有一些类似的研究成果，提出将影片转换为漫画的自动化系统，但其在自动化和视觉效果、可读性等方面还有待提高，因此，这一研究方向仍然充满挑战。
来自大连理工大学和香港城市大学的团队，则在最近发表的论文《Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation》中，提出了更优的方法。
论文地址：
https://arxiv.org/abs/2101.11111

论文中提出了一个全自动漫画生成系统，无需用户任何手动调整，就可以将任意类型的视频(电视连续剧、电影、卡通)，生成高质量的漫画页面，将角色对话转化为气泡文字。而且该系统生成的漫画具有丰富的视觉效果，且可读性强。
  
三大模块，让影视剧变漫画书

该论文中提出的关键思想是，在没有任何手动指定的参数或约束的情况下，以全自动的方式设计系统。同时，团队有选择地引入用户交互，使设计更加个性化和多样化。
总体来看，该系统主要有三个模块，分别是：关键帧选择和漫画风格化、多页面布局生成、文字气泡生成和放置。

系统整体的工作流程示意图

 模块一：关键帧的提取和风格化 
系统的输入是一段视频及其字幕，其中包含对话和相应的开始和结束时间戳信息。
他们首先每 0.5 秒钟从原始视频中选择一帧，然后，利用字幕中的时间信息和两个连续帧之间的相似性，来选择信息关键帧。最后对关键帧进行风格化，也就是将普通图像转换为漫画风格的图像。
关键帧提取
关键帧的选择是尤为重要且难度比较高的一项任务，该团队主要利用时间信息来进行选择。
关键帧选择流程
如上图所示，团队首先利用每个字幕的开始和结束时间将视频分割成多个镜头，这些镜头分两种：对话镜头（有字幕的镜头）和非对话镜头（无字幕的镜头）。
对于对话镜头：系统会计算之前获得的两个连续帧之间的 GIST 相似度（如果 GIST 相似度较小，则两帧之间差异较大）。
在执行过程中，如果相似度小于预先设置的阈值

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/

*文章为作者独立观点，不代表 爱尖刀 立场
本文由 AI100发表，转载此文章须经作者同意，并请附上出处( 爱尖刀 )及本页链接。
原文链接 https://www.ijiandao.com/2b/baijia/402520.html
图库
AI100 AI100
公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数
iTrust
AiDeep Ued
关于我们 联系我们 升级日志 法律声明 广告服务 侵删通道
Copyright © 2021 K2CMS All rights reserved.
京ICP备14006288号