你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo
点击上方“AI算法与图像处理”,选择加"星标"或“置顶”
重磅干货,第一时间送达
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处
凡人的世界,绘画就是静态的。但在一个神秘的计算机世界,一切都不一样,不信你看。
画一个独角兽,然后轻轻一点。
独角兽就“活了”,奔跑跳动、跃然纸上。
给它取个名,再轻轻一点——拥有姓名的独角兽,就从纸面进入一个三维世界,开始不知疲倦的翻越,一座座山丘……
这个世界里,还生活着各种奇奇怪怪的生物。
比方藏在人群中扭秧歌的蜗牛。
看,长了四只脚的怪物:
在天上行走的渔夫,怕不是个仙人:
带着帽子的鬼怪绅士
连一草一木都能成精:
卡通人物也可以,你看有哆啦A梦:
黄皮耗子皮卡丘,这次没长毛:
还有神奇的大方脸:
这些小家伙,都是吃瓜群众们画出来的。
在这个虚拟世界里,只要寥寥几笔涂鸦,所绘之物尽成真,堪称真神笔马良。它们在同一片天地间奔跑,魑魅魍魉纠缠,宛如百鬼夜行。
这个,就是正在CMU就读的中国小哥Lingdong Huang同学创造的涂鸦世界,在这个世界里,任何人都能像神笔马良一样,随便一画,即刻成真。
不少吃瓜群众看到之后纷纷惊叹:
这特么简直是魔法
好喜欢这些涂鸦,我能连着看好几天哈哈。
简直像诗一样,都是有血有肉的形象,在一个自然随性的地方飘荡。
怎么做到的
明明是随意的涂画,竟然能自动分辨出小鬼怪们的“胳膊”和“腿儿”,还能有节奏的活动,这些涂鸦是怎么“活”过来的?
“造物主”黄同学用了三个步骤来完成这个世界的构建。
给涂鸦加上骨架
就像人体关键点检测一样,随手画出的涂鸦也需要关键点,确定骨骼位置,才能描绘出它的精气神。
这里,黄同学用了OpenCV的骨架化工具,借助Zhang-Suen的C++代码实现。不过,这套实现遍历了图像中的所有效果,所以在web端实现的效果又卡又慢。
黄同学不得不重新借助gpu.js,用WebGL shaders的javascript分支重写了代码。
重写之后要快得多了。比如我们放一张寡姐持枪的照片,它就能自动把画面的重点,寡姐的躯干和两条拿枪的胳膊就可以自动勾勒出来。
让机器看懂骨架
但是,现在问题来了,看到这样一张图,人类可以判断出来是一个人和TA的两条胳膊,可是机器好像不行啊。
于是,黄同学决定用8×8窗口扫描整个图像,找到那些有笔画的部分马克出来,作为根补丁(root patch),然后,看根补丁小方块的四个边,哪边有线就往哪边延伸,这样就能找出整个骨架,之后用中值模糊滤波器(aggressive median-blur filter)降噪。
现在,机器终于能理解你画的涂鸦的形状,和它内部的骨架结构。
让涂鸦动起来
下面就得想办法让涂鸦动起来了。
这里,黄同学确定了五大物种:哺乳动物、人、鸟、鱼、植物,根据涂鸦形象骨架,确定画出来的小怪物属于哪一类物种,然后给骨架的不同部分分配身体器官:这是头,这是胳膊,这是腿……
之后,他为不同物种设定了单独的“走路”姿势,比如植物应该是在一个固定的地方蹦蹦跳跳,哺乳动物和人类应该是在地上跑,鸟应该放在天上呼扇翅膀,鱼应该是在水里摆尾游动。
这样一套流程下来,涂鸦就能动起来了。
对了,涂鸦小怪物们所生活世界的“天、地、水”也需要定义。
黄同学用2D高斯函数乘以Perlin噪声,生成了一个类似海里的小岛的地图,中间高,周围低,最外层是水,这样,花鸟鱼虫们就能够各得其所了。
AI搞怪爱好者
黄同学即将在明年从CMU毕业,此前他还是迪士尼的实习生。这位97年出生的少年,创造过很多神奇的项目。
比如,自动生成山水画:
还有Emoji小人大战:
自动书法生成器:
相当有趣的内容,大家可以戳进传送门体验。
专业“马良”公司已面世
涂鸦动起来,这种像神笔马良一样的功能其实已经被一家公司商业化了。
前微软人机交互专家曹翔博士创立的小小牛科技就是这样一家公司,他们用自研的Wonder Painter技术,可以把各种物体变成会动的角色。
比如,在绘画界面里画一个穿裙子的姑娘:
接下来,姑娘就可以直接开始热舞了:
小小牛的这项技术已经以游戏的形式,应用在了一些线上营销活动中。未来,这类技术或许还能在艺术创作、儿童教育等领域大放异彩,会大大降低艺术创造的门槛。
所以“神笔马良”,不止是前沿技术,未来商业前景也隐隐轰鸣。
传送门
Demo体验:
差点忘了说,因为这个项目太受欢迎,有时候需要像滴滴一样排队才能进入,开头的皮卡丘和哆啦A梦在第二个Demo服务器里:
原作博客:
骨架化代码:
加群交流
扫码添加助手,可申请加入AI_study-目标检测交流群。一定要备注:目标检测+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡西),不根据格式申请,一律不通过。
如果觉得不错不妨点个「在看」
你的涂鸦活了,CMU中国本科生让画成真丨有代码有Demo相关推荐
- 涂鸦秒变动画,CMU 中国本科生让画动起来(附代码 Demo)
公众号关注 "GitHubDaily" 设为 "星标",每天带你逛 GitHub! 转自量子位,作者郭一璞 凡人的世界,绘画就是静态的.但在一个神秘的计算机世界 ...
- Paper:论文解读《Adaptive Gradient Methods With Dynamic Bound Of Learning Rate》中国本科生提出AdaBound的神经网络优化算法
Paper:论文解读-<Adaptive Gradient Methods With Dynamic Bound Of Learning Rate>中国本科生(学霸)提出AdaBound的 ...
- html5 svg中国地图map悬停显示省市地区代码
html5 svg中国地图map悬停显示省市地区代码 html5 svg中国地图map悬https://www.51qianduan.com/article/4401.html停显示省市地区代码
- 涂鸦智能斩获2016中国企业服务50强奖
12月1日至2日,由创业邦主办的 "创业邦100 未来领袖峰会",在北京国家会议中心盛大举行.在众多中国新锐商业领袖.高成长企业 CEO .顶级投资人的瞩目之下,本次峰会以&quo ...
- 汉字为什么能流传至今_能让历史重新活起来的中国舞,再次席卷而来
如果那些耳熟能详的故事,通过舞蹈重新出现在你的眼前. 不再让你仅凭想象,去体会它独一无二的魅力时,你愿意静下心,去重新定义"舞蹈"吗? 当书本上的汉字跳跃到你的眼前,当一切虚幻的想 ...
- 谷歌首度证实重返中国的Dragonfly计划存在丨Q新闻
编辑 | 小智 本周要闻:谷歌首度证实重返中国的 Dragonfly 计划存在:微软 Windows 10 设备数量突破 7 亿:Java 11 发布:苹果 macOS Mojave 正式版发布:官方 ...
- 中国AI开发者真实现状:写代码这条路,会走多久?
2016 年起,人工智能成为中国开发者重点关注的技术领域,以深度学习驱动的计算机视觉.自然语言处理.语音相关技术成为渗透最广的三个 AI 技术领域.然而,在这样的背景下,AI 仍是一个非常前沿的学科, ...
- 世界无人帆船大赛首次登陆中国,水手梦也能用代码实现
雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 无人驾驶帆船大赛,今年首次来到中国举办. 如果你兼具程序员.工程师和水手的兴趣,或许不容错过这个世界上最大最悠久的无人帆船赛事. WRSC ...
- 将中国标准时间转换成标准格式的代码
Thu Aug 22 2013 15:12:00 GMT+0800 (中国标准时间) 转换 复制代码 代码如下: function formatTen(num) { return num > ...
最新文章
- Envoy Proxy的多面性:边缘网关、服务网格和混合网桥
- 为什么Redis内存不宜过大
- 【组合数学】递推方程 ( 递推方程示例 1 | 列出递推方程 )
- Facebook-Rebound探索发现
- 阿里云上到底能运行SAP哪些产品?
- 一键去除网页BOM属性【解决乱码,头部空白,#65279问题】
- php如何判断是否新数据类型,php中如何判断变量的数据类型呢?
- iOS手势学习UIGestureRecognizer cocos2d 手势推荐
- [swift] LeetCode 215. Kth Largest Element in an Array
- unity3d所要知道的基础知识体系大纲,可以对照着学习
- 杭电 HOJ 3038 How Many Answers Are Wrong 解题报告
- gg修改器偏移量修改_gg修改器无root权限版
- 打开word文档提示文件未找到_Word格式转换大全!三分钟把100份Word文档转为PDF、PPT、JPG文件...
- java offset函数的使用方法_js的offset是什么意思及使用详解
- 腾讯音乐评论审核、分类与排序算法技术
- xs.pattern ip
- 一个屌丝程序猿的人生(四十八)
- steps_per_epoch 与 epochs 的关系
- 申请邮箱需要什么,邮箱申请方法开通条件教程分享
- dotnet 读 WPF 源代码笔记 提升调试效率的 NamedObject 类型