Python图片马赛克工具：photomosaic
编者注：文章中有很多有用的链接，如果需要查看链接内容，请查看原文。微信公众号文章无法链接到外部地址。
使用机器学习 & 相似性搜索从你的家庭照片中创建有趣的图片马赛克、GIF和壁画。
如果你想使用一个很酷的网络界面，那就上传你的照片，我会打印出来邮寄给你，快来试试我的服务
:photofun.strikingly。(之后我们会删除所有照片。)
因为我很容易沉迷于某些东西，所以你也可以(虽然这与photomosaics无关，但却可以让你的相册更酷)将面部蒙太奇特效贴到一个特定的人的脸上:
这利用了一个嵌入网络，一个有优势的简单的线性分类器，和一个扭曲矩阵将每个图像的眼睛对齐,并对其进行合适的比例调整。你只需要建立一个文件夹，里面有几个例子，这样它就可以知道应该包括哪张脸部照片。
它是如何运行的?
我们正在做一项非常古老技术的数字版本-创建马赛克:
除了不使用实体瓷砖图片，你可以使用你的照片集，表情符号，或任何你想要的数字图片集。
找一张目标照片，比如说一张全家福。你可以使用以其他图像作为图案块的“codebook”算法重新创建目标图像作为马赛克。如果你能够智能地搜索并选择图案块集中最好的“codebook”算法图片，你就可以任意地对目标图片进行更好的重建。
本项目将目标图像分割成图案块(使用scale参数控制块大小)，对于每个图案块补丁，使用L2相似性度量法(使用Facebook的faiss库进行超快查找) 来找到最接近的codebook算法图案块来替换它。
因为这个查找非常快,你甚至可以对视频中的每一帧都这样做并创建视频马赛克(见video.py)。如果你感兴趣的话，你还可以使用performance.py运行一系列有趣的性能指标。
安装
确保你已经安装了：
Docker
XQuartz (版本: 2.7.5或更高) 如果你想运行interactive.py OpenCV GUI浏览器的话就安装，否则就不需要安装它。 .
对于 XQuartz库,打开远程设置,然后退出并重启XQuartz (!).
我只在Mac OS X上测试过，但是由于它是Docker化的，所以应该可以在Docker运行的任何地方运行!
接下来，构建Docker镜像并运行一个容器:
如果你想通过SSH连接到Docker容器上，运行上述命令后执行以下命令:
sh enter.sh
最后，也是最重要的，收集一些你想要用来创建图像(作为马赛克图案块)或创建马赛克(把你的照片/视频变成马赛克)的照片和视频。我把过去几年的iPhone照片/视频都放在一个文件夹里，你可以在下面看到一些很酷的效果。
Photomosaic脚本
请注意，所有这些脚本的默认设置都是使用缓存的，这意味着一旦你以一定的比例(即:图案块大小)索引了一个特定文件夹中的照片之后，就不需要再做一次。
如果你从文件夹中添加或删除一个文件，photomosaic会智能地进行重新索引。缓存索引的pickle文件默认存储在缓存文件夹中。
1)使用图像创建马赛克
使用一组其他图像重新构建一个图像，缩小图像尺寸并将其作为图案块。
参数：
--savepath: 保存位置. %s是默认文件名 ，%d 是比例。
--target: 使用其他图片进行重构的目标图片
--codebook-dir: 用来使用codebook算法创建图案块的图片
--scale: 将要创建的图案块多大/小. 方向比例最大值
--height-aspect: 高度方向
--width-aspect:宽度方向
--vectorization-factor: 如果查询之前缩小特征向量 (一般不需要调整此项)
2)创建马赛克视频
对视频的每一帧进行同样的操作。
例子（Tipper 音乐会）:
保存路径输出仅使用*.mp4，目前只支持mp4。
参数:
--target:用其他图案块图像重新构建的目标视频
--codebook-dir: 用来使用codebook算法创建图案块的图片
--scale: 创建的图案块多大/小. 方向比例最大值.
--height-aspect: 高度方向
--width-aspect: 宽度方向
--savepath: 视频文件输出目录 (仅以.MP4扩展名测试过)
ffmpeg用于音频拼接，因为OpenCV并不能真正处理这些。
你也可以在这里调整高宽比，但这些和其他的都是可选参数。
3) 交互式探究马赛克比例
不确定哪个比例看起来最好?想尝试一些不同的设置吗?运行以下命令。
然后只要按下s键，你就可以将选择的比例保存到磁盘上!
或者，按ESC退出窗口而不保存。
参数:
--target: 使用其他图案块图像创建的目标图像
--codebook-dir: 用于创建图案块的图像(codebook)
--min-scale:按照此比例开始（整数）
--max-scale:允许用户增加比例到此值（整数）
--savepath:保存位置。%s 是初始文件名，%d 是比例
你也可以在这里调整高宽比，但这些和其他的都是可选参数。
4)从带有各种不同图案块比例的一连串马赛克创建GIF
这将创建一系列各种比例的马赛克，然后将它们组合在一起，形成每秒具有指定帧的GIF。你可以用—ascending参数来调整顺序。
如果你选择了一个很大的数值范围，预计要等待一个半小时左右，这取决于你的机器。
注意，第一次在容器上运行它时，你可能会看到一个“a Imageio: "ffmpeg-linux64-v3.3.1" was not found on your computer; downloading it now.”的消息,这很正常。
优化GIF文件大小
如果你简单地运行上述操作，你可能会得到一个200 MB的GIF文件，这技术教程很荒谬。最简单的补救方法是使用像gifsicle这样的工具。
以下是我的建议:
$ brew install gifsicle
$ gifsicle -O3 --resize-height 400 --colors 256 < your/gigantic.gif > totally/reasonable/sized.gif
例如，我使用该命令将一个130 MB的GIF压缩为2MB。EZgif是一个非常好的在线工具，可以以不同的权重压缩gif文件，但它们只能支持100MB以内的gif文件。
其它设置
下面是一些其他设置，允许你调整可视化输出。
1) 随机性(--randomness)
如果你想给你的图片马赛克带来一点混乱，使用随机性参数。
它是[0,1）范围内的一个浮点数，这是给定的图案块被填充的概率，不是使用codebook中最接近的块，而是完全随机的。
例(以0.05的随机性):
2) 视频马赛克稳定性(--stabilization-threshold)
视频马赛克只是图片马赛克功能的重复应用。因此，帧与帧之间的微小变化可能会导致视频中相同的对象使用不同的图案块显示。这并不可怕，但它影响视觉稳定性，因为它总是在变化。
--stabilization-threshold 是一个浮点数，表示该块的前一段距离的一部分。我们只有在以下情况下才会更换那个位置的图案块:
`current closest tile"s distance` < `--stabilization-threshold` * `last frame"s distance`
否则，我们只需要保持图案块与该帧一样。这是一个粗略的稳定性探索法，在未来我会进行改进。
3) 不透明度(--opacity)
一些图片马赛克有点欺骗性，它只是在原始图像上按指定比例叠加带有马赛克图案块。这是一个很流行的技术，我决定引入它。只需使用--opacity 标志即可:
4) 最佳-K (--best-k)
你可能会注意到你的许多图片赛克将有大块区域的颜色相似，所以一个单一的图像将被平铺在你的大部分图像。如果你想加入一点(合理的)随机性，而不是使用(--randomness)功能，你可以使用--best-k参数。
在每个图案块上，使用--best-k参数,，k个优先匹配项将被随机选择，按距离大致进行反向加权(因此“更接近”的图像最有可能)。
这是与上面相同的图像，但使用了 --best-k 5参数:
面部蒙太奇效果
我真的很想做面部蒙太奇，尽管它们和图片马马赛克没有任何关系，本部分就是!
简单来说，就是使用一个人的不同照片来创建GIF，并将全部照片对齐到此人的脸部。
工作原理:.
1.将只包含你想加入蒙太奇效果的脸部图像的照片(例如你自己)放在一个文件夹(--target-face-dir)。自拍照片是最好的选择。
2.将包含其他脸部图像的照片放在一个文件夹(--other-face-dir),越多越好。不要加入你的脸部照片。如果你真的很缺少其他人 的照片/有很多合影，那就把自己P掉。
3.将你想要用来绘制蒙太奇效果的照片目录放在一起(--photos-dir)。
作为一个开始，我已经在media/faces/other_faces (不太可能是你的脸部照片)中加入了450张脸部图片的学术数据集(Caltech Faces Dataset)。如果你出于学术原因使用的话，请务必引用它们和dlib库。
如果你想要更好的准确度，我会试着在--target-face-dir 和 --other-face-dir 目录添加至少100张照片。我添加了这一点，使用face_montage.py运行的 结果是大约每300张照片有1个错误正片(在运行
create_gif_from_photos_folder.py步骤之前很容易将其删除)。
你可以从这个地方找到更多随机的脸部照片。
总之，以下是更详细的描述来帮助你运行人脸嵌入，训练线性分类器，对人脸进行对齐:
然后，要将它们实际编译成GIF，要在上面的描述中使用--savedir参数，然后运行:
将这两个步骤分开很好，因为你可能想要从第一步创建的文件夹中删除错误正片和不好看的图片，不然会搞乱生成的GIF中你想要的每秒多少帧。我在嵌入过程中实现了缓存，但是运行一组完整的照片(仅我有耐心运行的照片库部分就有4000多张照片)仍然需要一些时间。
使用 ffprobe / ffmpeg
本项目中的一些例程使用了来自视频/音频文件的参数。我经常通过转到一个单独的进程来直接调用命令行程序，虽然有点麻烦，但是也可以完成任务。
FFProbe是一个很好的工具，命令行接口非常强大。推荐你阅读此指南来掌握它。
类似地，ffmpeg使音频/视频流的拼接和重组变得容易。以下是一些具体的ffmpeg资源:
ffmpeg编码课程
ffmpeg教程
数字视频简介
图片魔法
转换工具用来制作GIF也很不错:
$ cd your/cool/folder/with/jpg/images
$ convert -delay 5 -layers optimize *.jpg output.gif
然后，你可能想使用gifsicle技巧来压缩/调整GIF的大小，使其变成合适大小。
单元测试
有一个小型的(但令人尴尬的是不完整的)测试套件，你可以使用它进行测试:
sh test.sh
目前资料还不是很全
Python图片马赛克工具：photomosaic相关推荐
- python图片马赛克_python 检测图片是否有马赛克
原理讲的很清晰,给原博主一个赞 边缘检测之后按照正方形检索来判定是否是马赛克内容 原理知晓了之后就很好做了 话说MATLAB转化为python的过程还是很有趣的 from PIL import Ima ...
- python图片马赛克_Python实现PS滤镜中马赛克效果示例
本文实例讲述了Python实现PS滤镜中马赛克效果.分享给大家供大家参考,具体如下: 这里利用 Python 实现PS 滤镜中的马赛克效果,具体的算法原理和效果可以参考附录说明,Python示例代码如 ...
- python图片识别验证码软件_基于python图片识别工具（图片识别，车牌，PDF，验证码）...
先上图 不多说. 对于一般的用户来说识别率还是能达到百分之90以上. 已经打包成exe文件.windows用户可以直接使用.要软件的加我QQ python代码: # -*- coding: UTF- ...
- python图片马赛克_python检测图片是否有马赛克内容
from PIL importImageimportnumpy as npimportmathimportwarnings#算法来源,博客https://www.cnblogs.com/techyan ...
- python图片马赛克_利用Python来打马赛克！少儿不宜的东西永不再有！就是这么牛逼！...
今天,带大家学习如何使用 Python 创建照片马赛克.我们将目标图像划分成较小图像的网格,并用适当的图像替换网格中的每一小块,即可创建原始图像的照片马赛克.比如这样: 本实验源自 异步社区的< ...
- python图片马赛克_如何在Matplotlib中绘制马赛克图
color_label:向y记号标签添加背景色.[对/错]def mosaic_plot(df, dic_color_row, row_labels=None, col_labels=None, al ...
- python爬虫图片工具安卓版下载_python图片爬虫(图片爬虫工具) 1.1绿色版
python图片爬虫(图片爬虫工具)是一款专门为互联.it行业的小伙伴们打造的爬虫工具,可以帮大家对软件进行优化.seo的人一定会用的上哦,有兴趣的赶紧下载了哦!python图片爬虫代码如下: #-* ...
- python性能测试可视化_locust安装及其简单使用----基于python的性能测试工具
1.已安装python3.6 ,安装步骤略 pip安装: pip install locust 检查locust是否安装成功 locust --help 2.安装 pyzmq If you inten ...
- 编程软件python图片-python Plotly绘图工具的简单使用
1.plotly库的相关介绍 1)相关说明 plotly是一个基于javascript的绘图库,plotly绘图种类丰富,效果美观: 易于保存与分享plotly的绘图结果,并且可以与Web无缝集成: ...
最新文章
- Js 判断网页窗口是否滚动到底部
- 小米云能同步到华为手机上吗_有没有小米还没涉足的产业？对标百度网盘，小米云盘即将上线...
- Java HasCode equals == 的区别
- Python--day7--面向对象编程进阶
- 【科普】为什么ip地址通常以192.168开头？
- linux以16进制查看文件
- hibernate_day03_多对多关联映射
- 中石油训练赛 - Molecules(高斯消元解方程)
- php开发支付宝支付密码忘记了怎么办_密码箱忘记密码怎么办？密码箱解锁方法大全...
- WPF中Grid实现网格，表格样式通用类（转）
- Linux系统编程33：进程信号之详解信号的捕捉过程，用户态和内核态及其切换，sigaction和signal
- Nicholas谈UE4高级渲染:动态光照迭代快
- posix threads php,3分钟短文 | PHP多线程没用过，你可能错过了计算机最好的时代！...
- UVA465 Overflow【大数】
- 前端实现人员关系图谱
- SpringBoot中@Pattern注解对时间格式校验
- python输出集合中的所有子集_python列出集合中所有子集
- CAD内容很少,文件很大清理无效
- [书籍分享]0-009.微信营销与运营解密：利用微信创造商业价值的奥秘
- 如何提高自媒体文章阅读量？2个简单小步骤，1秒学会