香！用一行命令实现文本检索电脑图片

丰色发自凹非寺
量子位报道 | 公众号 QbitAI

让你从7万张照片里面，找一张猫的照片。

崩溃不？

可就在最近，一位外国小哥就搞出了个神器——只要1行代码，就能轻松搞定这种海底捞针的事儿。

就比如刚说的找“猫片”：

装上神器，终端进入你存照片的文件夹，输入“rclip cat”——

很快，10张跟猫有关的照片就列出来了！

当然，文字显示不直观，加个命令就能在图片查看器中预览：

再来一个抽象的：找跟“love”有关的。

几秒钟后四张人类或动物相拥的照片（以及一张三朵“相拥”的向日葵）就出来了。

是不是挺好使？

看到这，你有可能会说目前已有一些程序可以实现用文字检索图像。

不过，小哥发现它们大多都只能用有限的预设词来搜索——而他这个工具和它们最大的区别就在这了。

下面就试试。

找一只正在打哈欠的狗，你就可以输入“a yawning dog”。

搞定!

再来一个，“woman jumping in the mountains”：

完美！结果都非常准确。

emmm，如果你发现不准，很有可能是你描述有问题。

比如你想找一些肖像，但如果直接输入“portrait”，可能会出来一堆有人有狗有猫的“肖像”：

这肯定不是你想要的，这样描述：a portrait of person，结果就对了：

心动不？

就是CLIP的一个简单接口，你也可以试试

此工具被小哥命名为“rclip”。

看名字你也知道了，这就是用那个能实现图像与文本的精准匹配的CLIP做的。（rclip代表recursion CLIP，也就是递归CLIP）

更确切地说，rclip就是CLIP的一个简单接口。

当你输入查询文本后，它所要做的就是加载模型，提取你所选目录中所有图像的特征向量，将它们存储在数据库（小哥用的SQLite）。

其中，提取操作只进行一次，也就是你第一次检索的时候。

然后它再从你输入的查询文本中提取特征向量，计算它与你的图像特征向量库之间的相似性，最后输出最相似的图像。

下面是安装与使用方法：

首先去GitHub上下载rclip最新的AppImage文件：

对，目前该工具只支持Linux x86_64……

如果你正在使用Linux，下载好之后，执行下面两行就可以使用了：

$ chmod +x rclip-v1.0.0-x86_64.AppImage
$ sudo mv rclip-v1.0.0-x86_64.AppImage /usr/local/bin/rclip

安好以后，就可以cd进入你存图片的目录，开始“rclip + ‘关键字’ ”的检索了。

首次使用提取所有图片的特征向量需要花一些时间，这取决于你所存图片的数量还有你的CPU性能。

ps.小哥的72769张照片是在性能较低的英特尔Celeron J3455处理器上跑了一天。

如果你只想要前5张照片并在本地默认的图片查看器上预览，可以用下面的命令：

$ rclip -nf -t 5 “kitty” | xargs -d ‘\n’ -n 1 xdg-open

最后，在线等一个能在Windows/Mac上实现这个功能的工具，大家有没有！

GitHub：
https://github.com/yurijmikhalevich/rclip

demo视频：
https://www.youtube.com/watch?v=tAJHXOkHidw

参考链接：

https://mikhalevi.ch/rclip-an-ai-powered-command-line-photo-search-tool/