部署环境介绍

python2.7.13

Anaconda2

Faiss开源代码包

C++编译环境

安装步骤介绍

Anaconda2安装

Anaconda2安装openblas，并软链接到/usr/lin64

c++编译环境配置

python开发环境配置

1. Anaconda2安装

#下载Anaconda2安装脚本

#修改执行权限

chmod 777 Anaconda2-4.3.0-Linux-x86_64.sh

#执行完以上两步，得到可执行文件Anaconda2-4.3.0-Linux-x86_64.sh

# 执行安装

bash Anaconda2-4.3.0-Linux-x86_64.sh

#一路enter和yes，当问到是否添加conda到系统环境变量选择yes

#环境变量添加后的效果可在.bashrc文件中看到

vim $HOME/.bashrc

#环境变量生效

source $HOME/.bashrc

#输入python --version可以看到Anaconda出现在python版本号后

2. openblas安装

#openblas安装【执行一次成功就行啦，重复执行会频繁更新n多包，副作用尚不明确】

conda install openblas

#创建软链接到/usr/lin64

ln -s $HOME/anaconda2/lib/libopenblas.so.0 /usr/lib64/libopenblas.so.0

3. 下载安装Faiss和gcc

笔者选用的是2017年3月版的Faiss源码，版本信息如下

#解压改名后进入Faiss文件夹进行安装

unzip Faiss-678750113efabc5d170dfe9e1154cda50b0c35c2.zip

mv Faiss-678750113efabc5d170dfe9e1154cda50b0c35c2 Faiss

cd Faiss

#配置编译环境

cp example_makefiles/makefile.inc.Linux ./makefile.inc

#编译BLAS测试案例

make tests/test_blas

悲剧了吧，别着急，C++编译环境没安装

#安装C++编译环境

yum -y install gcc+ gcc-c++

#再次编译测试BLAS测试案例

make tests/test_blas

又悲剧了吧，为什么呢？分析原因是因为编译时需要gcc-gfortran进行一系列操作，而我们并没有安装

#安装gcc-gfortran

yum install make gcc gcc-gfortran

#再来测试一下BLAS测试案例编译

make tests/test_blas

#这次终于成功啦，我们运行一下

./tests/test_blas

Note:此处提示error，不过不要紧，这是因为代码中数据类型使用引起的，后续开发中自己规避一下

4. C++开发环境配置

#编译安装(Faiss目录内)

make

#运行简单测试案例

./tests/demo_ivfpq_indexing

#运行复杂测试案例

# 下载数据集

wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz tar -xzvf sift.tar.gz

# 转移数据集

mv sift sift1M

# 编译、运行

make tests/demo_sift1M

./tests/demo_sift1M

底层代码已经编译成功了

5. python开发环境配置

#修改配置文件

vim makefile.inc

#找到PYTHONCFLAGS，注释原有部分，修改为

PYTHONCFLAGS=-I$HOME/anaconda2/include/python2.7/ -I$HOME/anaconda2/lib/python2.7/site-packages/numpy/core/include/【笔者此处写为了绝对路径】

# 编译.

make py

# 检验 python-faiss

python -c "import faiss"

ldd -r _swigfaiss.so

# 简单测试

python -c "import faiss, numpy

faiss.Kmeans(10, 20).train(numpy.random.rand(1000, 10).astype('float32'))"

# 复杂测试

export PYTHONPATH=.

mkdir tmp

python python/demo_auto_tune.py

执行完以上操作，会在tmp文件中生成一张图片，如下图所示。【执行过程请耐心等待】

若出现例如alloc错误提示很可能是因为机器内存过小引起的！！！

开启你的Faiss之旅吧！

Reference：