1，Image Morphing 介绍

图像融合简单来说，通过把图像设置为不同的透明度，把两张图像融合为一张图像(一般要求图像需要等尺寸)，公式如下：

可以根据这个公式尝试实现一下融合技术，利用 OpenCV 的 cv2.addWeighted() 函数，代码如下：

import cv2

import  numpy as np

file_path1 = "E:/data_ceshi/1.jpg"

file_path2 = "E:/data_ceshi/2.jpg"

img1 = cv2.imread(file_path1)

img2 = cv2.imread(file_path2)

morph_img = cv2.addWeighted(img1,0.5,img2,0.5,0)

save_img = np.hstack((img1,morph_img,img2))

cv2.imwrite("E:/data_ceshi/save.jpg",save_img)

cv2.imshow("morph_img",save_img)

cv2.waitKey(0)

这里 alpha 设置为 0.5， 最终结果如下图：

左右两边分别为融合之前的两张图片，中间为融合结果，看起来非常不好，图片中脸的部分的确融合了，但是给我们的感觉就是明显的失真效果，太假了

对于上面提到的融合想法，若想要达到不错的效果需要对人脸区域进行对齐操作，而这一步就需要用到之前介绍的技术：人脸68个特征点提取，Delaunay 三角剖分

2，特征点提取

在做人脸对齐时，不仅需要考虑人脸部分需要对齐，这里也需要考虑图片的整体性(例如头发、脖子、肩膀等部位)，这里除去 dlib 提取 68 个特征点之外，又加入了12个特征点(人工标记)分别为图像四角、四边中点、肩膀处，右耳边缘、脖子等

3，Delaunay 三角剖分

三角剖分目的网格化图像脸部区域，方便寻找特征对应点，为后面使用仿射变换进行对齐操作：

从三角剖分图上来看，人脸区域轮廓是非常相似的，人脸融合时需要把脸部每一个对应的小三角区域事先一一对齐，然后利用设置的透明度参数来做最终的效果融合。这样结果就显得不那么失真。

4，Face Morph(脸部融合)

下面将脸部融合技术拆解为几部分：

1，脸部特长点提取、三角剖分(前面已经详细介绍了，这里就不再一一展开了)，详情参考这篇文章：

2，对 1 中的三角剖分每个顶点做对应点衔接并记录下来，对应点记录的是三角形三顶点的索引数，如下图所示：

3，图片中对每一个三角剖分区域做放射变换，用到的函数：getAffineTransform() 得到仿射变换矩阵，warpAffine() 进行放射变换，最终得到两个变换图像，

4，对 3 中得到的两图像中像素值调整透明度参数，来进行图像融合

最终结果如下：

out_img1.jpg

out_img2.jpg

out_img3.jpg

结果来看，脸部区域能够取得不错的结果，但整体来看仍然有很大的瑕疵，但是我们可以通过手动选择更多特征对应点来改善这种效果，最后附上完整代码

import cv2

import numpy as np

import sys

#Read points from  text file

def readPoints(path):

# Create an array of points

points = []

# Read points

with open(path) as file:

for line in file:

x,y = line.split()

points.append((int(x),int(y)))

return points

# Apply affine tranform calculated using srcTri and sdtTri to src and output an image of size

def applyAffineTransform(src,srcTri,dstTri,size):

#Given a pair of triangles,find the affine transform.

warpMat = cv2.getAffineTransform(np.float32(srcTri),np.float32(dstTri))

#Apply the Affine Transform just foundto the src image

dst = cv2.warpAffine(src,warpMat,(size[0],size[1]),None,flags=cv2.INTER_LINEAR,borderMode=cv2.BORDER_REFLECT_101)

return dst

# Warps and alpha blends triangular regions from img1 and img2 to img

def morphTriangle(img1,img2,img,t1,t2,t,alpha):

#Find bounding rectangle for each triangle

r1 = cv2.boundingRect(np.float32([t1]))

r2 = cv2.boundingRect(np.float32([t2]))

r = cv2.boundingRect(np.float32([t]))

# Offset points by left top corner of the respective rectangles

t1Rect = []

t2Rect = []

tRect = []

for i in range(0,3):

tRect.append(((t[i][0] - r[0]),(t[i][1]-r[1])))

t1Rect.append(((t1[i][0]-r1[0]),(t1[i][1]-r1[1])))

t2Rect.append(((t2[i][0] -r2[0]),(t2[i][1]-r2[1])))

# Get mask by filling triangles

mask = np.zeros((r[3],r[2],3),dtype = np.float32)

cv2.fillConvexPoly(mask,np.int32(tRect),(1.0,1.0,1.0),16,0)

# Apply warpImage to small rectangular patched

img1Rect = img1[r1[1]:r1[1]+r1[3],r1[0]:r1[0]+r1[2]]

img2Rect = img2[r2[1]:r2[1]+r2[3],r2[0]:r2[0]+r2[2]]

size = (r[2],r[3])

warpImage1 = applyAffineTransform(img1Rect,t1Rect,tRect,size)

warpImage2 = applyAffineTransform(img2Rect,t2Rect,tRect,size)

# Alpha blend rectangular patches

imgRect = (1.0-alpha) *warpImage1 +alpha*warpImage2

# Copy triangular region of rectangular patch to tje output image

print(r[1],r[3],r[0],r[2])

print(imgRect.shape)

img[r[1]:r[1]+r[3],r[0]:r[0]+r[2]] = img[r[1]:r[1]+r[3],r[0]:r[0]+r[2]]*(1-mask) +imgRect*mask

if __name__ =='__main__':

filename1 = "E:/data_ceshi/2.jpg"

filename2 = "E:/data_ceshi/3.jpg"

points_txt1 = "E:/data_ceshi/2.txt"

points_txt2  ="E:/data_ceshi/3.txt"

alpha = 0.5

# Read images

img1 = cv2.imread(filename1)

img2 = cv2.imread(filename2)

# Convertat to float data type

img1 = np.float32(img1)

img2 = np.float32(img2)

# Read array of corresponding points

points1 = readPoints(points_txt1)

points2 = readPoints(points_txt2)

points = []

# Compute weighted average point coordinate

for i in range(0,len(points1)):

x = (1-alpha) *points1[i][0] +alpha *points2[i][0]

y = (1-alpha)*points1[i][1] + alpha*points2[i][1]

points.append((x,y))

imgMorph = np.zeros(img1.shape,dtype = img1.dtype)

# Read triangles for tri.txt

with open("E:/data_ceshi/tri.txt") as file:

for line in file:

x,y,z = line.split()

x = int(x)

y = int(y)

z = int(z)

t1 = [points1[x],points1[y],points1[z]]

t2 = [points2[x],points2[y],points2[z]]

t = [points[x],points[y],points[z]]

# Morph one triangle at a time

morphTriangle(img1,img2,imgMorph,t1,t2,t,alpha)

# Display Results

out_img = np.hstack((img1,imgMorph,img2))

cv2.imwrite("E:/data_ceshi/out_img.jpg",out_img)

cv2.imshow("Morphed Face",np.uint8(imgMorph))

cv2.waitKey(0)

5，小总结

虽然本次面向对象是人脸，但相同技术原理也可以运用到其他物体上面，比如把苹果和橘子部分融合、人脸区域更换等功能，如果有更好的 idea 的话，可能会得到意想不到的结果，也可以在下方留言！

最后文章中完整源码和文件都已经打包到 Github 上去了，后台回复关键词 人脸融合 即可获取；下一篇 将 利用 OpenCV  进行换脸操作，感兴趣的小伙伴们可以提起关注一下。