如今，“刷脸”已经成为人们生活中的日常，刷脸支付、人脸解锁、门禁等，都运用了人脸识别技术。人脸识别技术已广泛应用于金融、司法、公安、教育、医疗等诸多领域，同时也涌现出如：旷视科技、商汤科技等一批优秀的企业。

人脸识别算法主要分为三个流程：

• 人脸检测（Face Detection）
• 人脸对齐（Face Alignment）
• 人脸特征表征（Feature Representation）

本文我们主要针对人脸检测这一部分，利用OpenCV和face_recognition库分别实现图片中的人脸检测。

开发环境

• Windows 10(x64)
• OpenCV 4.1.0.25
• face_recognition 1.2.3

使用OpenCV进行人脸检测

OpenCV实现人脸检测的主要思路为：

• 将图片转换成灰度图（降为一维的灰度，减低计算强度）
• 使用训练分类器查找人脸
• 图片上画矩形

图片转为灰度图

使用OpenCV的cvtColor()方法转换图片颜色

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

使用训练分类器查找人脸

在使用OpenCV的人脸检测之前，需要一个人脸训练模型，格式为xml。

我们这里使用OpenCV提供好的人脸分类模型xml，下载地址如下：
https://github.com/opencv/opencv/tree/master/data/haarcascades

图片上画矩形

使用OpenCV的rectangle()绘制矩形

检测结果

完整代码

# 使用OpenCV进行人脸检测
import cv2
from matplotlib import pyplot as plt

imagePath = './test_face_detection.jpg'
# 引入OpenCV提供的人脸分类模型xml
cascPath = './haarcascade_frontalface_default.xml'
# Create the haar cascade
faceCascade = cv2.CascadeClassifier(cascPath)

# 读取图像并转为灰度图
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 检测图片中的人脸
faces = faceCascade.detectMultiScale(
  gray,
  scaleFactor=1.1,
  minNeighbors=4,
  minSize=(30, 30)
)
color = (0, 255, 0)
# 用矩形框将人脸框出来
for (x, y, w, h) in faces:
  cv2.rectangle(image, (x, y), (x+w, y+h), color, 2)

plt.title("Found {0} faces!".format(len(faces)))
plt.axis("off")
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.show()

参数说明

• gray：转换的灰度图
• scaleFactor：图像缩放比例，可理解为相机的x倍镜
• minNeighbors：对特征检测点周边多少有效点同时检测，这样可避免因选取的特征检测点太小而导致遗漏
• minSize：特征检测点的最小尺寸

使用face_recognition库进行人脸检测

face_recognition库是使用Dlib最先进的面部识别功能构建而成，具有深度学习功能。该模型在LFW上的准确率为99.38%。

检测结果

从上面的结果来看，face_recognition库的检测准确率比OpenCV的高。

完整代码

# 使用face_recognition库进行人脸检测
import face_recognition
import cv2
from matplotlib import pyplot as plt

imagePath = './test_face_detection.jpg'

# 使用face_recognition加载图片,并检测人脸
image = face_recognition.load_image_file(imagePath)
#检测图片中所有人脸
face_locations = face_recognition.face_locations(image)

# 用矩形框框出检测到的人脸
for (top, right, bottom, left) in face_locations:
  cv2.rectangle(image, (left, top), (right, bottom), (0, 255, 0), 2)

plt.title("Found {0} faces!".format(len(face_locations)))
plt.axis("off")
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.show()

识别人脸关键点

调用face_recognition.face_landmarks()方法即可得到人脸特征点, 返回一个字典, 下图是返回的数据, 包括chin(下巴), left_eye(左眼)等。

{'chin': [(184, 182), (187, 198), (191, 213), (196, 229), (202, 243), (211, 256), (223, 266), (236, 275), (251, 277), (267, 273), (281, 263), (295, 251), (304, 236), (308, 219), (309, 201), (311, 184), (311, 167)], 'left_eyebrow': [(192, 170), (199, 163), (210, 162), (220, 163), (231, 166)], 'right_eyebrow': [(246, 163), (258, 158), (269, 155), (281, 155), (291, 160)], 'nose_bridge': [(240, 177), (240, 187), (240, 197), (241, 208)], 'nose_tip': [(233, 217), (238, 218), (243, 219), (248, 217), (254, 215)], 'left_eye': [(205, 181), (211, 177), (219, 177), (226, 180), (219, 183), (211, 183)], 'right_eye': [(258, 177), (264, 172), (272, 172), (279, 174), (273, 178), (265, 178)], 'top_lip': [(228, 242), (234, 236), (240, 231), (245, 232), (250, 230), (258, 233), (267, 238), (263, 238), (251, 237), (246, 238), (241, 238), (232, 242)], 'bottom_lip': [(267, 238), (259, 243), (252, 247), (247, 248), (241, 248), (235, 246), (228, 242), (232, 242), (241, 239), (246, 239), (251, 238), (263, 238)]}

人脸关键点检测结果

完整代码

# 调用face_recognition.face_landmarks()方法得到人脸特征点
import face_recognition
import cv2
from matplotlib import pyplot as plt

imagePath = './test_face_landmarks.jpg'

image = face_recognition.load_image_file(imagePath)
face_landmarks_list = face_recognition.face_landmarks(image)

for each in face_landmarks_list:
  for i in each.keys():
    for any in each[i]:
      image = cv2.circle(image, any, 2, (0, 255, 0), 1)

plt.title("Face landmarks")
plt.axis("off")
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.show()

本文只是使用OpenCV和face_recognition库进行实现简单的人脸检测，基于此我们还可以进行许多好玩的事情，比如：脸部轮廓绘制、数字化妆、头像特效合成等等。

上述人脸检测demo的github地址：
https://github.com/Hanpeng-Chen/tensorflow-learning/tree/master/face_detection