python实现qq视频加特效

使用过qq视频聊天功能的朋友应该都知道它有一个自动为我们加特效的功能，虽然自带中二 ヽ(ー_ー)ノ，但是能够将挂饰精准加到适应的位置，尚且值得我辈学习。废话不多说，直接开正题：

先上一下效果：

from PIL import Image import numpy import cv2 

一、识别器官（本例以眼睛为例）

大象装入冰箱，分为三个步骤。要在我们的脸上糊一个挂饰，第一步必须找到眼睛，这一步本菜用的是OpenCV的级联分类器CascadeClassifier。
这个CascadeClassifier类，及其牛逼而强大，本菜这一步直接用大神训练好的分类器，在视频帧中找到眼睛的位置。如下：

old_data = None detector = cv2.CascadeClassifier("haarcascade_lefteye_2splits.xml") cap = cv2.VideoCapture(0) while True:  _, frame = cap.read() # 4.png是要糊在眼睛上的挂饰  pendant = Image.open("4.png")   frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)  rects = detector.detectMultiScale(frame_gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))   eye_x, eye_y, eye_w, eye_h = get_rect(rects) 

detectMultiScale()方法返回的是一个二维的numpy向量，通俗讲，就是返回一个存放所有识别结果坐标和长宽的列表，这里就是我们眼睛所在位置以及眼睛的大小。为使挂饰糊的稳准狠，我们还需要对这个列表处理一下，算出挂饰的坐标和长宽。

def get_rect(rects):  pen_x = 0  pen_y = 0  pen_w = 0  pen_h = 0 for i, (x, y, w, h) in enumerate(rects): # 俩眼睛一般人都是竖直方向位置一直，高度也大概相同   pen_y = y   pen_h = h   # 挂饰的水平坐标需要时左边那个，宽度的计算为：x2-x1+w2 if not i:    pen_x = x    pen_w -= x   else: if x > pen_x:     pen_w += (x + w) else:     pen_x = x     pen_w = -pen_w - x + w  return pen_x, pen_y, pen_w, pen_h 

二、挂饰糊脸

OK，当我们已经把眼睛得位置找到，试问还有什么能够阻挡我们把东西糊在脸上的冲动，接下来我们只需要安安静静的做一个没有感情的糊脸机器，代码如下：
为了让挂饰糊的稳准狠，我们这里对参数进行了一次”微”调整。

frame = add_pendant(pen_x-int(pen_w*0.25), pen_y-int(pen_h*0.25), frame, pendant) 

PIL的paste()方法可以把一张图片糊在另外一张图片上，very契合我们的需求~但是要注意，我们这里双向操作，一会儿用PIL，一会儿用CV2，为了避免这两个大大之间打架报错，必须要通过numpy大佬中间调停，把两者的格式转换。
其次，RGBA格式的A层为图片的透明层。paste()方法的mask参数能给我们要糊上去的挂饰加一层蒙版，把透明层给去掉，否则透明层会被自动识别为黑色，那么我们糊的东西就不再beautiful了。

def add_pendant(x, y, frame, pendant):  frame = numpy.array(frame)  frame_img = Image.fromarray(frame)  pendant = pendant.convert('RGBA')  frame_img.paste(pendant, (x, y), mask=pendant.split()[3])  frame = numpy.asarray(frame_img) return frame 

三、装饰精修

完成上面两步，基本就可以实现挂饰糊脸的功能，但…当代码跑起来了，本菜也傻球了…因为通过分类器识别，时而会出现只识别出一只眼睛的情况，当这种情况出现时，根据我们的坐标换算方法，挂饰会变成超级巨无霸，就不是把挂饰糊眼睛上了，真真是直接糊在脸上，么得一丝感情那种。
因而，我们还要对挂饰的坐标进行一次修正，如下：

pen_x, pen_y, pen_w, pen_h = get_rect(rects) if old_data is not None:  pen_x, pen_y, pen_w, pen_h = check_data(pen_x, pen_y, pen_w, pen_h, old_data) try:  pendant = pendant.resize((int(pen_w*1.5), int(pen_h*1.5))) except Exception as e: pass frame = add_pendant(pen_x-int(pen_w*0.25), pen_y-int(pen_h*0.25), frame, pendant) old_data = [pen_x, pen_y, pen_w, pen_h] 

def check_data(eye_x, eye_y, eye_w, eye_h, old_data):  scale_factor = 0.5 if (abs(eye_x - old_data[0]) > scale_factor * old_data[0] or abs(eye_y - old_data[1]) > scale_factor * old_data[1] or abs(eye_w - old_data[2]) >= scale_factor * old_data[2] or abs(eye_h - old_data[3]) >= scale_factor * old_data[3]): return old_data[0], old_data[1], old_data[2], old_data[3] return eye_x, eye_y, eye_w, eye_h 

OK，接下来，就可以开开心心的糊脸了~望大家糊的开心。
全代码见这里，可以点个星再走哦~