OpenCV4学习笔记（57）——基于GrabCut图像分割算法实现背景替换与背景虚化效果人工智能邱小兵的博客-

在上一篇笔记《OpenCV4学习笔记（56）》中，整理了关于在OpenCV中使用GrabCut图像分割算法的相关内容，那么本次笔记就以GrabCut算法为基础来实现对图像的背景替换和背景虚化效果。

实现对图像的背景替换和背景虚化效果的整体流程如下：
（1）对图像进行USM锐化（可参阅《OpenCV4学习笔记（16）》）
，用于增强图像细节，以便于提取前景区域。
（2)手动选择ROI区域并执行GrabCut算法进行图像分割。
（3)提取ROI区域的二值图像，并进行形态学滤波。
（4）读取要进行替换的新背景图像并进行高斯模糊。
（5）将新背景图像和前景图像相混合，并进一步进行模糊操作。

代码演示如下：

 //基于grabCut图像分割算法的背景替换和背景虚化 //读取图像并进行USM锐化，增强目标细节，便于提取前景  Mat image= imread("D:\opencv_c++\opencv_tutorial\data\images\master.jpg"); resize(image, image, Size(500, 700)); imshow("image", image);  Mat gaussian_image, USM_image; GaussianBlur(image, gaussian_image, Size(), 20, 20); addWeighted(image, 1.5, gaussian_image, -0.5, 0, USM_image, CV_16S); convertScaleAbs(USM_image, USM_image); imshow("USM_image", USM_image); //选择目标前景区域  Rect roi_rect = selectROI("USM_image", USM_image, false); //进行grabCut图像分割  Mat mask = Mat::zeros(image.size(), CV_8UC1);  Mat bgdModel, fgdModel; grabCut(USM_image, mask, roi_rect, bgdModel, fgdModel, 10, GC_INIT_WITH_RECT); //提取前景ROI区域二值图像  Mat foreground = Mat::zeros(image.size(), image.type());  Mat foreground_roi = Mat::zeros(image.size(), CV_8UC3); for (int row = 0; row < image.rows; row++) { for (int col = 0; col < image.cols; col++) { if (mask.at<uchar>(row, col) == 1 || mask.at<uchar>(row, col) == 3) {     foreground_roi.at<Vec3b>(row, col) = Vec3b(255,255,255); } } } //将得到的前景ROI区域二值图像进行开运算消除细微干扰后，和锐化图像进行与（and）操作，得到锐化后的前景区域  Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3)); morphologyEx(foreground_roi, foreground_roi, MORPH_OPEN, kernel); bitwise_and(foreground_roi, USM_image, foreground); imshow("foreground", foreground); //读取要进行替换的背景图像  Mat background = imread("D:\opencv_c++\opencv_tutorial\data\images\background.jpg"); resize(background, background, image.size());  Mat new_background = background.clone(); for (int row = 0; row < background.rows; row++) { for (int col = 0; col < background.cols; col++) { if (foreground.at<Vec3b>(row, col) != Vec3b(0, 0, 0)) {     new_background.at<Vec3b>(row, col) = image.at<Vec3b>(row, col); } } } imshow("new_background", new_background); //背景虚化 //对背景图像进行高斯模糊  Mat gaus_background = Mat::zeros(background.size(),background.type()); GaussianBlur(background, gaus_background, Size(), 2, 2); for (int row = 0; row < gaus_background.rows; row++) { for (int col = 0; col < gaus_background.cols; col++) { if (foreground.at<Vec3b>(row, col) != Vec3b(0, 0, 0)) { //将锐化图像前景和虚化背景图像混合     gaus_background.at<Vec3b>(row, col) = foreground.at<Vec3b>(row, col); } } } //对虚化图像再进行高斯模糊，抵消前景的边缘效应和锐化效果 GaussianBlur(gaus_background, gaus_background, Size(3, 3), 1); imshow("gaus_background", gaus_background); 

这里使用的演示图像是：

接着经过锐化后的效果图像：

随后进行GrabCut图像分割，得到掩膜mask，注意mask直接显示的话是全黑的，因为它只有从0~3这四个像素取值：

对掩膜mask放大来看像素值，下面分别是可能背景和可能前景、明显背景和可能背景的分割处，：


由掩膜得到的前景图像为：

最后得到的新背景图像和背景虚化图像如下：


到这里就实现了对于一幅图像的背景替换和背景虚化了，但是从细节效果上来看，这种直接替换的方式使得前景和背景的连接处过渡仍然不够自然，感觉有些许割裂感。如果能对图像的前景与背景之间进行过渡处理，那么能很好的提高视觉效果。

好了，本次笔记整理到此结束，谢谢阅读~

PS：本人的注释比较杂，既有自己的心得体会也有网上查阅资料时摘抄下的知识内容，所以如有雷同，纯属我向前辈学习的致敬，如果有前辈觉得我的笔记内容侵犯了您的知识产权，请和我联系，我会将涉及到的博文内容删除，谢谢！