网赌盘

火箭线上娱乐 - 深度学习AI美颜系列——人像静态/动态贴纸特效算法实现 | CSDN博文精选

2020-01-09 09:19:08 阅读:( 4825)
摘要:人像静态贴纸的鼻祖是in app,而后faceu的动态贴纸风靡一时,现在静态/动态贴纸已经随处可见了。现有的app中,比如faceu和轻颜相机,当然他们是一家的,他们的贴纸基本上都是数十个人脸特征点的模板配置,也就是说,完成一个贴纸效果,需要数十个点位信息的支持。关于人脸特征点识别算法,相关的论文或者开源的代码工程,已经多如牛毛,这里我不一一例举,本人这里以mtcnn为例,因为本文算法只需要三个点

火箭线上娱乐 - 深度学习AI美颜系列——人像静态/动态贴纸特效算法实现 | CSDN博文精选

火箭线上娱乐,作者 | trent1985

来源 | csdn博客

人像静态/动态贴纸特效几乎已经是所有图像视频处理类/直播类app的必需品了,这个功能看起来复杂,实际上很简单,本文将给大家做个详细的讲解。

我们先来看一下faceu的两张效果图:

这两张效果图中, 我们可以看到一些可爱的圣诞帽贴纸和小鹿形象贴纸,在人脸区域,自动贴上不同的贴纸,便会生成很多有趣的特效,这也是大家爱不释手的原因。

我们从静态贴纸讲起,动态贴纸实际上是静态贴纸的循环播放而已。人像静态贴纸的鼻祖是in app,而后faceu的动态贴纸风靡一时,现在静态/动态贴纸已经随处可见了。它的算法分为两个部分:

1. 人脸检测与关键点识别

所谓人像贴纸,第一步必然是人脸检测与关键点识别。在有人脸的情况下获取到必须的关键点,这样我们才能准确的打上贴纸。现有的app中,比如faceu和轻颜相机,当然他们是一家的,他们的贴纸基本上都是数十个人脸特征点的模板配置,也就是说,完成一个贴纸效果,需要数十个点位信息的支持。不过,个人认为,最简单的贴纸,可以从三个点开始。

关于人脸特征点识别算法,相关的论文或者开源的代码工程,已经多如牛毛,这里我不一一例举,本人这里以mtcnn为例,因为本文算法只需要三个点即可。mtcnn在检测到人脸的情况下,会给我们提供5个特征点,如下图所示:

mtcnn的算法详解大家也可以在网络资源中自行学习,这里我们仅仅给出网络结构示意图,如图所示。

对于上述三个网络,分别为三个阶段:

stage 1:使用p-net是一个全卷积网络,用来生成候选窗和边框回归向量(bounding box regression vectors)。使用bounding box regression的方法来校正这些候选窗,使用非极大值抑制(nms)合并重叠的候选框;

stage 2:使用n-net改善候选窗,将通过p-net的候选窗输入r-net中,拒绝掉大部分false的窗口,继续使用bounding box regression和nms合并;

stage 3:使用o-net输出最终的人脸框和特征点位置。和第二步类似,但是不同的是生成5个特征点位置;

本文使用ncnn调用mtcnn的模型,上层采用c#调用,代码如下:

/*************************************************

copyright: copyright trent.

author: trent

date: 2015-03-09

description:mtcnn.

**************************************************/

#include"trent.h"

#include "mtcnn.h"

#include

static char* model_path = "c:/users/administrator/desktop/mtcnn/001_testdemo/testdemo/testdemo_c/models";

mtcnn* mtcnn;

int fd_initialize

mtcnn = new mtcnn(model_path);

return 0;

};

int fd_process(unsigned char* srcdata, int width, int height, int stride, int faceinfos[15])

unsigned char* data = (unsigned char*)malloc(sizeof(unsigned char) * height * width * 3);

unsigned char* psrc = srcdata;

unsigned char* pdata = data;

for (int j = 0; j < height; j++)

for (int i = 0; i < width; i++)

pdata[0] = psrc[0];

pdata[1] = psrc[1];

pdata[2] = psrc[2];

pdata += 3;

psrc += 4;

ncnn::mat ncnn_img = ncnn::mat::from_pixels(data, ncnn::mat::pixel_rgb, width, height);

std::vector finalbbox;

mtcnn->detect(ncnn_img, finalbbox);

if(finalbbox.size > 0)

faceinfos[0] = 1;

faceinfos[1] = finalbbox[0].x1;

faceinfos[2] = finalbbox[0].y1;

faceinfos[3] = finalbbox[0].x2 - finalbbox[0].x1;

faceinfos[4] = finalbbox[0].y2 - finalbbox[0].y1;

faceinfos[5] = finalbbox[0].ppoint[0];

faceinfos[6] = finalbbox[0].ppoint[5];

faceinfos[7] = finalbbox[0].ppoint[1];

faceinfos[8] = finalbbox[0].ppoint[6];

faceinfos[9] = finalbbox[0].ppoint[2];

faceinfos[10] = finalbbox[0].ppoint[7];

faceinfos[11] = finalbbox[0].ppoint[3];

faceinfos[12] = finalbbox[0].ppoint[8];

faceinfos[13] = finalbbox[0].ppoint[4];

faceinfos[14] = finalbbox[0].ppoint[9];

free(data);

return 0;

};

void fd_unitialize

if(model_path != )

free(model_path);

delete(mtcnn);

拿到五个人脸特征点,这一步我们就完成了。

2. 贴纸融合

有了特征点,我们如何将贴纸融合到恰当的位置?

①计算基准点

我们从5个特征点中,计算得到三个关键点a,b,c;

a为左眼中心点

b为右眼中心点

c为嘴巴水平中心点

对于一张人脸,它的这三个点变化比较小,同时又可以覆盖整个脸部区域,因此,具有整张脸的代表性。

②构建模特基准点

选取一张模特图,要求五官端正,比例协调,如下图所示:

在图中标定出三个人脸关键点位置a,b,c,如蓝色点所示,并记录位置信息:

③构建贴纸模板

我们使用如下两个贴纸,在ps中将贴纸放置到模特脸上合适的位置,然后保存两个贴纸模板为mask_a,mask_b,这样两个贴纸模板就制作完成了,模板如下图所示:

③贴图

对于任意一张用户照片,先使用mtcnn得到人脸5个关键点,计算出人脸关键点a,b,c,我们记做a0,b0,c0;

然后,使用仿射变换,公式如下图所示所示,将a0,b0,c0映射到模特图a,b,c三点,得到仿射变换矩阵h;

仿射变换h矩阵求解代码如下:

void gettextransmatrix(float x1, float y1, float x2, float y2, float x3, float y3,float tx1, float ty1, float tx2, float ty2, float tx3, float ty3, float*texmatrix)

float deta;

deta = tx1*ty2 + tx2*ty3 + tx3*ty1 - tx3*ty2 - tx1*ty3 - tx2*ty1;

float a11, a12, a13, a21, a22, a23, a31, a32, a33;

a11 = ty2 - ty3;

a21 = -(ty1 - ty3);

a31 = ty1 - ty2;

a12 = -(tx2 - tx3);

a22 = tx1 - tx3;

a32 = -(tx1 - tx2);

a13 = tx2*ty3 - tx3*ty2;

a23 = -(tx1*ty3 - tx3*ty1);

a33 = tx1*ty2 - tx2*ty1;

texmatrix[0] = (x1*a11 + x2*a21 + x3*a31) / deta;

texmatrix[1] = (x1*a12 + x2*a22 + x3*a32) / deta;

texmatrix[2] = (x1*a13 + x2*a23 + x3*a33) / deta;

texmatrix[3] = (y1*a11 + y2*a21 + y3*a31) / deta;

texmatrix[4] = (y1*a12 + y2*a22 + y3*a32) / deta;

texmatrix[5] = (y1*a13 + y2*a23 + y3*a33) / deta;

最后,根据h遍历用户照片,将用户照片像素映射到贴纸模板mask_a或者mask_b中,根据贴纸模板像素的透明度进行alpha混合,即可得到最终效果,如下图所示:

最后给出完整的自动人像贴纸代码,仅仅50行左右,即可实现静态图贴纸效果,如果大家需要动态贴纸,可以循环播放不同贴纸即可,代码如下:

#include"trent_sticker.h"

#include"trent.h"

void gettextransmatrix(float x1, float y1, float x2, float y2, float x3, float y3,float tx1, float ty1, float tx2, float ty2, float tx3, float ty3, float*texmatrix)

float deta;

deta = tx1*ty2 + tx2*ty3 + tx3*ty1 - tx3*ty2 - tx1*ty3 - tx2*ty1;

float a11, a12, a13, a21, a22, a23, a31, a32, a33;

a11 = ty2 - ty3;

a21 = -(ty1 - ty3);

a31 = ty1 - ty2;

a12 = -(tx2 - tx3);

a22 = tx1 - tx3;

a32 = -(tx1 - tx2);

a13 = tx2*ty3 - tx3*ty2;

a23 = -(tx1*ty3 - tx3*ty1);

a33 = tx1*ty2 - tx2*ty1;

texmatrix[0] = (x1*a11 + x2*a21 + x3*a31) / deta;

texmatrix[1] = (x1*a12 + x2*a22 + x3*a32) / deta;

texmatrix[2] = (x1*a13 + x2*a23 + x3*a33) / deta;

texmatrix[3] = (y1*a11 + y2*a21 + y3*a31) / deta;

texmatrix[4] = (y1*a12 + y2*a22 + y3*a32) / deta;

texmatrix[5] = (y1*a13 + y2*a23 + y3*a33) / deta;

int trent_sticker(unsigned char* srcdata, int width, int height, int stride, unsigned char* mask, int maskwidth, int maskheight, int maskstride, int srcfacepoints[6], int maskfacepoints[6], int ratio)

int ret = 0;

float h[6];

gettextransmatrix(maskfacepoints[0], maskfacepoints[1], maskfacepoints[2], maskfacepoints[3], maskfacepoints[4], maskfacepoints[5], srcfacepoints[0], srcfacepoints[1], srcfacepoints[2], srcfacepoints[3], srcfacepoints[4], srcfacepoints[5], h);

for (int j = 0; j < height; j++)

for (int i = 0; i < width; i++)

float x = (float)i;

float y = (float)j;

float tx = 0;

float ty = 0;

tx = (int)((h[0] * (x)+h[1] * (y)+h[2]) + 0.5);

ty = (int)((h[3] * (x)+h[4] * (y)+h[5]) + 0.5);

tx = clip3(tx, 0, maskwidth - 1);

ty = clip3(ty, 0, maskheight - 1);

int mb = mask[(int)tx * 4 + (int)ty * maskstride];

int mg = mask[(int)tx * 4 + (int)ty * maskstride + 1];

int mr = mask[(int)tx * 4 + (int)ty * maskstride + 2];

int alpha = mask[(int)tx * 4 + (int)ty * maskstride + 3];

int b = srcdata[i * 4 + j * stride];

int g = srcdata[i * 4 + j * stride + 1];

int r = srcdata[i * 4 + j * stride + 2];

srcdata[(int)i * 4 + (int)j * stride] = clip3((b * (255 - alpha) + mb * alpha) / 255, 0, 255);

srcdata[(int)i * 4 + (int)j * stride + 1] = clip3((g * (255 - alpha) + mg * alpha) / 255, 0, 255);

srcdata[(int)i * 4 + (int)j * stride + 2] = clip3((r * (255 - alpha) + mr * alpha) / 255, 0, 255);

return ret;

};

最后,给出完整工程的源代码,包含mtcnn调用代码和静态贴纸代码:https://download.csdn.net/download/trent1985/10891121

注意,代码运行环境为vs2015,运行时需要把model_path修改为自己的本地路径即可。

demo源码界面如下:

▼▼▼

(*本文为ai科技大本营原创文章,转载请微信联系 1092722531)

2019 中国大数据技术大会(bdtc)再度来袭!豪华主席阵容及百位技术专家齐聚,15 场精选专题技术和行业论坛,超强干货+技术剖析+行业实践立体解读,深入解析热门技术在行业中的实践落地。6.6 折票限时特惠(立减1400元),学生票仅 599 元!