FFMPEG+SDL2.0流媒体开发3—简易MP4视频播放器,提取MP4的H264视频序列解码并且显示

之前写了一遍提取MP4中的音视频并且解码,这一篇引入SDL2.0来显示解码后的视频序列 实现一个简易的 视频播放器。

我这里用的FFMPEG和SDL2.0都是最新版的 可能网上的资料不是很多,API接口也变了很多,不过大体的思路还是一样的。

分析几个FFMPEG函数

在这之前我们分析几个代码中可能引起疑问的FFMPEG几个函数的源代码,我已经尽我的能力添加了注释,因为实在没有文档可能有的地方也不是很详尽  不过大体还是能看懂的

av_image_alloc (分配图片缓冲区)

我们在FFMPEG中引用了此函数,下面列举的函数都是这个函数里所引用到的 我都 添加了注释  这里注意下面的

pointers 参数是一个指针数组  实际上他在初始化完毕之后会被赋值成连续的内存序列 具体看源代码 

int av_image_alloc(uint8_t *pointers[4], int linesizes[4],                    int w, int h, enum AVPixelFormat pix_fmt, int align) {         //获取描述符     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);    //     int i, ret;     uint8_t *buf;     //如果不存在描述符那么返回错误     if (!desc)         return AVERROR(EINVAL);      //检测图像宽度 高度     if ((ret = av_image_check_size(w, h, 0, NULL)) < 0)         return ret;     //填充line sizes     if ((ret = av_image_fill_linesizes(linesizes, pix_fmt, align>7 ? FFALIGN(w, 8) : w)) < 0)         return ret;         //初始化0     for (i = 0; i < 4; i++)         linesizes[i] = FFALIGN(linesizes[i], align);     //如果计算的缓冲区尺寸<0     if ((ret = av_image_fill_pointers(pointers, pix_fmt, h, NULL, linesizes)) < 0)         return ret;       //如果失败 重新分配buf     buf = av_malloc(ret + align);     if (!buf)         return AVERROR(ENOMEM);      //再次调用 分配连续缓冲区  赋值给 pointers     if ((ret = av_image_fill_pointers(pointers, pix_fmt, h, buf, linesizes)) < 0) {       //如果分配失败那么释放 缓冲区         av_free(buf);         return ret;     }    //检测像素描述符 AV_PIX_FMT_FLAG_PAL 或AV_PIX_FMT_FLAG_PSEUDOPAL   //Pixel format has a palette in data[1], values are indexes in this palette.  /**   The pixel format is "pseudo-paletted". This means that FFmpeg treats it as   * paletted internally, but the palette is generated by the decoder and is not   * stored in the file. *  */     if (desc->flags & AV_PIX_FMT_FLAG_PAL || desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL)        //设置系统调色板         avpriv_set_systematic_pal2((uint32_t*)pointers[1], pix_fmt);      return ret; }

avpriv_set_systematic_pal2(设置系统调色板）

//设置系统化调色板根据不同像素格式

int avpriv_set_systematic_pal2(uint32_t pal[256], enum AVPixelFormat pix_fmt) {     int i;      for (i = 0; i < 256; i++) {         int r, g, b;          switch (pix_fmt) {         case AV_PIX_FMT_RGB8:             r = (i>>5    )*36;             g = ((i>>2)&7)*36;             b = (i&3     )*85;             break;         case AV_PIX_FMT_BGR8:             b = (i>>6    )*85;             g = ((i>>3)&7)*36;             r = (i&7     )*36;             break;         case AV_PIX_FMT_RGB4_BYTE:             r = (i>>3    )*255;             g = ((i>>1)&3)*85;             b = (i&1     )*255;             break;         case AV_PIX_FMT_BGR4_BYTE:             b = (i>>3    )*255;             g = ((i>>1)&3)*85;             r = (i&1     )*255;             break;         case AV_PIX_FMT_GRAY8:             r = b = g = i;             break;         default:             return AVERROR(EINVAL);         }         pal[i] = b + (g << 8) + (r << 16) + (0xFFU << 24);     }      return 0; }

av_image_fill_pointers(填充av_image_alloc传递的传递的unsigned char** data和linesize)

//返回图像所需的大小  //并且分配了连续缓冲区  将 data 拼接成一个内存连续的 序列 int av_image_fill_pointers(uint8_t *data[4], enum AVPixelFormat pix_fmt, int height,                            uint8_t *ptr, const int linesizes[4]) {        int i, total_size, size[4] = { 0 }, has_plane[4] = { 0 };     //获取描述符     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);   //清空指针数组     memset(data  , 0, sizeof(data[0])*4);    //如果不存在描述符 返回错误     if (!desc || desc->flags & AV_PIX_FMT_FLAG_HWACCEL)         return AVERROR(EINVAL);     //data[0]初始化为ptr     data[0] = ptr;   //如果每行的像素 大于INT类型最大值 -1024/高度 返回     if (linesizes[0] > (INT_MAX - 1024) / height)         return AVERROR(EINVAL);      //初始化size[0]     size[0] = linesizes[0] * height;     //如果 描述符的标志是AV_PIX_FMT_FLAG_PAL或者AV_PIX_FMT_FLAG_PSEUDOPAL 那么表明调色板放在data[1]并且是 256 32位置      if (desc->flags & AV_PIX_FMT_FLAG_PAL ||         desc->flags & AV_PIX_FMT_FLAG_PSEUDOPAL)   {         size[0] = (size[0] + 3) & ~3;         data[1] = ptr + size[0];          return size[0] + 256 * 4;     }      /**      * Parameters that describe how pixels are packed.      * If the format has 2 or 4 components, then alpha is last.      * If the format has 1 or 2 components, then luma is 0.      * If the format has 3 or 4 components,      * if the RGB flag is set then 0 is red, 1 is green and 2 is blue;      * otherwise 0 is luma, 1 is chroma-U and 2 is chroma-V.        */     for (i = 0; i < 4; i++)         has_plane[desc->comp[i].plane] = 1;  //下面是计算总的需要的缓冲区大小     total_size = size[0];     for (i = 1; i < 4 && has_plane[i]; i++) {         int h, s = (i == 1 || i == 2) ? desc->log2_chroma_h : 0;         data[i] = data[i-1] + size[i-1];         h = (height + (1 << s) - 1) >> s;         if (linesizes[i] > INT_MAX / h)             return AVERROR(EINVAL);         size[i] = h * linesizes[i];         if (total_size > INT_MAX - size[i])               return AVERROR(EINVAL);         total_size += size[i];     }    //返回总的缓冲区 大小     return total_size; }

av_image_fill_linesizes(填充行线宽)

//填充LineSize数组 ,linesize代表每一刚的线宽 像素为单位 int av_image_fill_linesizes(int linesizes[4], enum AVPixelFormat pix_fmt, int width) {     int i, ret;  //获取格式描述符     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(pix_fmt);     int max_step     [4];       /* max pixel step for each plane */     int max_step_comp[4];       /* the component for each plane which has the max pixel step */     //初始化指针数组 0     memset(linesizes, 0, 4*sizeof(linesizes[0]));     //如果不存在那么返回错误     if (!desc || desc->flags & AV_PIX_FMT_FLAG_HWACCEL)         return AVERROR(EINVAL);     //下面的代码都是填充线宽的代码      av_image_fill_max_pixsteps(max_step, max_step_comp, desc);     for (i = 0; i < 4; i++) {          if ((ret = image_get_linesize(width, i, max_step[i], max_step_comp[i], desc)) < 0)             return ret;         linesizes[i] = ret;     }      return 0; }

例子 提取MP4文件的视频,并播放实现简易视频播放器

#include "stdafx.h" /************************************************************************/ /* 利用分流器分流MP4文件音视频并进行解码输出   Programmer小卫-USher 2014/12/17 /************************************************************************/ //打开 #define __STDC_FORMAT_MACROS #ifdef _CPPRTTI  extern "C" { #endif #include "libavutil/imgutils.h"    //图像工具  #include "libavutil/samplefmt.h"  // 音频样本格式 #include "libavutil/timestamp.h"  //时间戳工具可以 被用于调试和日志目的  #include "libavformat/avformat.h" //Main libavformat public API header  包含了libavf I/O和   Demuxing  和Muxing 库    #include "SDL.h" #ifdef _CPPRTTI  }; #endif  //音视频编码器上下文 static AVCodecContext *pVideoContext,*pAudioContext; static FILE *fVideoFile,*fAudioFile;  //输出文件句柄 static AVStream *pStreamVideo,*pStreamAudio; //媒体流   static unsigned char * videoDstData[4];  //视频数据  static int videoLineSize[4]; //  static int videoBufferSize; //视频缓冲区大小  static AVFormatContext *pFormatCtx=NULL; //格式上下文 static AVFrame*pFrame=NULL ; // static AVPacket pkt;  //解码媒体包 static int ret=0; //状态 static int gotFrame; //获取到的视频流 //音视频流的索引 static int videoStreamIndex,audioStreamIndex; //解码媒体包 //SDL定义   SDL_Window * pWindow = NULL; SDL_Renderer *pRender = NULL; SDL_Texture *pTexture = NULL; SDL_Rect dstrect = {0,0,800,600}; int frame = 0; int indexFrameVideo=0; static int decode_packet(int* gotFrame, int param2) {  int ret  = 0 ;  //解码数据大小  int decodedSize=pkt.size ;   //初始化获取的数据帧为0  *gotFrame=0;  //如果是视频流那么 解包视频流    if(pkt.stream_index==videoStreamIndex)  {      //解码数据到视频帧   if((ret=avcodec_decode_video2(pVideoContext,pFrame,gotFrame,&pkt))<0)   {      //解码视频帧失败    return ret ;   }   indexFrameVideo++;     //copy 解压后的数据到我们分配的空间中   if(*gotFrame)   {    //拷贝数据    av_image_copy(videoDstData,videoLineSize, (const uint8_t **)(pFrame->data), pFrame->linesize,pVideoContext->pix_fmt, pVideoContext->width, pVideoContext->height);    //写入数据到缓冲区    //fwrite(videoDstData[0], 1, videoBufferSize, fVideoFile);       printf("输出当前第%d帧,大小:%d/n",indexFrameVideo,videoBufferSize);       int n = SDL_BYTESPERPIXEL(pStreamVideo->codec->pix_fmt);      //更新纹理    SDL_UpdateTexture(pTexture, &dstrect, (const void*)videoDstData[0], videoLineSize[0]);    //拷贝纹理到2D模块   SDL_RenderCopy(pRender, pTexture,NULL, &dstrect);   //延时 1000ms*1/25   SDL_Delay(1000 * 1 / frame);   //显示Render渲染曾   SDL_RenderPresent(pRender);   }else   {    printf("第%d帧,丢失/n",indexFrameVideo);   }  }  //音频不管  else if(pkt.stream_index==audioStreamIndex)  {     ///解码音频信息 //   if ((ret = avcodec_decode_audio4(pAudioContext, pFrame, gotFrame, &pkt)) < 0) //    return ret; //   decodedSize = FFMIN(ret, pkt.size); //   //算出当前帧的大小 //   size_t unpadded_linesize = pFrame->nb_samples * av_get_bytes_per_sample((AVSampleFormat)pFrame->format);  //   ///写入数据到音频文件 //   fwrite(pFrame->extended_data[0], 1, unpadded_linesize, fAudioFile);     }   //取消所有引用  并且重置frame字段  av_frame_unref(pFrame);  return decodedSize ; }   int Demuxing(int argc, char** argv)  {   if (argc < 4)   {    printf("Parameter Error!/n");    return 0;   }    //注册所有混流器 过滤器   av_register_all();   //注册所有编码器   avcodec_register_all();   //媒体输入源头   char*pInputFile = argv[1];   //视频输出文件   char*pOutputVideoFile = argv[3];   //音频输出文件   char*pOutputAudioFile = argv[2];   //分配环境上下文   pFormatCtx = avformat_alloc_context();   //打开输入源  并且读取输入源的头部   if (avformat_open_input(&pFormatCtx, pInputFile, NULL, NULL) < 0)   {    printf("Open Input Error!/n");    return 0;   }   //获取流媒体信息   if (avformat_find_stream_info(pFormatCtx, NULL) < 0)   {    printf("获取流媒体信息失败!/n");    return 0;   }   //打印媒体信息   av_dump_format(pFormatCtx, 0, pInputFile, 0);   for (unsigned i = 0; i < pFormatCtx->nb_streams; i++)   {    AVStream *pStream = pFormatCtx->streams[i];    AVMediaType mediaType = pStream->codec->codec_type;    //提取不同的编解码器    if (mediaType == AVMEDIA_TYPE_VIDEO)    {     videoStreamIndex = i;     pVideoContext = pStream->codec;     pStreamVideo = pStream;     fVideoFile = fopen(pOutputVideoFile, "wb");      frame = pVideoContext->framerate.num;     if (!fVideoFile)     {      printf("con't open file!/n");      goto end;     }     //计算解码后一帧图像的大小     //int nsize = avpicture_get_size(PIX_FMT_YUV420P, 1280, 720);     //分配计算初始化 图像缓冲区 调色板数据     int ret = av_image_alloc(videoDstData, videoLineSize, pVideoContext->width, pVideoContext->height, pVideoContext->pix_fmt, 1);     if (ret < 0)     {      printf("Alloc video buffer error!/n");      goto end;     }     //avpicture_fill((AVPicture *)pFrame, videoDstData[0], PIX_FMT_YUV420P, 1280, 720);     videoBufferSize = ret;    }    else if (mediaType == AVMEDIA_TYPE_AUDIO)    {     audioStreamIndex = i;     pAudioContext = pStream->codec;     pStreamAudio = pStream;     fAudioFile = fopen(pOutputAudioFile, "wb");     if (!fAudioFile)     {      printf("con't open file!/n");      goto end;     }     //分配视频帧     pFrame = av_frame_alloc();     if (pFrame == NULL)     {      av_freep(&videoDstData[0]);      printf("alloc audio frame error/n");      goto end;     }    }    AVCodec *dec;    //根据编码器id查找编码器    dec = avcodec_find_decoder(pStream->codec->codec_id);    if (dec == NULL)    {     printf("查找编码器失败!/n");     goto end;    }    if (avcodec_open2(pStream->codec, dec, nullptr) != 0)    {     printf("打开编码器失败!/n");     goto end;    }    }   av_init_packet(&pkt);   pkt.data = NULL;   pkt.size = 0;    //读取媒体数据包  数据要大于等于0   while (av_read_frame(pFormatCtx, &pkt) >= 0)   {    AVPacket oriPkt = pkt;    do    {     //返回每个包解码的数据     ret = decode_packet(&gotFrame, 0);     if (ret < 0)      break;     //指针后移  空闲内存减少     pkt.data += ret;     pkt.size -= ret;     //    } while (pkt.size > 0);    //释放之前分配的空间  读取完毕必须释放包    av_free_packet(&oriPkt);   }   end:   //关闭视频编码器   avcodec_close(pVideoContext);   //关闭音频编码器   avcodec_close(pAudioContext);   avformat_close_input(&pFormatCtx);   fclose(fVideoFile);   fclose(fAudioFile);   //释放编码帧   avcodec_free_frame(&pFrame);   //释放视频数据区   av_free(videoDstData[0]);     return 0;  }   int _tmain(int argc, char*argv[])  {     SDL_Init(SDL_INIT_VIDEO);     //创建窗口   pWindow = SDL_CreateWindow("YUV420P", 200, 100, 800, 600, 0);   //启用硬件加速    pRender=SDL_CreateRenderer(pWindow, -1, 0);     dstrect.x = 0;   dstrect.y = 0;   dstrect.w = 1280;   dstrect.h = 720;   //创建一个纹理  设置可以Lock  YUV420P 格式 1280*720    pTexture = SDL_CreateTexture(pRender, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING, 1280, 720);   Demuxing(argc, argv);    //释放   SDL_RenderClear(pRender);   SDL_DestroyTexture(pTexture);   SDL_DestroyRenderer(pRender);   SDL_DestroyWindow(pWindow);   SDL_Quit();   return  0;  }

代码运行界面