AvFrame和AvPacket

在FFmpeg中,未压缩的图像和压缩的视频码流分别使用AVFrame结构和AVPacket结构保存; 针对视频编码器,其流程为从数据源获取图像格式的输入数据,保存为AVFrame对象并传入编码器,从编码器输出AVPacket结构。

1. AVFrame结构体

typedef struct AVFrame {
#define AV_NUM_DATA_POINTERS 8 //表示一个AVFrame结构最多保存8个图像分量;//待编码的图像像素数据保存在其中,各图像分量的像素数据保存在AVframe::data[0]~data[7]uint8_t *data[AV_NUM_DATA_POINTERS];int linesize[AV_NUM_DATA_POINTERS]; //每个分量的存储区的宽度,称为步长;/*指向数据平面/通道的指针。对于视频,指向data[]对于planar音频,每个通道有分离的数据指针,且linesize[0]包含每个通道buffer的大小;对于packed音频,仅仅是一个数据指针,且linesize[0]包含所有通道buffer的总大小; */uint8_t **extended_data;//图像宽高int width, height;//本帧描述的音频采样数(每个频道) int nb_samples;//帧格式,常见的为AV_PIX_FMT_YUV420Pint format;int key_frame; //当前帧的关键帧标识位;1表该帧为关键帧;0表非关键帧;enum AVPictureType pict_type;//当前帧的类型,0,1,2分别表示I帧,P帧,B帧;//采样视频帧的长宽比,如果未知/未指定,则为0/1;AVRational sample_aspect_ratio;int64_t pts;//当前帧的显示时间戳;#if FF_API_PKT_PTS//PTS复制自AVPacket，被解码产生此帧。int64_t pkt_pts;
#endif//dts从触发返回帧的AVPacket中复制//这也是由AVPacket计算出的AVFrame的显示时间。 无PTS值的DTS值int64_t pkt_dts;//按位流顺序排列的图片编号int coded_picture_number;//图片编号按显示顺序排列int display_picture_number;//质量int quality;void *opaque; //用户私有数据//当解码时，这表示图像必须延迟多少int repeat_pict;//图片的内容是交错的int interlaced_frame;//如果内容是交错的，则首先显示顶部字段。 int top_field_first;//告诉用户应用程序调色板已从上一帧更改。 int palette_has_changed;int64_t reordered_opaque;//音频数据采样速率int sample_rate;//音频数据的通道布局。uint64_t channel_layout;//AVBuffer引用支持这个帧的数据AVBufferRef *buf[AV_NUM_DATA_POINTERS];AVBufferRef **extended_buf;//扩展buf中的元素数目int        nb_extended_buf;AVFrameSideData **side_data;int            nb_side_data;//帧标志int flags;enum AVColorRange color_range;enum AVColorPrimaries color_primaries;enum AVColorTransferCharacteristic color_trc;enum AVColorSpace colorspace;enum AVChromaLocation chroma_location;//帧时间戳估计使用各种启发式int64_t best_effort_timestamp;//从输入到解码器的最后一个AVPacket重新排序pos int64_t pkt_pos;//对应报文的持续时间，以AVStream->time_base units表示，如果未知则为0int64_t pkt_duration;AVDictionary *metadata;//音频通道数,仅用于音频int channels;//包含压缩帧的相应数据包的大小 int pkt_size;AVBufferRef *hw_frames_ctx;AVBufferRef *opaque_ref;size_t crop_top;size_t crop_bottom;size_t crop_left;size_t crop_right;AVBufferRef *private_ref;
} AVFrame;

在AVFrame结构中,它所包含的最重要的结构即数据的缓存区；待编码的数据的像素数据保存在AVFrame结构的data指针所保存的内存区中;
一个AVFrame结构最多可以保存8个图像分量,各图像分量的像素数据保存在AVFrame::data[0]~AVFrame::data[7]所指向的内存区中;

1.1 创建AVFrame结构的实例并初始化

AVFrame *av_frame_alloc(void);
注:仅仅创建AVFrame结构的实例,以及初始化内部各个字段的值,并没有分配用于存储其内部图像的内存空间;

1.2 给AVFrame结构体中的音视频数据分配内存空间

int av_frame_get_buffer(AVFrame *frame, int align)；
作用:实际分配内存空间;
参数1:AVFrame指针;
参数2:对齐方式,<=0表示以32字节对齐;否则以align对齐;

示例:

//创建AVFrame结构的实例并初始化;
//仅仅创建AVFrame的实例,并没有分配用于存储其内部图像的内存空间;
frame = av_frame_alloc();
if (!frame) {fprintf(stderr, "Could not allocate video frame\n");exit(1);
}
frame->format = c->pix_fmt;
frame->width  = c->width;
frame->height = c->height;//给AVFrame结构中的音视频数据分配内存空间;
ret = av_frame_get_buffer(frame, 0);
if (ret < 0) {fprintf(stderr, "Could not allocate the video frame data\n");exit(1);
}

1.3 将保存了图像数据的AVFrame结构传入编码器

int avcodec_send_frame(AVCodecContext *avctx, const AVFrame *frame);
参数1:当前编码器的上下文结构l;
参数2:待编码的图像结构;当该参数为NULL时表示编码结束,此时应该刷新编码器缓存的码流;
返回值:0:正常执行; 负数表错误码;
AVERROR(EAGAIN):输入缓存已满,应该调用avcodec_receive_packet获取输出数据后在尝试输入;
AVERROR_EOF:编码器已收到刷新指令,不再接收的图像输入;
VERROR(EINVAL):编码器状态错误;
VERROR(ENOMEM):内存空间不足;

1.4 释放分配的图像帧结构

void av_frame_free(AVFrame **frame)

2. AVPacket结构体

typedef struct AVPacket {AVBufferRef *buf;int64_t pts;//当前packet的显示时间戳;必须大于等于dtsint64_t dts;//当前packet的解码时间戳,以AVStream的time_base为单位;uint8_t *data;//码流数据保存在data指针指向的内存;int   size;//数据长度为size字节;可通过data和size读取编码后的码流;int   stream_index;//当前packet所从属的stream序号;int   flags;AVPacketSideData *side_data;int side_data_elems;//当前packet的显示时长,即按照顺序显示下一帧pts与当前pts的差值;int64_t duration; //当前packet在数据流中的二进制位置; -1表示未知;int64_t pos;                      
} AVPacket;

2.1 创建AVPacket结构的实例并初始化

AVPacket *av_packet_alloc(void)；

2.2 依照一个已存在的packet创建新的packet,新packet是对原packet的引用

AVPacket *av_packet_clone(const AVPacket *src);

2.3 释放一个packet,若该packet存在引用计数,则其引用计数减1

void av_packet_free(AVPacket **pkt);

2.4 按照指定大小分配一个packet的存储空间,并初始化该packet

int av_new_packet(AVPacket *pkt, int size);

2.5 根据传入的packet创建新的引用packet

int av_packet_ref(AVPacket *dst, const AVPacket *src);

2.6 回收该packet

void av_packet_unref(AVPacket *pkt);

2.7 从编码器中获取输出的码流,并保存在传入的AVPacket结构中

int avcodec_receive_packet(AVCodecContext *avctx, AVPacket *avpkt);
参数1:当前编码器上下文结构;
参数2:输出的码流包结构,包含编码器输出的视频码流;
返回值：0表正常,负数为错误码;
AVERROR(EAGAIN):编码器尚未完成对新一帧的编码,应继续通过函数avcodec_send_frame传入后续图像;
AVERROR_EOF:编码器已经完成输出内部缓存的码流,编码完成;
VERROR(EINVAL):编码器状态错误;