easyvideo: 基于OpenCV和FFMPEG实现的快速视频处理工具

为何要做这么一个库

安装本项目

mkdir build;cd build
cmake -DENABLE_RKMPP=OFF .. # 如果在瑞芯微平台上使用,可以打开该选项通过mpp和rga库进行硬件加速
make -j8

使用

1. 视频流捕获

// 创建视频流捕获器
BaseCapture* createCapture(
 std::string url, // 同cv::VideoCapture
 int apiPreference=cv::CAP_ANY, // 同cv::VideoCapture
 int type=CAP_TYPE_JPEG, // 视频流类型
 bool dropFrame=false // 当为网络视频流时,若读取速度较慢是否丢弃中间未读取的图像帧,目前设置为true有bug,不建议使用
 std::string decoder_name="auto" // 当为网络视频流时,手动选取ffmpeg解码器,rkmpp平台支持(h264/h265/vp8/vp9)_rkmpp
);
// 以下使用方法同cv::VideoCapture
virtual bool BaseCapture::open(std::string url, int apiPreference=::cv::CAP_ANY);
virtual bool BaseCapture::read(::cv::Mat &frame);
virtual void BaseCapture::release();
virtual void BaseCapture::operator >> (::cv::Mat &frame);
virtual void BaseCapture::set(int propId, double value);
virtual double BaseCapture::get(int propId);

#include <easyvideo/opencv/capture.h>
int main(int argc, char** argv)
{
 // 读取本地相机
 auto cap_local_camera = easyvideo::Capture::createCapture(
 "/dev/video0", cv::CAP_V4L2, 
 easyvideo::Capture::CAP_TYPE_JPEG // 相机输出为JPEG格式
 // 该选项为CAP_TYPE_YUYV时相机输出为YUYV格式
 // 不知道相机输出为何种格式时填写CAP_TYPE_NORMAL,此时退化为cv::VideoCapture,无任何性能优化
 );
 // 读取本地视频文件,此处相当直接使用cv::VideoCapture
 auto cap_local_file = easyvideo::Capture::createCapture(
 "/path/to/your/file.mp4", cv::CAP_ANY,
 easyvideo::Capture::CAP_TYPE_NORMAL
 );
 // 读取网络视频流(目前支持rtsp)
 // 网络视频流会自动优先选择硬解码以降低CPU占用率
 // 目前支持的硬解方案:(h264/h265)_(cuvid/nvmpi/rkmpp)
 // 即:英伟达显卡/英伟达Jetson平台/瑞芯微平台硬解,需要在FFMPEG编译时打开相应选项
 auto cap_stream = easyvideo::Capture::createCapture(
 "rtsp://[url]:[port]/[stream path]", cv::CAP_ANY,
 easyvideo::Capture::CAP_TYPE_STREAM,
 false, "h264_rkmpp"
 );
 return 0;
}

2. 视频流单帧处理

easyvideo::VideoServer::VideoServer();
void easyvideo::VideoServer::setupSource(sensor::camera::Info::Device info);
void easyvideo::VideoServer::setupSource(YAML::Node config)
void easyvideo::VideoServer::setupSource(
 std::string device_name,
 std::string device_source,
 std::string device_type="auto",
 std::string device_format="auto",
 int width=-1,
 int height=-1,
 int fps=-1, 
 int reopen_times=-1,
 int reopen_delay=100, // ms
 std::vector<int> roi={},
 std::string decoder_name="auto"
);
void easyvideo::VideoServer::setCallback(void(*func)(const cv::Mat&));
template <class T>
void easyvideo::VideoServer::setCallback(void(T::*func)(const cv::Mat&), T* obj);
void easyvideo::VideoServer::start_service();
void easyvideo::VideoServer::stop_service();
// 结构体定义
struct sensor::camera::Info::Device
{
 // name: 自己随便取名,source:即url,type: "usb/file/stream", format: "yuyv/jpeg/h264/h265/auto"
 std::string name, source, type, format;
 std::string decoder_name="auto";
 int fps, width, height; // -1为自动
 cv::Rect crop; // 设置后会取对应的矩形区域而不是整张图像
 int reopen_times=-1; // 断连后重启次数,-1代表无限
 int reopen_delay=100; // ms
 YAML::Node _config; // 如果使用yaml文件加载则上述信息也会保存在该变量中
};

name: my_usb_camera
source: /dev/video0
type: usb
format: jpeg
width: 1920
height: 1080
fps: 30
decoder_name: h264_rkmpp
preprocess:
 reopen:
 times: -1
 delay: 100 # ms
 crop: [0,0,0,0] # 全0代表不进行裁剪

#include <easyvideo/videoServer.h>
#include <signal>
void callBack(const cv::Mat& image)
{
 // do something
 // ...
 cv::imshow("image view", image);
 int key = cv::waitKey(1);
 switch (key) {
 case 's':
 cv::imwrite("image.jpg", image);
 break
 // ...
 default:
 break;
 };
}
class ServerHandle
{
public:
 void callback(const cv::Mat& image)
 {
 // do something
 }
};
int main(int argc, char** argv)
{
 easyvideo::VideoServer server;
 server.setupSource("/path/to/your/config.yaml");
 // 以下二选一,不能同时设置,同时设置则以最后设置的为准
 // 1. 普通函数
 server.setCallback(&callBack);
 // 2. 成员函数
 ServerHandle handle;
 server.setCallBack(&ServerHandle::callback, &handle);
 signal(SIGINT, [server](int sig) {
 server.stop_service();
 });
 // 启动服务,阻塞
 server.start_service();
 return 0;
}

3. 推流

easyvideo::RTSPPusher::RTSPPusher(std::string url);
void easyvideo::RTSPPusher::start(); // 在子线程中启动推流
void easyvideo::RTSPPusher::stop(); // 停止当前子线程
void easyvideo::RTSPPusher::pushFrameData(cv::Mat &frame); // 推流当前图像
// 打开指定编码器
int easyvideo::RTSPPusher::open_codec(int width, int height, int den, int kB=100, std::string encoder_name="");

#include <easyvideo/push.h>
int main(int argc, char** argv)
{
 int w=1920, h=1080, fps=30, kb=512; // 4Mbps
 auto pusher = new easyvideo::RTSPPusher("rtsp://localhost/stream/test");
 pusher->open_codec(w, h, fps, kb, "h264_cuvid");
 pusher->start();
 while (1)
 {
 cv::Mat mat(w, h, CV_8UC3);
 // 处理图像
 // ...
 pusher->pushFrameData(mat);
 }
 pusher->stop();
 delete pusher;
 pusher = nullptr;
 
 return 0;
}