开源 企业版 高校版 私有云 模力方舟 AI 队友
代码拉取完成,页面将自动刷新
开源项目 > 程序开发 > 常用工具包 &&
捐赠
捐赠前请先登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
103 Star 575 Fork 242

cpp-master/cpp-tbox

加入 Gitee
与超过 1400万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
已有帐号? 立即登录
文件
develop
分支 (18)
标签 (32)
master
develop
opt/websocket
feat/http-client
feature/tls-crypto-https
fix/jsonrpc
feat/mqtt-reconnect
tidy/doc
wlabs-develop
fix/terminal-mem-leak
feat/use-config-enable-epoll
feature-Broker
opt-loop-wdog
feature-DBus
feature-epoll
feature-update-readme
feature-Dns
feature-TcpSSL
v1.15.5
v1.15.4
v1.14.4
v1.13.10
v1.13.2
v1.12.28
v1.12.25
v1.12.22
v1.12.20
v1.12.10
v1.12.0
v1.11.14
v1.11.12
v1.11.11
v1.11.5
v1.11.4
v1.11.2
v1.11.0
v1.10.27
v1.10.23
develop
分支 (18)
标签 (32)
master
develop
opt/websocket
feat/http-client
feature/tls-crypto-https
fix/jsonrpc
feat/mqtt-reconnect
tidy/doc
wlabs-develop
fix/terminal-mem-leak
feat/use-config-enable-epoll
feature-Broker
opt-loop-wdog
feature-DBus
feature-epoll
feature-update-readme
feature-Dns
feature-TcpSSL
v1.15.5
v1.15.4
v1.14.4
v1.13.10
v1.13.2
v1.12.28
v1.12.25
v1.12.22
v1.12.20
v1.12.10
v1.12.0
v1.11.14
v1.11.12
v1.11.11
v1.11.5
v1.11.4
v1.11.2
v1.11.0
v1.10.27
v1.10.23
克隆/下载
克隆/下载
提示
下载代码请复制以下命令到终端执行
为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置
初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置
1 生成 RSA 密钥
2 获取 RSA 公钥内容,并配置到 SSH公钥
在 Gitee 上使用 SVN,请访问 使用指南
使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议 配置并使用私人令牌 替代登录密码进行克隆、推送等操作
Username for 'https://gitee.com': userName
Password for 'https://userName@gitee.com': # 私人令牌
develop
分支 (18)
标签 (32)
master
develop
opt/websocket
feat/http-client
feature/tls-crypto-https
fix/jsonrpc
feat/mqtt-reconnect
tidy/doc
wlabs-develop
fix/terminal-mem-leak
feat/use-config-enable-epoll
feature-Broker
opt-loop-wdog
feature-DBus
feature-epoll
feature-update-readme
feature-Dns
feature-TcpSSL
v1.15.5
v1.15.4
v1.14.4
v1.13.10
v1.13.2
v1.12.28
v1.12.25
v1.12.22
v1.12.20
v1.12.10
v1.12.0
v1.11.14
v1.11.12
v1.11.11
v1.11.5
v1.11.4
v1.11.2
v1.11.0
v1.10.27
v1.10.23
cpp-tbox
/
modules
/
util
/
async_pipe.cpp
cpp-tbox
/
modules
/
util
/
async_pipe.cpp
async_pipe.cpp 10.51 KB
一键复制 编辑 原始数据 按行查看 历史
海卫哥 提交于 2024年06月23日 09:59 +08:00 . opt(util):优化AsyncPipe代码,消除错序风险
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371
/*
* .============.
* // M A K E / \
* // C++ DEV / \
* // E A S Y / \/ \
* ++ ----------. \/\ .
* \\ \ \ /\ /
* \\ \ \ /
* \\ \ \ /
* -============'
*
* Copyright (c) 2018 Hevake and contributors, all rights reserved.
*
* This file is part of cpp-tbox (https://github.com/cpp-main/cpp-tbox)
* Use of this source code is governed by MIT license that can be found
* in the LICENSE file in the root of the source tree. All contributing
* project authors may be found in the CONTRIBUTORS.md file in the root
* of the source tree.
*/
#include "async_pipe.h"
#include <tbox/base/defines.h>
#include <cstring>
#include <cassert>
#include <vector>
#include <deque>
#include <chrono>
#include <thread>
#include <mutex>
#include <condition_variable>
#include <iostream>
namespace tbox {
namespace util {
using namespace std;
class AsyncPipe::Impl {
public:
class Buffer {
public:
Buffer(size_t cap);
~Buffer();
NONCOPYABLE(Buffer);
IMMOVABLE(Buffer);
public:
size_t append(const void *data_ptr, size_t data_size);
inline bool full() const { return capacity_ == size_; }
inline bool empty() const { return size_ == 0; }
inline void *data() const { return data_; }
inline size_t size() const { return size_; }
inline void reset() { size_ = 0; }
private:
size_t capacity_;
size_t size_ = 0;
uint8_t *data_ = nullptr;
};
public:
Impl();
~Impl();
bool initialize(const Config &cfg);
void setCallback(const Callback &cb) { cb_ = cb; }
void cleanup();
void append(const void *data_ptr, size_t data_size);
void appendLock();
void appendUnlock();
void appendLockless(const void *data_ptr, size_t data_size);
protected:
void threadFunc();
private:
Config cfg_;
Callback cb_;
Buffer* curr_buffer_ = nullptr; //!< 当前缓冲
vector<Buffer*> free_buffers_; //!< 可用缓冲数组
deque<Buffer*> full_buffers_; //!< 已满缓冲队列
size_t buff_num_; //!< 缓冲个数
bool inited_ = false; //!< 是否已经启动子线程
bool stop_signal_ = false; //!< 停止信号
thread backend_thread_;
mutex curr_buffer_mutex_; //!< 锁 curr_buffer_ 的
mutex full_buffers_mutex_; //!< 锁 full_buffers_ 的
mutex free_buffers_mutex_; //!< 锁 free_buffers_ 的
mutex buff_num_mutex_; //!< 锁 buff_num_ 的
condition_variable full_buffers_cv_; //!< full_buffers_ 不为空条件变量
condition_variable free_buffers_cv_; //!< free_buffers_ 不为空条件变量
};
AsyncPipe::Impl::Buffer::Buffer(size_t cap) :
capacity_(cap)
{
data_ = new uint8_t [cap];
}
AsyncPipe::Impl::Buffer::~Buffer()
{
delete [] data_;
}
size_t AsyncPipe::Impl::Buffer::append(const void *data_ptr, size_t data_size)
{
size_t wsize = data_size;
if ((size_ + data_size) > capacity_)
wsize = capacity_ - size_;
::memcpy((data_ + size_), data_ptr, wsize);
size_ += wsize;
return wsize;
}
AsyncPipe::AsyncPipe() :
impl_(new Impl)
{ }
AsyncPipe::~AsyncPipe()
{
delete impl_;
}
bool AsyncPipe::initialize(const Config &cfg)
{
return impl_->initialize(cfg);
}
void AsyncPipe::setCallback(const Callback &cb)
{
impl_->setCallback(cb);
}
void AsyncPipe::cleanup()
{
impl_->cleanup();
}
void AsyncPipe::append(const void *data_ptr, size_t data_size)
{
impl_->append(data_ptr, data_size);
}
void AsyncPipe::appendLock()
{
impl_->appendLock();
}
void AsyncPipe::appendUnlock()
{
impl_->appendUnlock();
}
void AsyncPipe::appendLockless(const void *data_ptr, size_t data_size)
{
impl_->appendLockless(data_ptr, data_size);
}
AsyncPipe::Impl::Impl()
{ }
AsyncPipe::Impl::~Impl()
{
cleanup();
}
bool AsyncPipe::Impl::initialize(const Config &cfg)
{
if (cfg.buff_size == 0) {
std::cerr << "Err: AsyncPipe::Config::buff_size == 0" << std::endl;
return false;
}
if (cfg.buff_min_num == 0) {
std::cerr << "Err: AsyncPipe::Config::buff_min_num == 0" << std::endl;
return false;
}
if (cfg.buff_min_num > cfg.buff_max_num) {
std::cerr << "Err: AsyncPipe::Config::buff_max_num < buff_min_num" << std::endl;
return false;
}
if (cfg.interval == 0) {
std::cerr << "Err: AsyncPipe::Config::interval == 0" << std::endl;
return false;
}
cfg_ = cfg;
free_buffers_.reserve(cfg.buff_min_num);
for (size_t i = 0; i < cfg.buff_min_num; ++i)
free_buffers_.push_back(new Buffer(cfg.buff_size));
buff_num_ = cfg.buff_min_num;
auto bt = thread(std::bind(&AsyncPipe::Impl::threadFunc, this));
backend_thread_.swap(bt);
inited_ = true;
return true;
}
void AsyncPipe::Impl::cleanup()
{
if (!inited_)
return;
stop_signal_ = true;
full_buffers_cv_.notify_all();
backend_thread_.join();
stop_signal_ = false;
assert(full_buffers_.empty());
CHECK_DELETE_RESET_OBJ(curr_buffer_);
for (auto item : free_buffers_)
CHECK_DELETE_RESET_OBJ(item);
free_buffers_.clear();
cb_ = nullptr;
inited_ = false;
}
void AsyncPipe::Impl::append(const void *data_ptr, size_t data_size)
{
std::lock_guard<std::mutex> lg(curr_buffer_mutex_);
appendLockless(data_ptr, data_size);
}
void AsyncPipe::Impl::appendLock()
{
curr_buffer_mutex_.lock();
}
void AsyncPipe::Impl::appendUnlock()
{
curr_buffer_mutex_.unlock();
}
void AsyncPipe::Impl::appendLockless(const void *data_ptr, size_t data_size)
{
const uint8_t *ptr = static_cast<const uint8_t*>(data_ptr);
size_t remain_size = data_size;
while (remain_size > 0) {
if (curr_buffer_ == nullptr) {
//! 如果 curr_buffer_ 没有分配,则应该从 free_buffers_ 中取一个出来
std::unique_lock<std::mutex> lk(free_buffers_mutex_);
if (free_buffers_.empty()) { //! 如里 free_buffers_ 为空
buff_num_mutex_.lock();
//! 如果缓冲块数还没有达到最大限值,则可以继续申请
if (buff_num_ < cfg_.buff_max_num) {
++buff_num_;
buff_num_mutex_.unlock();
free_buffers_.push_back(new Buffer(cfg_.buff_size));
} else { //! 否则只能等待后端释放
buff_num_mutex_.unlock();
free_buffers_cv_.wait(lk, [this] { return !free_buffers_.empty(); });
}
}
//! 将 free_buffers_ 中最后的一个弹出来,给到 curr_buffer_
curr_buffer_ = free_buffers_.back();
free_buffers_.pop_back();
//! Q: 为什么从 free_buffers_ 尾部取,而不是向 full_buffers_ 那样从头部取呢?
//! A: 因为 free_buffers_ 所存空闲缓冲,没有顺序要求。而 full_buffers_ 必须要有顺序性
//! 既然不需要顺序性,那么 vector 的尾部进出是最高效的。
}
auto size = curr_buffer_->append(ptr, remain_size);
if (curr_buffer_->full()) {
//! 如果当前缓冲满了
std::lock_guard<std::mutex> lg2(full_buffers_mutex_);
full_buffers_.push_back(curr_buffer_); //! 将 curr_buffer_ 放到 full_buffers_ 中
full_buffers_cv_.notify_all(); //! 通知后台线程开始干活
curr_buffer_ = nullptr;
}
ptr += size;
remain_size -= size;
}
}
void AsyncPipe::Impl::threadFunc()
{
for (;;) {
bool is_wake_for_quit = false; //! 是否因需要停止而被唤醒
bool is_wake_for_timeup = true; //! 是否因超时而被唤醒
{
//! 等待唤醒信号
std::unique_lock<std::mutex> lk(full_buffers_mutex_);
if (full_buffers_.empty()) {
//! 等待三种情况: 1.超时,2.停止,3.full_buffers_不为空
full_buffers_cv_.wait_for(lk, std::chrono::milliseconds(cfg_.interval),
[this, &is_wake_for_timeup, &is_wake_for_quit] {
if (stop_signal_)
is_wake_for_quit = true;
if (is_wake_for_quit || !full_buffers_.empty()) {
is_wake_for_timeup = false;
return true;
}
return false;
}
);
} else {
is_wake_for_timeup = false;
}
}
//! 如果是超时或是收到停止信号,则先将 curr_buff_ 移到 full_buffers_
if (is_wake_for_timeup || is_wake_for_quit) {
if (curr_buffer_mutex_.try_lock()) {
if (curr_buffer_ != nullptr) {
//! Q: 这里为什么不锁 full_buffers_mutex_ ?
//! A: 因为锁住了 curr_buffer_mutex_ 就不会有前端调用 appendLockless(),仅有后端的线程操作。
//! 所以不锁 full_buffers_mutex_ 也是安全的
full_buffers_.push_back(curr_buffer_);
curr_buffer_ = nullptr;
}
curr_buffer_mutex_.unlock();
}
}
//! 然后逐一处理 full_buffers_ 中的数据
for (;;) {
Buffer *buff = nullptr;
{
//! 尝试从 full_buffers_ 中取一个出来
std::lock_guard<std::mutex> lg(full_buffers_mutex_);
if (!full_buffers_.empty()) {
buff = full_buffers_.front();
full_buffers_.pop_front();
} else {
break;
}
}
if (buff != nullptr) {
//! 进行处理
if (cb_)
cb_(buff->data(), buff->size());
buff->reset();
buff_num_mutex_.lock();
if (buff_num_ > cfg_.buff_min_num) {
--buff_num_;
buff_num_mutex_.unlock();
delete buff;
} else {
buff_num_mutex_.unlock();
//! 将处理后的缓冲放回 free_buffers_ 中
std::lock_guard<std::mutex> lg(free_buffers_mutex_);
free_buffers_.push_back(buff);
free_buffers_cv_.notify_all();
}
}
}
if (is_wake_for_quit)
break;
}
}
}
}
Loading...
举报
举报成功
我们将于2个工作日内通过站内信反馈结果给你!
请认真填写举报原因,尽可能描述详细。
请选择举报类型
取消
发送
误判申诉

此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。

如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。

取消
提交

简介

cpp-tbox是一个Linux C++,MIT开源许可的,基于 Reactor 模式的开发框架与组件库。它主要针对智能硬件、机器人、网络服务等开发领域。 它提供了一套易于开发、稳定可靠的框架,有:通信库(TCP/UDP/串口)、HTTP、线程池、定时器池、协程、日志、命令终端、状态机、行为树等非常实用的开发组件,以及完备实用的主框架,能为广大开发者节省大量开发与调试时间。
取消

发行版

暂无发行版

开源评估指数源自 OSS-Compass 评估体系,评估体系围绕以下三个维度对项目展开评估:

1. 开源生态

  • 生产力:来评估开源项目输出软件制品和开源价值的能力。
  • 创新力:用于评估开源软件及其生态系统的多样化程度。
  • 稳健性:用于评估开源项目面对多变的发展环境,抵御内外干扰并自我恢复的能力。

2. 协作、人、软件

  • 协作:代表了开源开发行为中协作的程度和深度。
  • 人:观察开源项目核心人员在开源项目中的影响力,并通过第三方视角考察用户和开发者对开源项目的评价。
  • 软件:从开源项目对外输出的制品评估其价值最终落脚点。也是开源评估最"古老"的主流方向之一"开源软件" 的具体表现。

3. 评估模型

    基于"开源生态"与"协作、人、软件"的维度,找到与该目标直接或间接相关的可量化指标,对开源项目健康与生态进行量化评估,最终形成开源评估指数。

贡献者

全部

近期动态

不能加载更多了
编辑仓库简介
简介内容
主页
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
C++
1
https://gitee.com/cpp-master/cpp-tbox.git
git@gitee.com:cpp-master/cpp-tbox.git
cpp-master
cpp-tbox
cpp-tbox
develop
点此查找更多帮助

搜索帮助

评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册

AltStyle によって変換されたページ (->オリジナル) /