目录
前言
本文主要学习 Linux内核编程 ,结合 Visual Studio 2019 进行跨平台编程,内容包括线程池介绍以及线程池封装
一、线程池介绍
线程池基本概念
- 线程池 是预先创建线程的一种技术 (服务器真正意义上实现高并发就必须用线程池)
- 举个例子:生活中的水池,是装东西的容器,用来装水的,线程池当然就是拿来装线程的
- 线程池在任务还没有到来之前,创建一定数量的线程,放入空闲队列中,这些线程都是处于阻塞状态,不消耗CPU,但占用较小的内存空间
- 当新任务到来时,缓冲池选择一个空闲线程,把任务传入此线程中运行,如果缓冲池已经没有空闲线程,则新建若干个线程,当系统比较空闲时,大部分线程都一直处于暂停状态,线程池自动销毁一部分线程,回收系统资源
线程池组成部分
- 线程池类
维护一个任务队列
维护一个线程池调度器指针
- 线程池调度器 (本身也是一个线程)
负责线程调度
负责任务分配
- 工作者线程类 (线程池中的线程类的封装)
- 任务队列
- 任务接口 (实际的业务逻辑都继承自该接口)
线程池工作原理
根据服务器的需要,来设置线程的数量,可能是10条、20条、30条,根据服务器的承载,10条不代表只能做10个任务,总有任务做的快,有的做的慢,可能可以完成20个任务
举个例子:如上动图所示,当我们服务器收到一个注册业务,是一个服务器要执行的任务,它会进入到任务队列,队列先进先出,顺次执行,任务会唤醒空闲列表当中的一个空闲的线程,接到任务之后,空闲线程会从空闲列表中消失,进入到忙碌列表,去完成对应的任务,完成任务后,从忙碌列表中出去,到空闲列表继续等待新任务
如果,所有的线程都在忙,都在做任务,这时候登录进来,先进入任务队列,会创建一个新的线程来接这个任务,当所有线程都完成任务,回到空闲列表后,新创建的线程销毁,留下原先设置的对应数量线程(类似,保留老员工,把实习生裁员)
- 队列: 先进先出
- 空闲列表(链表): 不定长(有的时候可能需要创建新线程来接任务)
- 忙碌列表(链表): 不定长(有的时候可能需要创建新线程来接任务)
话不多说,咱们上号,封装一下线程池相关函数,来进行测试
二、线程池代码封装
main.cpp
- 主函数,设置10条线程,来执行30个任务
#include #include #include “ThreadPool.h”#include “ChildTask.h”using namespace std;int main(){ThreadPool* pool = new ThreadPool(10);//10条线程for (int i = 0; i pushTask(task);}while (1) {}return 0;}
ThreadPool.h
- 对线程池进行设计,核心包括 最大、最小线程数 , 忙碌列表 , 空闲列表 , 任务队列 , 互斥量 , 条件变量 ,以及 线程执行函数
#pragma once#include //队列#include //链表头文件#include //线程头文件#include //find查找#include #include “BaseTask.h”using namespace std;#define MIN_NUM 10//最小值 默认参数class ThreadPool{public:ThreadPool(const int num = MIN_NUM);~ThreadPool();//判断任务队列是否为空bool QueueIsEmpty();//线程互斥量加锁解锁void Lock();void Unlock();//线程条件变量等待和唤醒void Wait();void WakeUp();//添加任务到任务队列void pushTask(BaseTask* task);//从任务队列移除任务BaseTask* popTask(BaseTask* task);//从忙碌回到空闲 工作结束void MoveToIdle(pthread_t id);//从空闲到忙碌 工作开始void MoveToBusy(pthread_t id);//线程执行函数static void* RunTime(void* vo);private:int threadMinNum;//最大线程数量int threadMaxNum;//最小线程数量queuetaskQueue;//任务队列listbusyList;//线程忙碌列表listidleList;//线程空闲列表pthread_mutex_t mutex;//互斥量:做锁pthread_cond_t cond;//条件变量:让线程等待或者唤醒};
ThreadPool.cpp
- 对函数进行参数的设置,核心在于线程执行函数上的设置,在工作前和工作完设置打印,方便我们进行观察
#include “ThreadPool.h”ThreadPool::ThreadPool(const int num){this->threadMinNum = num;//条件变量、互斥量初始化pthread_mutex_init(&this->mutex, NULL);pthread_cond_init(&this->cond, NULL);pthread_t id;//线程num条创建for (int i = 0; i threadMinNum; i++){//线程创建pthread_create(&id, NULL, RunTime, this);this->idleList.push_back(id);//线程存入空闲列表}}ThreadPool::~ThreadPool(){}//任务队列是否为空bool ThreadPool::QueueIsEmpty(){return this->taskQueue.empty();}//线程加锁void ThreadPool::Lock(){pthread_mutex_lock(&this->mutex);}//线程解锁void ThreadPool::Unlock(){pthread_mutex_unlock(&this->mutex);}//线程等待void ThreadPool::Wait(){pthread_cond_wait(&this->cond, &this->mutex);}//线程唤醒void ThreadPool::WakeUp(){pthread_cond_signal(&this->cond);}//添加任务到任务队列void ThreadPool::pushTask(BaseTask* task){Lock();taskQueue.push(task);Unlock();WakeUp();}//从任务队列移除任务BaseTask* ThreadPool::popTask(BaseTask* task){task = this->taskQueue.front();//从队列头取this->taskQueue.pop();//删除队列头return task;}//从忙碌回到空闲 工作结束void ThreadPool::MoveToIdle(pthread_t id){list::iterator iter;iter = find(busyList.begin(), busyList.end(), id);if (iter != busyList.end()){//从忙碌移除this->busyList.erase(iter);//添加到空闲this->idleList.push_back(*iter);//this->idleList.push_back(id)}}//从空闲到忙碌 工作开始void ThreadPool::MoveToBusy(pthread_t id){list::iterator iter;iter = find(idleList.begin(), idleList.end(), id);if (iter != idleList.end()){//从空闲移除this->idleList.erase(iter);//添加到忙碌this->busyList.push_back(*iter);//this->idleList.push_back(id)}}//线程执行函数void* ThreadPool::RunTime(void* vo){//拿到执行线程自己的id 因为后面要处理忙碌和空闲的情况pthread_t id = pthread_self();//确保主线程与子线程分离,子线程结束后,资源自动回收pthread_detach(id);//线程参数获取ThreadPool* argThis = (ThreadPool*)vo;while (true){argThis->Lock();//如果任务队列为空 线程则一直等待 //知道任务队列不为空则会被pushTask函数唤醒线程while (argThis->QueueIsEmpty()){argThis->Wait();}argThis->MoveToBusy(id);cout << "工作前 任务数:" <taskQueue.size() << endl;cout << "工作前 busy:" <busyList.size() << endl;cout << "工作前 idle:" <idleList.size() << endl;cout << "———————————————–" Unlock();//任务工作task->working();//工作结束argThis->Lock();argThis->MoveToIdle(id);argThis->Unlock();cout << "工作完 任务数:" <taskQueue.size() << endl;cout << "工作完 busy:" <busyList.size() << endl;cout << "工作完 idle:" <idleList.size() << endl;cout >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>” << endl;}return nullptr;}
ChildTask.h
- 子类配置
#pragma once#include “BaseTask.h”#include #include //sleep头文件using namespace std;class ChildTask :public BaseTask{public:ChildTask(char* data);~ChildTask();void working();};
ChildTask.cpp
- 子类设置延时模拟做任务的时间比较长
#include “ChildTask.h”ChildTask::ChildTask(char* data) :BaseTask(data)//参数传给父类{}ChildTask::~ChildTask(){}void ChildTask::working(){cout <data << "正在执行……" << endl;sleep(3);//延时3秒 (模拟做业务的时间比较长)}
BaseTask.h
- 基类设置结构体来装业务
#pragma once#include class BaseTask{public:BaseTask(char* data);~BaseTask();char data[1024]; //装业务virtual void working() = 0;//虚函数};
BaseTask.cpp
- 基类配置
#include “BaseTask.h”BaseTask::BaseTask(char* data){bzero(this->data, sizeof(this->data));//清空memcpy(this->data, data, sizeof(data));}BaseTask::~BaseTask(){delete this->data;//清除释放}
三、测试效果
- 通过Linux连接VS进行跨平台编程,我们可以清晰的看到有几个线程是在做任务,几个线程是空闲的,整个过程就很清晰直观的展现出来了,如下动图所示:
- 10条线程做30个任务的全部记录,如下如所示:
四、总结
创建线程池的好处
- 线程池的使用,能让我们搭建的高并发服务器真正意义上做到高并发
- 降低资源消耗
通过重复利用自己创建的线程降低线程创建和销毁造成的消耗
- 提高响应速度
当任务到达时,任务可以不需要等待线程创建和销毁就能立即执行
- 提高线程的可管理性
线程式稀缺资源,如果无限的创建线程,不仅会消耗资源,还会降低系统的稳定性
使用线程池可以进行统一分配,调优和监控