豆豆Pool 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
豆豆Pool 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
豆豆Pool 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
豆豆Pool 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
豆豆Pool 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 GPL
开发语言 Google Go 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织
地区 国产
投 递 者 ppmoon
适用人群 未知
收录时间 2018-07-11

软件简介

豆豆Pool — GOLANG简单的工作池

本repo是一个简单的golang工作池,仅供交流和学习使用。golang工作池的作用是可以限制goroutine的启动数量。

use

    //NewTask是放到工作池当中运行的函数。使用的时候需要先实例化他
	w := pool.NewTask(func() error { fmt.Println(time.Now());return nil })
	//实例化工作池
	p := pool.NewPool(3)
	//这里启用另外一个goroutine向worker当中写入,不然会出现all goroutines are asleep,需要从管道中获得一个数据,而这个数据必须是其他goroutine线放入管道的
	go func() {
		for {
			p.Worker <- w //把需要运行的函数依次放入工作池。
		}
	}()
	p.Run()

讨论

为什么需要工作池?

一般情况下,goroutine在操作系统上只要你的硬件资源够它是可以无限启动的。但是如果出现大规模的启动goroutine的情况会造成大量占用系统资源,我们知道普通的部署一个golang应用的时候操作系统不仅仅会运行golang程序还有其他辅助的程序运行,所以理论上讲工作池的目的就是为了限制golang的启动数量,保证不会出现硬件计算资源溢出的情况。

实际我们真的需要工作池吗?

理论上来讲,我们其实不需要在golang层面设置工作池的。如果是网络请求大部分时候我们会使用nginx或者其他网关,中间件作为golang程序的代理,我们可以在请求访问流量进入到golang程序之前使用nginx或者其他中间件限制流量或者使用熔断机制来保证我们的golang程序不会开满goroutine造成硬件计算资源溢出的情况。 如果流量小完全没必要限制goroutine 如果流量大没有熔断机制对整个服务都是很危险的。

工作池性能的讨论

我在编写自己的工作池之前使用了很多其他的工作池,我发现工作池本身并不会提升执行效率,反而会拖慢效率,使用工作池程序执行时间大概是原来的2/3,但是有一些pool会在一定程度上节省内存,比如ants,但内存的节省我觉得更多的是在于数据结构的复用,没有大量的重复创建数据对象导致的内存节省。

goroutine是否需要像其他编程语言一样使用I/O多路复用?

根据我在网上可以搜索到的资料,以及我自己的理解,golang本身是有一个pool用来复用goroutine的,所以我们并不需要自己再去实现一个多路复用的功能,反而会拖慢程序。

其他

以上论调并没有严谨的验证过,只是个人遇到的情况分享,希望和大家共同讨论学习,共同进步。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2014/05/21 19:14

pool

#include<stdlib.h> #include<stdio.h> typedef struct block{     size_t size;     int use;     struct block * next;     char * buf; }block_t; typedef struct head{     struct head * next;     block_t * block;    }head_t; typedef struct pool{    head_t * head; }pool_t; char * block_buf(size_t * size) {     int init = 16;     whi...

0
0
发表了博客
2016/12/28 21:14

common-pool

``` package com.berchina.util.rpc.demo.socket.pool2; import java.net.InetSocketAddress; import java.net.Socket; import org.apache.commons.pool.BasePoolableObjectFactory; import org.apache.commons.pool.impl.GenericObjectPool; import org.apache.commons.pool.impl.GenericObjectPool.Config; public class ConnectionPoolFactory { private GenericObjectPool pool; public ConnectionPoolFactory(Config confi...

0
0
发表于软件架构专区
2014/06/05 21:54

About Pool Sizing

https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing

0
0
发表了博客
2018/09/12 00:00

Could not get a resource from the pool

异常描述: redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool at redis.clients.util.Pool.getResource(Pool.java:22) at com.derbysoft.jredis.longkeytest.BorrowObject.run(BorrowObject.java:22) at java.lang.Thread.run(Thread.java:662) Caused by: java.util.NoSuchElementException: Timeout waiting for idle object at org.apache.commons.pool.impl.GenericObjec...

0
0
发表了博客
2014/10/30 10:12

Thread Pool

http://www.cnblogs.com/coser/archive/2012/03/10/2389264.html

0
2
发表于软件架构专区
2015/01/27 09:40

connection pool

Append [removeAbandoned="true"] property in [resource] [removeAbandonedTimeout ] 回收被遗忘的资源

0
0
发表于AI & 大数据专区
2015/01/27 09:40

connection pool

Append [removeAbandoned="true"] property in [resource] [removeAbandonedTimeout ] 回收被遗忘的资源

0
0
发表了博客
2015/12/23 11:34

Could not get a resource from the pool

redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool   at redis.clients.util.Pool.getResource(Pool.java:22)   at com.hyjf.web.borrow.invest.InvestController.checkParam(InvestController.java:329)   at com.hyjf.web.borrow.invest.InvestController.tender(InvestController.java:126)   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)   ...

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
13 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部