踩坑 Spring Cloud Hystrix 线程池队列配置

背景:

有一次在生产环境,突然出现了很多笔还款单被挂起,后来排查原因,发现是内部系统调用时出现了Hystrix调用异常。在开发过程中,因为核心线程数设置的比较大,没有出现这种异常。放到了测试环境,偶尔有出现这种情况,后来在网上查找解决方案,网上的方案是调整maxQueueSize属性就好了,当时调整了一下,确实有所改善。可没想到在生产环境跑了一段时间后却又出现这种了情况,此时我第一想法就是去查看maxQueueSize属性,可是maxQueueSize属性是设置值了。当时就比较纳闷了,为什么maxQueueSize属性不起作用,后来通过查看官方文档发现Hystrix还有一个queueSizeRejectionThreshold属性,这个属性是控制队列最大阈值的,而Hystrix默认只配置了5个,因此就算我们把maxQueueSize的值设置再大,也是不起作用的。两个属性必须同时配置

先看一下正确的Hystrix配置姿势。

application.yml:

hystrix:
  threadpool:
    default:
      coreSize: 200 #并发执行的最大线程数,默认10
      maxQueueSize: 1000 #BlockingQueue的最大队列数,默认值-1
      queueSizeRejectionThreshold: 800 #即使maxQueueSize没有达到,达到queueSizeRejectionThreshold该值后,请求也会被拒绝,默认值5

接下来编写一个测试类,来验证几种错误配置,看看会出现什么情况。

测试类代码(A调用方):


/**
 * @Author: XiongFeng
 * @Description:
 * @Date: Created in 11:12 2018/6/11
 */
public class RepaymentHelperTest extends FundApplicationTests {

    @Autowired
    RepaymentHelper repaymentHelper;
    @Autowired
    private RouterFeign routerFeign;

    @Test
    public void hystrixTest() throws InterruptedException {

        for (int i = 0; i < 135; i++) {
            new Thread(new Runnable() {
                @Override
                public void run() {
                    job();
                }
            }).start();
        }

        Thread.currentThread().join();
    }

    public void job() {
        String repaymentNo = "xf1002";
        String transNo = "T4324324234";
        String reqNo = "xf1002";
        String begintime = "20180831130030";
        String endtime = "20180831130050";

        TransRecQueryReqDto transRecQueryReqDto = new TransRecQueryReqDto();
        transRecQueryReqDto.setTransNo(transNo);
        transRecQueryReqDto.setBeginTime(begintime);
        transRecQueryReqDto.setEndTime(endtime);
        transRecQueryReqDto.setReqNo(reqNo);

        Resp<List<TransRecDto>> queryTransRecListResp = routerFeign.queryTransRec(new Req<>(repaymentNo, "2018080200000002", null, null, transRecQueryReqDto));

        System.out.println(String.format("获取结果为:【%s】", JsonUtil.toJson(queryTransRecListResp)));
    }
}
  • 这个测试类的作用就是创建135个线程,通过RouterFeign类并发请求B服务方,看看请求结果是否出现异常。

Feign调用代码:


@FeignClient(value = "${core.name}", fallbackFactory = RouterFeignBackFactory.class, path = "/router")
public interface RouterFeign {

    /**
     * 代扣结果查询
     * @param transRecQueryReqDtoReq
     * @return
     */
    @PostMapping("/queryTransRec")
    Resp<List<TransRecDto>> queryTransRec(@RequestBody Req<TransRecQueryReqDto> transRecQueryReqDtoReq);

}
  • 这个类,就是通过Feign方式去调用B服务方的客户端

服务提供方代码(B服务方):

/**
 * @Author: XiongFeng
 * @Description:
 * @Date: Created in 16:04 2018/5/24
 */
@Api("还款服务")
@RefreshScope
@RestController
@RequestMapping("/router")
public class TestController {

    private static Logger logger = LoggerFactory.getLogger(TestController.class);

    // 计数器
    private static AtomicInteger count = new AtomicInteger(1);

    @ApiOperation(value = "代扣结果查询")
    @PostMapping("/queryTransRec")
    Resp<List<TransRecDto>> queryTransRec(@RequestBody Req<TransRecQueryReqDto> transRecQueryReqDtoReq) throws InterruptedException {
        System.out.println(String.format("查询支付结果......计数: %s", count.getAndAdd(1)));
        Thread.sleep(500);
        return Resp.success(RespStatus.SUCCESS.getDesc(), null);
    }
    
  • 这个类的作用,就是一个服务提供方,计数并返回结果。

下面我们看一下几种错误的配置。

案例一(将核心线程数调低,最大队列数调大一点,但是队列拒绝阈值设置小一点):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 1000
      queueSizeRejectionThreshold: 20
此时的结果:
image
  • 左窗口是B服务方,右窗口是A调用方。从结果可以看出,调用135次,成功32次左右,其余线程全部抛异常。
案例二(将核心线程数调低,最大队列数调小一点,但是队列拒绝阈值设置大一点):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 15
      queueSizeRejectionThreshold: 2000
此时的结果:
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@7d6d472b rejected from java.util.concurrent.ThreadPoolExecutor@17f8bcb7[Running, pool size = 3, active threads = 3, queued tasks = 15, completed tasks = 0]
image
  • 左窗口是B服务方,右窗口是A调用方。从结果可以看出,调用135次,成功25次左右,其余线程全部抛异常。。
案例三(将核心线程数调低,最大队列数调大一点,但是队列拒绝阈值不设置值):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 1500
此时的结果:
java.util.concurrent.RejectedExecutionException: Rejected command because thread-pool queueSize is at rejection threshold.
image
  • 左窗口是B服务方,右窗口是A调用方。此时的结果和案例一的情况一样,调用135次,成功47次左右,其余线程全部抛异常。报错跟案例一一样
案例四(将核心线程数调低,最大队列数不设值,但是队列拒绝阈值设置的比较大):
hystrix:
  threadpool:
    default:
      coreSize: 10
      queueSizeRejectionThreshold: 1000
此时的结果:
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@23d268ea rejected from java.util.concurrent.ThreadPoolExecutor@66d0e2f4[Running, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 0]
    at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063)
    at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
    at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1379)
    at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:112)
image
  • 左窗口是B服务方,右窗口是A调用方。此时的结果和案例二的情况一样,调用135次,成功10次左右,其余线程全部抛异常。报错跟案例二一样

下面来看一看正确的配置案例

案例一:将核心线程数调低,最大队列数和队列拒绝阈值的值都设置大一点):
hystrix:
  threadpool:
    default:
      coreSize: 10
      maxQueueSize: 1500
      queueSizeRejectionThreshold: 1000
此时的结果:
image
  • 左窗口是B服务方,右窗口是A调用方。此时的结果就完全正常了,并发请求了135次,全部成功!
结论:官方默认队列阈值只有5个, 如果要调整队列,必须同时修改maxQueueSize和queueSizeRejectionThreshold属性的值,否则都会出现异常!
参考文档:

Spring Hystrix 官方文档

原文地址:http://www.seifon.cn/2018/12/08/踩坑-Spring-Cloud-Hystrix-线程池队列配置/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,802评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,109评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,683评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,458评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,452评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,505评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,901评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,550评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,763评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,556评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,629评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,330评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,898评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,897评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,140评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,807评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,339评论 2 342