線上問(wèn)題
最近我們線上的一個(gè)工程，每次在發(fā)布重啟應(yīng)用的時(shí)候都會(huì)報(bào)如下錯(cuò)誤：
com.alibaba.druid.pool.DataSourceClosedException:dataSource already closed at Fri Mar 20 17:36:26 CST 2020
顯然是應(yīng)用在shutdown時(shí)的處理有問(wèn)題，導(dǎo)致數(shù)據(jù)庫(kù)連接在dubbo服務(wù)執(zhí)行完畢前就關(guān)閉而導(dǎo)致的，屬于優(yōu)雅停機(jī)相關(guān)的問(wèn)題。
什么是優(yōu)雅停機(jī)？
在web服務(wù)（Http協(xié)議）上線的時(shí)候，會(huì)通過(guò)kill命令殺死進(jìn)程,這個(gè)時(shí)候在已經(jīng)accept的請(qǐng)求還在線程池里面，我們要保證這部分請(qǐng)求正常處理并且返回?cái)?shù)據(jù)之后再停機(jī).
dubbo服務(wù)（Tcp協(xié)議）也是同樣的道理.
優(yōu)雅停機(jī)包括：線程池的優(yōu)雅關(guān)閉，數(shù)據(jù)庫(kù)連接池的關(guān)閉，數(shù)據(jù)源的關(guān)閉，kafka連接的關(guān)閉....
本地再現(xiàn)
@PostMapping("/test")
@ResponseBody
public Object test() throws InterruptedException {
// 模擬服務(wù)執(zhí)行耗時(shí)
Thread.sleep(5000);
return supplierMapper.selectByUuid("SEL000000625");
}
我們發(fā)起/test請(qǐng)求，五秒內(nèi)點(diǎn)擊ide內(nèi)的關(guān)閉按鈕（向java進(jìn)程發(fā)送kill命令），成功復(fù)現(xiàn)問(wèn)題：
問(wèn)題根源探究
java程序的優(yōu)雅退出通過(guò)JVM的關(guān)閉鉤子來(lái)實(shí)現(xiàn)，即：
Runtime.addShutDownHook
我們的服務(wù)基于SpringBoot+Dubbo+數(shù)據(jù)庫(kù)連接池的，他們當(dāng)然都注冊(cè)了關(guān)閉鉤子：
那么問(wèn)題來(lái)了，為什么框架已經(jīng)對(duì)關(guān)閉做了處理的情況下，仍然會(huì)出現(xiàn)報(bào)錯(cuò)呢？我們來(lái)看jdk對(duì)addShutdownHook的一段注釋：
從中我們可以看到，jvm在關(guān)閉時(shí)，是并發(fā)的，不指定順序的執(zhí)行所有關(guān)閉鉤子，那么對(duì)我們的服務(wù)來(lái)說(shuō)，就會(huì)出現(xiàn)一種情況，dubbo在進(jìn)入優(yōu)雅停機(jī)狀態(tài)中的時(shí)候已經(jīng)停止接收新的業(yè)務(wù)請(qǐng)求，然而已經(jīng)接收的請(qǐng)求需要繼續(xù)處理，但是有可能此時(shí)Spring的優(yōu)雅關(guān)閉已經(jīng)執(zhí)行完成，導(dǎo)致在處理請(qǐng)求的時(shí)候出現(xiàn)異常（比如DataSource已經(jīng)close了）。
解決方案
知道了問(wèn)題的根源，解決起來(lái)也就是水到渠成了，思路就是Spring容器等待dubbo優(yōu)雅關(guān)閉執(zhí)行完成以后再執(zhí)行bean的@PreDestory方法（銷毀bean），我們通過(guò)spring應(yīng)用生命周期監(jiān)聽接口來(lái)實(shí)現(xiàn)：
public interface ApplicationListener<E extends ApplicationEvent> extends EventListener {
void onApplicationEvent(E var1);
}
ContextClosedEvent是在所有bean執(zhí)行PreDestory之前發(fā)出的事件廣播.我們?cè)谶@個(gè)事件回調(diào)中執(zhí)行Dubbo的優(yōu)雅關(guān)閉，就不會(huì)出現(xiàn)數(shù)據(jù)源已經(jīng)關(guān)閉的異常.
新增代碼配置如下：
@Bean
DubboShutdownListener dubboShutdownListener() {
return new DubboShutdownListener();
}
public static class DubboShutdownListener implements ApplicationListener, PriorityOrdered {
@Override
public void onApplicationEvent(ApplicationEvent event) {
if (event instanceof ApplicationStartedEvent) {
Runtime.getRuntime().removeShutdownHook(DubboShutdownHook.getDubboShutdownHook());
log.info("dubbo default shutdown hook removed,will be managed by spring");
} else if (event instanceof ContextClosedEvent) {
log.info("start destroy dubbo on spring close event");
DubboShutdownHook.getDubboShutdownHook().destroyAll();
log.info("dubbo destroy finished");
}
}
@Override
public int getOrder() {
return 0;
}
}
再次嘗試一開始的操作，發(fā)現(xiàn)沒有報(bào)錯(cuò)，關(guān)機(jī)前的請(qǐng)求也能正常返回?cái)?shù)據(jù)，目的達(dá)成。
