描述：
客戶端程序報錯：PHP Fatal error:??Uncaught exception 'Exception' with message 'Connect failed: Can't connect to MySQL server on '172.16.1.134' (99)' in
排查：
服務(wù)端：
1.檢查配置文件：/etc/my.cnf | grep connection 發(fā)現(xiàn)max_connection為300，當(dāng)前與mysql實例最大的建立連接為300
2.檢查配置文件：/etc/my.cnf | grep timeout 發(fā)現(xiàn)connection_timeout為8，當(dāng)前mysql等待握手結(jié)果的時間為8s，如果長于8s，建立請求就會失敗。
3.查看mysql的error_log：/data/local/mysql/var/mysql.err 沒有任何相關(guān)信息
4.看RDS所在VM連接狀態(tài)：netstat -anp|grep 3306 ,有大量連接處于time_wait，也就是說，根據(jù)TCP協(xié)議，服務(wù)器端主動關(guān)閉連接的一方，會處于time_wait。服務(wù)端對資源進(jìn)行回收，而client沒有連接回收機(jī)制（客戶端不在向服務(wù)端傳輸數(shù)據(jù)，超過一定時間后，就會由服務(wù)端發(fā)起連接結(jié)束）
客戶端：
1.應(yīng)用錯誤日志：應(yīng)用錯誤日志：less error.log
[31-Jul-2017 13:36:50 Etc/GMT-8] PHP Fatal error:??Uncaught exception 'Exception' with message 'Connect failed: Can't connect to MySQL server on '172.16.1.134' (99)' in /data/apps/shangzuo/www/include/library/DB.class.php:47
Stack trace:
#0 /data/apps/shangzuo/www/include/library/DB.class.php(23): DB->__construct()
#1 /data/apps/shangzuo/www/include/library/DB.class.php(82): DB::Instance()
#2 /data/apps/shangzuo/www/include/library/DB.class.php(471): DB::EscapeString('df1060b5d6aabaf...')
#3 /data/apps/shangzuo/www/include/library/DB.class.php(151): DB::BuildCondition(Array)
#4 /data/apps/shangzuo/www/include/library/Table.class.php(200): DB::LimitQuery('t_weixin_login_...', Array)
#5 /data/apps/shangzuo/www/boss/logincheck.php(10): Table::Fetch('t_weixin_login_...', 'df1060b5d6aabaf...', 'lgch_uid')
#6 {main}
thrown in /data/apps/shangzuo/www/include/library/DB.class.php on line 47
2.login邏輯檢查: less ?logincheck.php沒有連接回收
if ($check["lgch_returnuid"]) {
if($INI['system']['brandkey'] == 'www'){
$res=array("tag" => "combine","mbuid"=>$check['lgch_returnuid']);
}
$login_waiter = checklogin($check['lgch_returnuid']);
if($login_waiter["tag"] != 'fail'){
$waiter = DB::LimitQuery("t_shop_waiter_info ta inner join t_sys_group_list tb on ta.wait_uid=tb.gpls_tguid inner join t_shop_job_info tc on tb.gpls_gpuid=tc.sjob_gpuid", array(
"condition" => "wait_uid='".$login_waiter["waiter"]['wait_uid']."' and sjob_class=1",
"order" => "order by sjob_type desc",
"one" => true
));
....
}
$res = array("tag"=>'brandchoose','htmlstr'=>$str);
}
}
}
結(jié)論
1.用戶的php程序，和mysql后端的tcp連接，用戶沒有正常的釋放，就會報“can't connect to mysql server onxxx.xxx”錯誤
2.由于客戶端沒有連接回收機(jī)制，只能借助于操作系統(tǒng)回收TCP連接，需要增加回收機(jī)制
處理結(jié)果：
1.客戶端：
php與mysql建立完連接后，mysql.close()進(jìn)行連接回收
2.服務(wù)端：
time_wait等待對端確認(rèn)關(guān)閉連接，可在操作系統(tǒng)層面，優(yōu)化tcp的time_wait，開啟重啟重用和回收（vim /etc/sysctl.conf 然后執(zhí)行sysctl -p）
net.ipv4.tcp_syncookies = 1??//開啟SYN Cookies。當(dāng)出現(xiàn)SYN等待隊列溢出時，啟用cookies來處理，可防范少量SYN攻擊，默認(rèn)為0，表示關(guān)閉；
net.ipv4.tcp_tw_reuse = 1????//開啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接，默認(rèn)為0，表示關(guān)閉；
net.ipv4.tcp_tw_recycle = 1??//開啟TCP連接中TIME-WAIT sockets的快速回收
net.ipv4.tcp_retries2 = 5 ?//已建立通訊狀況﹐需要進(jìn)行多少次重試。默認(rèn)值為15，相當(dāng)于13-30分鐘，這個值根據(jù)目前的網(wǎng)絡(luò)設(shè)置,適當(dāng)改小。服務(wù)端主動關(guān)閉的等待時長
net.ipv4.tcp_fin_timeout = 10 //設(shè)置鏈接超時時間，默認(rèn)時60s，降低Time_wait占用時長
net.ipv4.tcp_syn_retries = 1 ?//新建連接，內(nèi)核要發(fā)送多少個 SYN 連接請求才決定放棄
3.Mysql配置
修改connection_timeout時長，將timeout增大，提升三次握手因網(wǎng)絡(luò)原因?qū)е碌慕⑦B接異常。
規(guī)避方法：
1.養(yǎng)成良好的編程習(xí)慣，建立連接使用完成后，要及時回收
2.服務(wù)端要開啟自動回收機(jī)制，避免過多的time_wait連接
