?????????????????????? Led燈壞掉引發(fā)的思考
兩年前新買的房子裝修時候，為了以后不用頻繁的換燈泡大部分的光源都采用LED燈，led燈公認的壽命比較長，包裝上都宣稱至少用10000小時。不曾想上周一個月黑風高的晚上，我一個人在空蕩蕩的房間里看書，為了節(jié)能環(huán)保家里只亮著一盞房間的吸頂led燈，一陣風吃過瞬間燈滅了，克服著心里的恐懼，抹黑過去重新開關了下燈結果證實燈壞了。
還好裝修的時候留一手，我打開了備用的日關燈。說好的10000小時呢，心里萬馬奔騰，我拿了把椅子,卸下了led燈罩（藍翔學校必備技能）發(fā)現led燈還能發(fā)出微弱的光，于是我就斷定led燈的整流器壞了卸下來，等到周末帶著整流器就出門找店家買了。一路波折要么沒有，要么都和led燈片一起賣的。大約逛了5-6家，一個好心的老板提醒了我：‘’小伙子，這個東西一般都不會壞，肯定是led燈片或者線路壞了。又找了幾家都沒法測試我的整流器是否壞掉。做水電的二個提醒我說：“回家直接把客房那個拆下來接上這個看看就知道了，于是乎我測試出來了是led板子壞了。出去買了個帶整流器的led燈板（捆綁銷售不單賣）換上終于解決了。耗了大半天的時間做了一堆無用功，換下來的led燈板我仔細觀察表明并沒有燒掉的痕跡，通電后有微弱的關說明led燈主體沒壞。上網搜索發(fā)現led燈只接上火線的時候會發(fā)微弱的光。于是我就仔細的觀察電路，電路板很簡單所有的燈泡以下面的形式串接
仔細觀察發(fā)現有一組燈泡的兩個里面有一個完全不亮，輕按后整個線路都在閃，于是我找了個東西按住這個燈，接電后除了這組的第二個燈全部都亮起來了。用東西固定住這個燈后，led燈重新恢復了活力。老婆夸我果然不愧是藍翔畢業(yè)的。
晚上躺在床上回想整件事情的經過，發(fā)現很多事情原理都有互通之處，大致歸納以下幾點：
留一手：（注重備份）
無論是日常生活，還是架構設計，備份的設計顯的尤為重要，通俗的場景你在上廁所的時候才發(fā)現沒紙是一件多么痛苦的事情。工作上的情景更加比比皆是，前段時間公司的內部環(huán)境全部使用vm虛擬機集群搭建，公司沒有郵件系統(tǒng)，于是我就提議搭建個郵件系統(tǒng)，之前沒有自己搭建的經歷，于是各種查資料，花了九牛二虎之力用postfix+dovecot搭建起來了郵件服務器。為了管理方便我又搭設了postfixadmin。正打算試用推廣的時候沒想到虛擬機集群重啟后異常，我的郵件服務器掛了起不來了。搭建的過程沒想過備份問題，導致虛擬機掛掉無法重啟之后我的所有的工作付諸一炬。只能硬著頭皮重新開始了搭建工作，還好搭建的過程資料有保存，于是我又花了一些時間把郵件服務器重新搭建起來了。這次我再虛擬機上做了鏡像。同時，為了防止集群性的故障事件我又把搭建好的軟件和數據庫表結構全部備份到我的工作機上。根據墨菲定律，可能發(fā)生的事情一定會發(fā)生。果然升級內存的時候多次重啟集群，集群的大部分虛擬機掛掉，文件丟失。還好郵件服務器有備份集群恢復后用了大概1小時時間恢復了我的服務。
找痛點（發(fā)現問題根源）
問題發(fā)生之后，需要確認問題的所在，只根據表面現象很容易被迷惑，找錯方向浪費了解決問題，恢復原狀的寶貴時間。由于我根據自己的初步觀察就斷定了是整流器的故障導致浪費半天時間跑了5-6家店差點還買了實際沒有壞的整流器?？梢姏]有找到痛點會在時間和金錢上都有極大的浪費。我不禁聯想到之前做某個游戲業(yè)務的時候，有一次版本發(fā)布不久發(fā)生了一個故障，用戶登入后頻繁掉線?？捶掌鞫说呢撦d和網絡情況都正常，自己登入客戶端查看，也發(fā)生了同樣的故障，查看網絡，ping值和網絡延時都正常，同機房機架的其他業(yè)務沒有任何問題，idc的監(jiān)控測試也顯示網絡情況正常。服務端抓包發(fā)現收到的消息是服務端在三次握手后就沒有收到來自客戶端的消息導致超時連接退出。于是依照以往的經驗判斷是網絡鏈路或者反外掛加殼導致的問題。于是就找網絡平臺的人以及反外掛的人一起排查問題，時間轉瞬即逝用戶的情緒越來越激動，反復的修改維護公告，論壇已經一片罵聲。結果兩邊排查都沒有問題，找服務端客戶端重新抓包梳理財發(fā)現是程序的bug導致任務包的邏輯有問題導致的客戶端無法正常連接或者頻繁退出。歷時3個小時才解決了這個問題。沒有找到痛點永遠也只能在做無用功費事費力，就像現在人人都在談敏捷，如果沒有依據各個崗位各個公司的具體情況盲目套用只能是費事費力而且效果往往差強人意，很多以失敗告終。
雙機熱備就夠了嗎？（架構設計中的單點消除）
我們看前一個led燈片實際上也做了雙機熱備，可是每一個設備其實都是一個故障點，每組的燈實際上是線路上的單點。后面我買了新的led光源就考慮到了這一點，所有的燈都以并聯的方式進行連接避免了架構上的耦合性
我們在做架構設計的時候，除了要考慮雙機熱備以外還要考慮冷熱備結合，以及物理機房機架的分離，架構上盡量消除耦合性，減少單模塊的故障引起的其他模塊的異常。
細節(jié)決定成敗
觀察故障的led燈片以及新買的燈片我發(fā)現故障的燈片上的焊接點形狀大小相去甚遠，制作工藝上有很大的差別，導致led光源還沒壞的時候焊點就接觸不良了。另外在架構設計的時候考慮的不周，才導致局部的異常整體掛掉。有時候我們追求效率的時候很容易忽略質量，導致后面要么引發(fā)故障，要么返工重來，坑了自己也坑了別人。特別是一些維護或者發(fā)布的操作，手一抖就容易引發(fā)慘重的問題。追求效率更多的是從工具的源頭的優(yōu)化，而不是犧牲質量的情況下盲目追求。
