2019年6月14日，驚聞老家的堂弟自殺，悲痛之余，有一些感想。

我一直覺得，人一輩子，總會有走不出來的困境，想要自殺的沖動，也許大部分人沒有突破動物的求生本能，隨著時間就慢慢平復(fù)了，而另一些人，即便是時間也無法讓他的悲痛消除，在困境中愈演愈烈，走向絕境。

機器學(xué)習(xí)中有一個經(jīng)典問題，如何解決梯度下降算法的局部最小值。

timg.jpg

梯度下降算法，帶入到生活中，我想可以這么理解：人會對日常中接觸到的事情嘗試找到最優(yōu)解，過程是不斷迭代的：嘗試一下，根據(jù)反饋做調(diào)整，再嘗試一下，直到找到最優(yōu)解。

陷阱就在這里。

梯度下降算法往往會陷入局部最小值（Local Minima），在局部最小值，迭代的信息會告訴你，周圍沒有比這更低的點了，這就是最優(yōu)解，而實際上，這遠不是全局最優(yōu)解（Global Minima）。

而處在局部最小值點的人，就陷入了生活的困境。他們掙扎、困頓，不斷的與周圍的事物迭代試圖找到最優(yōu)解，而他接觸到的信息則不斷告訴他，你已經(jīng)走投無路了。就好像籠中困獸以頭戧壁，做的越多，越絕望。

好消息是，研究表明，局部最小值往往僅存在于低維空間中，對于高維空間，局部最小值要求在每一個維度上都是最小值，這種概率非常低。舉個例子：你生活中接觸到的事情就男（女）朋友、工作，結(jié)果有一天分手同時被裁了，于是你陷入了生活的困境。但是如果你生活中除了這些還有很多其他的事情，那同時都喪的概率就低多了。

所以，關(guān)鍵在于，當(dāng)你陷入了生活的困境，其實是你接觸到的信息讓你誤以為自己陷入了無法自拔的困境，這時候，你也許需要換個環(huán)境，接觸點不同的信息。