我們經(jīng)常談到的所謂的??數(shù)據(jù)挖掘是通過大量的數(shù)據(jù)集進行排序，自動化識別趨勢和模式并且建立相關性的過程。那現(xiàn)在市面的數(shù)據(jù)公司都是通過各種各樣的途徑來收集海量的信息，這些信息來自于網(wǎng)站、公司應用、社交媒體、移動設備和不斷增長的物聯(lián)網(wǎng)。
比如我們現(xiàn)在每天都在使用的搜索引擎。在自然語言處理領域，有一種非常流行的算法模型，叫做詞袋模型，即把一段文字看成一袋水果，這個模型就是要算出這袋水果里，有幾個蘋果、幾個香蕉和幾個梨。搜索引擎會把這些數(shù)字記下來，如果你想要蘋果，它就會把有蘋果的這些袋子給你。
當我們在網(wǎng)上買東西或是看電影時，網(wǎng)站會推薦一些可能符合我們偏好的商品或是電影，這個推薦有時候還挺準。事實上，這背后的算法，是在數(shù)你喜歡的電影和其他人喜歡的電影有多少個是一樣的，如果你們同時喜歡的電影超過一定個數(shù)，就把其他人喜歡、但你還沒看過的電影推薦給你。搜索引擎和推薦系統(tǒng)在實際生產(chǎn)環(huán)境中還要做很多額外的工作，但是從本質(zhì)上來說，它們都是在數(shù)數(shù)。
當數(shù)據(jù)量比較小的時候，可以通過人工查閱數(shù)據(jù)。而到了大數(shù)據(jù)時代，幾百TB甚至上PB的數(shù)據(jù)在分析師或者老板的報告中，就只是幾個數(shù)字結論而已。在數(shù)數(shù)的過程中，數(shù)據(jù)中存在的信息也隨之被丟棄，留下的那幾個數(shù)字所能代表的信息價值，不抵其真實價值之萬一。過去十年，許多公司花了大價錢，用上了物聯(lián)網(wǎng)和云計算，收集了大量的數(shù)據(jù)，但是到頭來卻發(fā)現(xiàn)得到的收益并沒有想象中那么多。
所以說我們現(xiàn)在正處于“數(shù)字化一切”的時代。人們的所有行為，都將以某種數(shù)字化手段轉(zhuǎn)換成數(shù)據(jù)并保存下來。每到新年，各大網(wǎng)站、App就會給用戶推送上一年的回顧報告，比如支付寶會告訴用戶在過去一年里花了多少錢、在淘寶上買了多少東西、去什么地方吃過飯、花費金額超過了百分之多少的小伙伴；航旅縱橫會告訴用戶去年做了多少次飛機、總飛行里程是多少、去的最多的城市是哪里；同樣的，最后讓用戶知道他的行程超過了多少小伙伴。這些報告看起來非常酷炫，又冠以“大數(shù)據(jù)”之名，讓用戶以為是多么了不起的技術。
實際上，企業(yè)對于數(shù)據(jù)的使用和分析，并不比我們每年收到的年度報告更復雜。已經(jīng)有30多年歷史的商業(yè)智能，看起來非?？犰?，其本質(zhì)依然是數(shù)數(shù)，并把數(shù)出來的結果畫成圖給管理者看。只是在不同的行業(yè)、場景下，同樣的數(shù)字和圖表會有不同的名字。即使是最近幾年炙手可熱的大數(shù)據(jù)處理技術，也不過是可以數(shù)更多的數(shù)，并且數(shù)的更快一些而已。
在大數(shù)據(jù)處理過程中會用到那些算法呢？
1、A* 搜索算法——圖形搜索算法，從給定起點到給定終點計算出路徑。其中使用了一種啟發(fā)式的估算，為每個節(jié)點估算通過該節(jié)點的較佳路徑，并以之為各個地點排定次序。算法以得到的次序訪問這些節(jié)點。因此，A*搜索算法是較佳優(yōu)先搜索的范例。
2、集束搜索(又名定向搜索，Beam Search)——較佳優(yōu)先搜索算法的優(yōu)化。使用啟發(fā)式函數(shù)評估它檢查的每個節(jié)點的能力。不過，集束搜索只能在每個深度中發(fā)現(xiàn)最前面的m個最符合條件的節(jié)點，m是固定數(shù)字——集束的寬度。
3、二分查找(Binary Search)——在線性數(shù)組中找特定值的算法，每個步驟去掉一半不符合要求的數(shù)據(jù)。
4、分支界定算法(Branch and Bound)——在多種最優(yōu)化問題中尋找特定最優(yōu)化解決方案的算法，特別是針對離散、組合的最優(yōu)化。
5、Buchberger算法——一種數(shù)學算法，可將其視為針對單變量較大公約數(shù)求解的歐幾里得算法和線性系統(tǒng)中高斯消元法的泛化。
6、數(shù)據(jù)壓縮——采取特定編碼方案，使用更少的字節(jié)數(shù)(或是其他信息承載單元)對信息編碼的過程，又叫來源編碼。
7、Diffie-Hellman密鑰交換算法——一種加密協(xié)議，允許雙方在事先不了解對方的情況下，在不安全的通信信道中，共同建立共享密鑰。該密鑰以后可與一個對稱密碼一起，加密后續(xù)通訊。
8、Dijkstra算法——針對沒有負值權重邊的有向圖，計算其中的單一起點最短算法。
9、離散微分算法(Discrete differentiation)。
10、動態(tài)規(guī)劃算法(Dynamic Programming)——展示互相覆蓋的子問題和最優(yōu)子架構算法
11、歐幾里得算法(Euclidean algorithm)——計算兩個整數(shù)的較大公約數(shù)。最古老的算法之一，出現(xiàn)在公元前300前歐幾里得的《幾何原本》。
12、期望-較大算法(Expectation-maximization algorithm，又名EM-Training)——在統(tǒng)計計算中，期望-較大算法在概率模型中尋找可能性較大的參數(shù)估算值，其中模型依賴于未發(fā)現(xiàn)的潛在變量。EM在兩個步驟中交替計算，第一步是計算期望，利用對隱藏變量的現(xiàn)有估計值，計算其較大可能估計值;第二步是較大化，較大化在第一步上求得的較大可能值來計算參數(shù)的值。
13、快速傅里葉變換(Fast Fourier transform，F(xiàn)FT)——計算離散的傅里葉變換(DFT)及其反轉(zhuǎn)。該算法應用范圍很廣，從數(shù)字信號處理到解決偏微分方程，到快速計算大整數(shù)乘積。
14、梯度下降(Gradient descent)——一種數(shù)學上的最優(yōu)化算法。
15、哈希算法(Hashing)。
16、堆排序(Heaps)。
17、Karatsuba乘法——需要完成上千位整數(shù)的乘法的系統(tǒng)中使用，比如計算機代數(shù)系統(tǒng)和大數(shù)程序庫，如果使用長乘法，速度太慢。該算法發(fā)現(xiàn)于1962年。
18、LLL算法(Lenstra-Lenstra-Lovasz lattice reduction)——以格規(guī)約(lattice)基數(shù)為輸入，輸出短正交向量基數(shù)。LLL算法在以下公共密鑰加密方法中有大量使用：背包加密系統(tǒng)(knapsack)、有特定設置的RSA加密等等。
19、較大流量算法(Maximum flow)——該算法試圖從一個流量網(wǎng)絡中找到較大的流。它優(yōu)勢被定義為找到這樣一個流的值。較大流問題可以看作更復雜的網(wǎng)絡流問題的特定情況。較大流與網(wǎng)絡中的界面有關，這就是較大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一個流網(wǎng)絡中的較大流。
20、合并排序(Merge Sort)。
21、牛頓法(Newton's method)——求非線性方程(組)零點的一種重要的迭代法。
22、Q-learning學習算法——這是一種通過學習動作值函數(shù)(action-value function)完成的強化學習算法，函數(shù)采取在給定狀態(tài)的給定動作，并計算出期望的效用價值，在此后遵循固定的策略。Q-leanring的優(yōu)勢是，在不需要環(huán)境模型的情況下，可以對比可采納行動的期望效用。
23、兩次篩法(Quadratic Sieve)——現(xiàn)代整數(shù)因子分解算法，在實踐中，是目前已知第二快的此類算法(僅次于數(shù)域篩法Number Field Sieve)。對于110位以下的十位整數(shù)，它仍是最快的，而且都認為它比數(shù)域篩法更簡單。
24、RANSAC——是“RANdom SAmple Consensus”的縮寫。該算法根據(jù)一系列觀察得到的數(shù)據(jù)，數(shù)據(jù)中包含異常值，估算一個數(shù)學模型的參數(shù)值。其基本假設是：數(shù)據(jù)包含非異化值，也就是能夠通過某些模型參數(shù)解釋的值，異化值就是那些不符合模型的數(shù)據(jù)點。
25、RSA——公鑰加密算法。較早的適用于以簽名作為加密的算法。RSA在電商行業(yè)中仍大規(guī)模使用，大家也相信它有足夠安全長度的公鑰。
26、Sch?nhage-Strassen算法——在數(shù)學中，Sch?nhage-Strassen算法是用來完成大整數(shù)的乘法的快速漸近算法。其算法復雜度為：O(N log(N) log(log(N)))，該算法使用了傅里葉變換。
27、單純型算法(Simplex Algorithm)——在數(shù)學的優(yōu)化理論中，單純型算法是常用的技術，用來找到線性規(guī)劃問題的數(shù)值解。線性規(guī)劃問題包括在一組實變量上的一系列線性不等式組，以及一個等待較大化(或最小化)的固定線性函數(shù)。
28、奇異值分解(Singular value decomposition，簡稱SVD)——在線性代數(shù)中，SVD是重要的實數(shù)或復數(shù)矩陣的分解方法，在信號處理和統(tǒng)計中有多種應用，比如計算矩陣的偽逆矩陣(以求解最小二乘法問題)、解決超定線性系統(tǒng)(overdetermined linear systems)、矩陣逼近、數(shù)值天氣預報等等。
29、求解線性方程組(Solving a system of linear equations)——線性方程組是數(shù)學中最古老的問題，它們有很多應用，比如在數(shù)字信號處理、線性規(guī)劃中的估算和預測、數(shù)值分析中的非線性問題逼近等等。求解線性方程組，可以使用高斯—約當消去法(Gauss-Jordan elimination)，或是柯列斯基分解( Cholesky decomposition)。
30、Strukturtensor算法——應用于模式識別領域，為所有像素找出一種計算方法，看看該像素是否處于同質(zhì)區(qū)域( homogenous region)，看看它是否屬于邊緣，還是是一個頂點。
31、合并查找算法(Union-find)——給定一組元素，該算法常常用來把這些元素分為多個分離的、彼此不重合的組。不相交集(disjoint-set)的數(shù)據(jù)結構可以跟蹤這樣的切分方法。合并查找算法可以在此種數(shù)據(jù)結構上完成兩個有用的操作：
查找：判斷某特定元素屬于哪個組。
合并：聯(lián)合或合并兩個組為一個組。
32、維特比算法(Viterbi algorithm)——尋找隱藏狀態(tài)最有可能序列的動態(tài)規(guī)劃算法，這種序列被稱為維特比路徑，其結果是一系列可以觀察到的事件，特別是在隱藏的Markov模型中。
