時至今日，計算機軟件成為人們日常生活的必備品。能用計算機軟件提高效率的地方，幾乎已經被全部發(fā)掘過了。在這種情況下，如果想讓軟件再成百上千倍地提高我們的生活和工作效率，使用以前的那套“分析用戶需求和業(yè)務場景，進行軟件設計和開發(fā)”的做法顯然是不可能的了。
那如何走出這個困局呢？我們必須能夠發(fā)掘出用戶自己都沒有發(fā)現(xiàn)的需求，洞悉用戶自己都不了解的自己。我們要能夠預測用戶的期望，在用戶還沒想好要做什么的情況下，主動提供操作建議和選項。
怎么實現(xiàn)呢？那就是大數(shù)據(jù)技術和機器學習技術。大數(shù)據(jù)可以盡可能的記錄客戶所有數(shù)據(jù)，在海量數(shù)據(jù)中挖掘有用數(shù)據(jù)，利用AI洞悉用戶自己都不了解的自己，用戶自己都沒有發(fā)現(xiàn)的需求。大數(shù)據(jù)技術和機器學習技術要做的事就是挖掘人自身都可能不清楚喜好的事和物，因為需求的再次通過數(shù)據(jù)挖掘可以發(fā)覺未知的東西，這樣在原先的基礎之上更有效率的提高了我們的生活標準和便捷。
在未來，軟件開發(fā)將是“面向 AI 編程”，軟件的核心業(yè)務邏輯和價值將圍繞機器學習的結果也就是 AI 展開，軟件工程師的工作就是考慮如何將機器學習的結果更好地呈現(xiàn)出來，如何更好地實現(xiàn)人和 AI 的交互。
哪些領域需要大數(shù)據(jù)？
大數(shù)據(jù)與業(yè)務的結合，在每個垂直領域、每個垂直領域的細分領域，將大數(shù)據(jù)和業(yè)務場景結合起來，利用大數(shù)據(jù)發(fā)現(xiàn)新的業(yè)務增長點。一方面要掌握大數(shù)據(jù)的知識；另一方面，要掌握業(yè)務知識，甚至得成為業(yè)務領域的專家，能發(fā)現(xiàn)業(yè)務中可以和大數(shù)據(jù)結合的點，利用大數(shù)據(jù)和業(yè)務結合構建起技術驅動業(yè)務的增長點，這需要你在業(yè)務中有敏銳的觀察力和領悟力。
1、醫(yī)療健康
例如醫(yī)院會有大量X影片。使用好大數(shù)據(jù)與AI影像識別，就可以做到識別病情比醫(yī)生還準
2、教育
學校有大量教育資料與經驗，利用大數(shù)據(jù)技術進行機器學習與訓練，可以嘗試用AI外語老師或只能答題。
3、社交媒體
例如小視頻都在抖這平臺，利用大數(shù)據(jù)可以做到輿情監(jiān)控和分析
4、金融
例如大數(shù)據(jù)風控
5、環(huán)保、交通、體育等
每天都有大量攝像頭或傳感器監(jiān)測到數(shù)據(jù)啊。幾乎所有行業(yè)都可能會用到大數(shù)據(jù)
大型網(wǎng)站架構圖
當前最主流的大數(shù)據(jù)技術棧
存儲：HDFS、HBase
緩存：Redis
批處理計算：Spark
流處理計算：Flink
搜索：Elasticsearch
AI：TensorFlow
消息中間件：Kafka
為分布式應用提供一致性服務：Zookeeper
從零開始的同學們，我建議的學習路線是：Linux、Hadoop、Zookeeper、HBase、Kafka、Elasticsearch、Flink。Flink是目前最好的流處理計算框架，同時它也支持批處理，所以Spark可以放后點視情況學習吧。
后邊再學習下 Redis、TensorFlow、ngInx、Docker、K8S、Pulsar，學無止境啊。
