阿里云官網(wǎng)內(nèi)容平臺！匯聚阿里云優(yōu)質(zhì)內(nèi)容（入門、文檔、案例、最佳實踐、直播等）！如需轉(zhuǎn)載或內(nèi)容類合作，郵件yqgroup@service.aliyun.com 秒級回復(fù)！<br>
發(fā)簡信
IP屬地：上海
-
spark讀取oracle數(shù)據(jù)調(diào)優(yōu)
使用spark自帶的上下界限來分區(qū)的不均勻性導(dǎo)致傳輸慢(木桶效應(yīng)): oracle結(jié)合分頁查詢防數(shù)據(jù)傳輸傾斜: 下面這種寫法基本是串行的沒有充分利用集群的處理能力,但是感覺要...
-
scala幾個關(guān)鍵詞
public/private/protected的具體區(qū)別: 在說明這四個關(guān)鍵字之前，先對class之間的關(guān)系做一個簡單的定義，對于繼承自己的class，base class...
-
抽象數(shù)據(jù)類型ADT
抽象數(shù)據(jù)類型ADT是指一些數(shù)據(jù)以及對這些數(shù)據(jù)所進行的操作的集合。這些操作可以描述數(shù)據(jù)是怎么樣的也可以允許程序通過這些操作去修改這些數(shù)據(jù)。 不要讓ADT依賴于其存儲介質(zhì)，盡量讓...
-
解題與設(shè)計
如果你直接解決不出來提出的這個問題，那么試著先去解決一些相關(guān)的問題。你能設(shè)想出一個更容易解決的與此有關(guān)的問題嗎？一個更一般的問題？一個更特殊的問題？一個類似的問題？你能解決這...
-
架構(gòu)的典型組成部分
程序組織: 系統(tǒng)架構(gòu)首先要以概括的形式對有關(guān)系統(tǒng)做一個綜述，如果沒有綜述，要想將成千上萬的局部圖片(或十多個單獨的類)拼為一副完整的圖畫是相當(dāng)傷腦筋的，如果你不能將它們拼接起...
-
什么是軟件架構(gòu)
開發(fā)過程中的各種不同活動: 定義問題 需求分析 規(guī)劃構(gòu)建 軟件架構(gòu)(高層設(shè)計) 詳細設(shè)計 編碼與調(diào)試 單元測試 集成測試 集成 系統(tǒng)測試 保障維護 構(gòu)建活動中的基本任務(wù): 驗...
-
hadoop基本配置
core-site.xml: <configuration> <name>fs.defaultFS</name> <value>hdfs://node1:9000</valu...
-
最近也在研究這個,請問一下"spark.task.maxFailures=1, Task重試次數(shù)為1，即不重試" 那么如果這個task失敗了,豈不是沒有把這部分數(shù)據(jù)進行處理，或者說筆者是特地把這個參數(shù)設(shè)置為1，任務(wù)一旦失敗,offset其實是沒有改動的,也就是說下次還是讀取這個offerset,這部分數(shù)據(jù)還是會處理？
spark-streaming-kafka之createDirectStream模式
完整工程用例 最近一直在用directstream方式消費kafka中的數(shù)據(jù)，特此總結(jié)，整個代碼工程分為三個部分一. 完整工程代碼如下(某些地方特意做了說明, 這個代碼的部...
