細(xì)數(shù)一下,大數(shù)據(jù)架構(gòu)目前比較熱的詞包括: * 數(shù)據(jù)湖、湖倉(cāng)一體 * 批流合一、實(shí)時(shí)計(jì)算 * 存算分離、存儲(chǔ)虛擬化 * 交易和分析融合,OLAP、HTAP、HSAP 等等,基本...
細(xì)數(shù)一下,大數(shù)據(jù)架構(gòu)目前比較熱的詞包括: * 數(shù)據(jù)湖、湖倉(cāng)一體 * 批流合一、實(shí)時(shí)計(jì)算 * 存算分離、存儲(chǔ)虛擬化 * 交易和分析融合,OLAP、HTAP、HSAP 等等,基本...
前言 由上篇博客我們知道了SparkSql整個(gè)解析流程如下: sqlText 經(jīng)過(guò) SqlParser 解析成 Unresolved LogicalPlan; analyze...
明確需求之后,算法平臺(tái)的設(shè)計(jì)就比較明確了,業(yè)界可以參考的例子包括facebook的fblearner和Uber的Michelangelo(如下圖)。 可以看到,算法平臺(tái)包含幾...
接著上次的數(shù)據(jù)流水線(xiàn),從數(shù)據(jù)收集到處理,屬于傳統(tǒng)大數(shù)據(jù)基礎(chǔ)架構(gòu)的范疇;從特征處理到算法訓(xùn)練,再到算法打分,就是AI系統(tǒng)的特有部分了,這一段的流水線(xiàn)要想高效運(yùn)轉(zhuǎn),需要解決算法和...
上面提到的大數(shù)據(jù)基礎(chǔ)架構(gòu),解決了數(shù)據(jù)的收集和存儲(chǔ)問(wèn)題,并且提供了實(shí)時(shí)和離線(xiàn)兩種計(jì)算能力,接下來(lái)就需要考慮數(shù)據(jù)的使用,從原始的、初步結(jié)構(gòu)化的數(shù)據(jù),生成決策需要的知識(shí)、統(tǒng)計(jì)信息和...
昨天看到一個(gè)分享,來(lái)自前quora cto目前在醫(yī)療領(lǐng)域創(chuàng)業(yè)的Xavier,下圖一頁(yè)講到了各個(gè)AI應(yīng)用的共同點(diǎn),結(jié)合香帥金融課對(duì)數(shù)據(jù)驅(qū)動(dòng)的解釋?zhuān)梢钥偨Y(jié)如下: 1. 使用大量...
文因互聯(lián)是技術(shù)路線(xiàn)相對(duì)透明的一個(gè)公司,創(chuàng)始人鮑捷在知識(shí)圖譜的研究和系統(tǒng)的方面分享很多。 公司的技術(shù)路線(xiàn) (1)首先構(gòu)建金融標(biāo)準(zhǔn)件,提升各個(gè)環(huán)節(jié)自動(dòng)化的水平。另外一個(gè)方面,通過(guò)...
治愈系
為什么那些重要的工作輪不到你唐糖的年關(guān)一向都是兵荒馬亂,因?yàn)樗荋R。年終離職大潮將至,HR們這時(shí)候最忙,對(duì)觀望的要穩(wěn)定人心,對(duì)確定走的得招兵買(mǎi)馬,還有各種計(jì)劃各種報(bào)表各種總結(jié)各種會(huì)議。 晚上團(tuán)隊(duì)開(kāi)完月...