主要職責(zé):
1.負責(zé)公有云serverless spark/sql的設(shè)計架構(gòu)和開發(fā)工作
2.負責(zé)saas級別統(tǒng)一元數(shù)據(jù)服務(wù),數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)治理服務(wù)的開發(fā)架構(gòu)工作
3.負責(zé)數(shù)據(jù)湖 數(shù)據(jù)入湖模塊的設(shè)計和開發(fā)工作
任職要求:
1.精通大數(shù)據(jù)計算、存儲、tableformat、元數(shù)據(jù)方向中的一個或多個領(lǐng)域.對spark/flink/presto/alluxio,iceberg/hudi,hive metastore/a6n/metacat 其中一個或者多個開源項目有深度理解
2.熟悉cloud native相關(guān)技術(shù),k8s,etcd,contour等
3.熟悉大數(shù)據(jù)serverless相關(guān)技術(shù)
4.精通java,熟悉spring cloud