摘要：Spark，局部敏感哈希，矢量檢索，推薦系統(tǒng) 使用背景 最近有個(gè)需求做百萬(wàn)級(jí)別實(shí)體的相關(guān)推薦，離線場(chǎng)景算完入庫(kù)接口調(diào)用，數(shù)倉(cāng)和計(jì)算引擎基于Hive和Spark，一開(kāi)始設(shè)...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Spark LSH 近似最近鄰矢量檢索：LinkedInAttic ScANNS項(xiàng)目學(xué)習(xí)和工程使用 -
LSH局部敏感哈希：原理，Python手撕LSH實(shí)現(xiàn)embedding近鄰檢索摘要：局部敏感哈希，Python，矢量檢索，推薦系統(tǒng) 單獨(dú)記錄一下LSH算法的原理，結(jié)合代碼深入理解一下，因?yàn)檫@個(gè)算法的調(diào)參對(duì)結(jié)果影響極大，不懂原理就不會(huì)調(diào)參，導(dǎo)致最終效果不...
-
Catboost-在線預(yù)測(cè)
生產(chǎn)環(huán)境很多時(shí)候是需要實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)的，即離線訓(xùn)練好模型后將模型保存為模型文件，然后在線服務(wù)將模型加載到內(nèi)存 引入pom.xml 樣例代碼 需要注意的地方 catboos...
-
Catboost-算法原理
總結(jié)一下catboost關(guān)鍵的知識(shí)點(diǎn) Target Statistics 常規(guī)處理類別特征的方法是one-hot，但是也可以將類別特征轉(zhuǎn)化為和label相關(guān)的數(shù)值特征，也就是...
-
Python集合操作
列表(List)、映射(Dict)、集合(Set)是python的三種基本數(shù)據(jù)結(jié)構(gòu)，日常的工作中需要熟練掌握它們的基本操作函數(shù) List 添加元素 尾部添加元素：append...
-
Hive常用函數(shù)
假設(shè)現(xiàn)在有一個(gè)訂單表(order)，里面有3個(gè)字段：uid、item_id(商品id)、price、ts(時(shí)間戳) uid item_id price tsu1 i1 ...
-
【內(nèi)推】字節(jié)跳動(dòng)-Android研發(fā)(實(shí)習(xí))
全部崗位:https://job.toutiao.com/s/eeVPfFs[https://job.toutiao.com/s/eeVPfFs] Android開(kāi)發(fā)實(shí)習(xí)生 ...
-
【內(nèi)推】字節(jié)跳動(dòng)-iOS研發(fā)(實(shí)習(xí))
全部崗位: https://job.toutiao.com/s/eeV5Uba[https://job.toutiao.com/s/eeV5Uba] iOS研發(fā)實(shí)習(xí)生 — 抖...
-
【內(nèi)推】字節(jié)跳動(dòng)-抖音搜索
全部崗位: https://jobs.bytedance.com/experienced/position?keywords=%E6%90%9C%E7%B4%A2&categ...
-
本專題由前程無(wú)憂網(wǎng)（www.51job.com）校園招聘部官方設(shè)立。歡迎大家投稿。凡收錄本專題的文章均有機(jī)會(huì)出現(xiàn)在我們的公眾號(hào)上，我們的微信公眾號(hào)是：51job校園招聘。轉(zhuǎn)發(fā)時(shí)，我們會(huì)注明出處。并對(duì)文章進(jìn)行打賞，若在我們公眾號(hào)閱讀過(guò)萬(wàn)，還有更多打賞。另外，您還有機(jī)會(huì)：1、成為51job校園招聘公眾號(hào)特約作者。2、51job高校俱樂(lè)部成員并可參加線下活動(dòng)。3、世界500強(qiáng)企業(yè)的內(nèi)推機(jī)會(huì)。4、名企校招公眾號(hào)特約編輯。5、與職場(chǎng)達(dá)人面對(duì)面交流。聯(lián)系我們：微信號(hào)xy51job
-
hexo主題bug修復(fù)
問(wèn)題描述 在使用snippet主題時(shí)出現(xiàn)首頁(yè)頁(yè)面分頁(yè)功能出現(xiàn)異常，樣式如下: 首頁(yè)時(shí)最后多出一個(gè)按鈕 尾頁(yè)時(shí)前面多出一個(gè)按鈕 解決過(guò)程 step 1. 查看頁(yè)面源代碼定位出問(wèn)...
-
Mac配置JAVA_HOME
由于一些原因重新配置電腦JAVA環(huán)境，發(fā)現(xiàn)與有些不同所以記錄以備以后使用。jdk官網(wǎng)下載地址。 查看java版本 ,沒(méi)有下載//在終端輸入下面命令來(lái)查看是否有java環(huán)境有則...
-
java 依賴包沖突，使用maven的Shade方式解決
java 依賴包沖突，使用maven的Shade方式解決 [TOC] 問(wèn)題描述 程序中同時(shí)使用了hadoop工具包與ElasticSearch工具導(dǎo)致jar包。程序報(bào)錯(cuò)： j...
-
-
hive的查詢注意事項(xiàng)以及優(yōu)化總結(jié)
Hive是將符合SQL語(yǔ)法的字符串解析生成可以在Hadoop上執(zhí)行的MapReduce的工具。使用Hive盡量按照分布式計(jì)算的一些特點(diǎn)來(lái)設(shè)計(jì)sql，和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)有區(qū)別，...
