智能指針是線程安全的嗎？（以shared_ptr為例） 概述 前一階段面試被別人問到了，第一反應(yīng)是和普通對象一樣，讀安全寫不安全。其實當時也沒有細想，只是當作一個八股文記錄下...
發(fā)簡信
IP屬地：澳門
-
智能指針線程安全問題
-
Hadoop streaming 問題記錄
其他用戶沒有讀權(quán)限 其他用戶訪問我的數(shù)據(jù)，發(fā)現(xiàn)出現(xiàn) Permission denied: user=, access=READ_EXECUTE, inode=，drwxr-x...
-
spark任務(wù)提交
好久時間沒有用spark了，最近工作需要，在提交spark任務(wù)的時候發(fā)現(xiàn)打jar一直很大，自己又是搞C++的，以前打jar的時候按照網(wǎng)上的提示，都是用的是在IDEA里面 Fi...
-
Spark延遲任務(wù)調(diào)度-實例分析
最近在看Spark任務(wù)調(diào)度，尤其是延遲調(diào)度這塊，翻了好多資料與博客都是發(fā)現(xiàn)延遲調(diào)度中是這樣介紹的：“在為任務(wù)分配節(jié)點時（executor），先判斷任務(wù)的最佳運行節(jié)點是否空閑，...
-
@sunnyhouse 前幾步中有對應(yīng)的鏈接地址
機器學(xué)習(xí)筆記-文本分類（四）代碼實現(xiàn)
在學(xué)習(xí)文本分類的時候發(fā)現(xiàn)主要有以下幾個步驟，借助代碼說明（代碼大多參考：機器學(xué)習(xí)算法原理與編程實戰(zhàn)，不過發(fā)現(xiàn)給的語料有些編碼問題，并且本人用的是Python3.6+windo...
-
除了停用詞的所有詞，如果想提取權(quán)值超過一定范圍的，可以自行設(shè)定吧
機器學(xué)習(xí)筆記-文本分類（三）TF-IDF
TF-IDF簡介 TF（Term Frequency）是指詞頻，就是一個詞在文本中出現(xiàn)的詞數(shù)，常用標準化處理 IDF（Inverse Document Frequency）是...
-
此處猜想了一下，如果是Shuffle過程中的ReduceTask，則其輸入RDD的 PreferredLocations 是什么呢？ 其數(shù)據(jù)來自許多host，locality levels 該是什么呢？ 如果按照延遲調(diào)度中的說法，NO_PREF沒有本地性偏好（maxLocality ！= TaskLocality.NO_PREF ），是不是ReduceTask所對應(yīng)的locality level 為NO_PREF? 不知道是否正確
Spark的位置優(yōu)先: TaskSetManager 的有效 Locality Levels
based on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages tag 上，我們可以看到這個的表...
-
Linux線程創(chuàng)建
以前都是Windows編程，一直說看看Linux下的線程編程，有空了，回顧一下吧。 頭文件 Linux下線程相關(guān)函數(shù)都在頭文件 中，該頭文件中的相關(guān)函數(shù)在專門的線程庫li...
-
vector erase 在windows與Linux下的不同
昨天面試的時候，面試官突然問到這個問題，一面懵逼，感覺一樣，回來試了一下，還真是不一樣，做個小計。STL中，關(guān)于vector rease的源碼如下（其中以清除某個位置元素函數(shù)...
-
@Pythonxy 在第一步中有鏈接
機器學(xué)習(xí)筆記-文本分類（四）代碼實現(xiàn)
在學(xué)習(xí)文本分類的時候發(fā)現(xiàn)主要有以下幾個步驟，借助代碼說明（代碼大多參考：機器學(xué)習(xí)算法原理與編程實戰(zhàn)，不過發(fā)現(xiàn)給的語料有些編碼問題，并且本人用的是Python3.6+windo...
-
Hadoop中最后一個Reduce很慢的問題
最近跑一個Hadoop程序，處理一年的log，處理的時候發(fā)現(xiàn)Map有18000多個，Reduce任務(wù)數(shù)我設(shè)置了1000個。最后半個小時過去了，所有Map都執(zhí)行完畢，就有一個R...
-
在maven那一步，添加了Scala文件夾，但是在Scala中點擊右鍵，卻沒有Scala類，Scala插件安裝過了
spark應(yīng)用開發(fā)-開發(fā)工具篇
概要 目前Spark官方提供Java,Scala,Python三種語言的API。因為Spark是用Scala開發(fā)，而Scala本身是基于JVM的語言，所以Scala和Java...
-
Hadoop 處理UTF-8與GBK轉(zhuǎn)化
最近在處理一個log時，發(fā)現(xiàn)出現(xiàn)亂碼，想起來自己要處理的log編碼是GB18030，而hadoop默認的編碼格式是UTF-8，所以需要轉(zhuǎn)化。在讀取數(shù)據(jù)的時候就是GBK轉(zhuǎn)化為U...
-
函數(shù)指針 指針 函數(shù)
指針和函數(shù)的各種結(jié)合，看到都頭疼，以前也看過這方面的，可是不久又忘了，好記性不如賴筆頭，做一下整理。先讓自己懵逼一下(類型隨意吧） int (*p)(int a,int b)...
-
前言中的URL不存在
基于Spark /Tensorflow使用CNN處理NLP的嘗試
前言 關(guān)于CNN如何和NLP結(jié)合，其實是被這篇文章指導(dǎo)入門的 。 我覺得使用CNN去處理一些NLP的分類問題，是非常不錯的。 主要好處有： CNN能自動抽取出一些高級特征，減...
