MapReduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。 概念"Map(映射)"和"Reduce(歸約)",是它們的主要思想,都是從函數(shù)式編程語言里借來的...
MapReduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。 概念"Map(映射)"和"Reduce(歸約)",是它們的主要思想,都是從函數(shù)式編程語言里借來的...
Java HotSpot 虛擬機是 Java SE 平臺的一個核心組件。它實現(xiàn) Java 虛擬機規(guī)范,并作為 Java 運行時環(huán)境中的一個共享庫來提供。作為 Java 字節(jié)碼...
JVM(Java Virtual Machine Java 虛擬機)是一種用于計算設備的規(guī)范,基于這套規(guī)范,許多團隊開發(fā)了多種不同的虛擬機實現(xiàn),目前使用范圍最廣的是從 Sun...
大數(shù)據(jù)平臺通過將所有數(shù)據(jù)整合起來,充分分析與挖掘數(shù)據(jù)的內(nèi)在價值,為業(yè)務部門提供數(shù)據(jù)平臺,數(shù)據(jù)產(chǎn)品與數(shù)據(jù)服務。大數(shù)據(jù)平臺接入的數(shù)據(jù)中可能包括很多用戶的隱私和敏感信息,如用戶在酒...
Scrapy吸引人的地方在于它是一個框架,任何人都可以根據(jù)需求方便的修改。它也提供了多種類型爬蟲的基類,如BaseSpider、sitemap爬蟲等,最新版本又提供了web2...
Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類H...
學習整理: 理解kerberos在spark/hadoop體系下的應用: 說道安全,可能是整個大數(shù)據(jù)體系中最晦澀難懂的一部分了(確實看了很多也不能很快上手),會涉及到系統(tǒng)中組...
Linux是一套免費使用和自由傳播的類Unix操作系統(tǒng),是一個基于POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統(tǒng)。它能運行主要的UNIX工具軟件、應用程...
學習整理: zookeeper有哪些應用,HA熱備、分布式鎖、集中配置用到了zookeeper的什么? ZooKeeper是一個高可用的分布式數(shù)據(jù)管理與系統(tǒng)協(xié)調(diào)框架?;趯...
Flume是Cloudera提供的一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng),F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);同時,F(xiàn)lume...
學習整理: hbase運行原理,rowkey的作用? HBase 是一個高可靠、高性能、面向列、可伸縮的分布式存儲系統(tǒng),利用Hbase技術可在廉價PC Server上搭建 大...
Redis 是一個 Key-Value 存儲系統(tǒng)。和 Memcached 類似,它支持存儲的 value 類型相對更多,包括 string(字符串)、 list(鏈表)、 s...
@IT人故事會 謝謝~
恩,你至少看起來是專業(yè)的!想到專業(yè),我反正第一個反應就是professional,和這個那些個看不懂摸不著的專業(yè)名詞,特別是那些關于我們工作中的很多引文詞匯,存在便有意義,專業(yè)詞匯一方面方便了業(yè)內(nèi)人士...