亚洲啪啪视频,午夜传媒十四区精品,先锋影音资源在线婷婷

一鄉(xiāng)二里共三夫子不識四書五經(jīng)六義竟敢教七八九子十分大膽！
十室九貧湊得八兩七錢六分五毫四厘尚且三心二意一等下流

spark

前言

這里，不談spark原理，作用，使用場景等，只是一個spark與java打通的一個過程。看似簡單，整整花了哥兩天的時間，版本號的坑，服務(wù)器的坑等等，頭脹的能飄起來_{！按照我下面說的環(huán)境和步驟去做，保證你99%能一次跑過，因為我是一邊寫此篇一邊在新的虛擬機配置。一切都ok}

環(huán)境

名稱	版本號
Linux	CentOS Linux release 7.0.1406 (Core)
jdk	1.8.0_121 OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)
scala	Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL
spark	spark-1.6.2-bin-hadoop2.6

環(huán)境部署(超詳細)

最好把當(dāng)前Linux的鏡像庫文件更換掉，這里我用的是163的傳送門講解得很詳細

卸掉默認的jdk版本

[root@localhost ~]# rpm -qa|grep jdk
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

得到目前jdk的版本，然后刪除

yum -y remove java java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

然后安裝下載好的jdk，用到的軟件都放在了文末，或者自己去下載或者去各自的官網(wǎng)下載

tar -xvzf jdk-8u121-linux-x64.tar.gz

解壓好之后，創(chuàng)建個軟連接，方便以后更改版本

ln -sf /usr/local/software/jdk1.8.0_121/ /usr/local/jdk

按照此方法分別對scala和spark操作，配置后結(jié)果如下

.
├── bin
├── etc
├── games
├── include
├── jdk -> /usr/local/software/jdk1.8.0_121
├── lib
├── lib64
├── libexec
├── sbin
├── scala -> /usr/local/software/scala-2.10.4
├── share
├── software
├── spark -> /usr/local/software/spark-1.6.2-bin-hadoop2.6
└── src

然后將其分別添加到系統(tǒng)的全局變量

vi /etc/profile

在文件的最末端添加下面代碼，注意格式

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

最后一定要執(zhí)行下面命令，作用就是即時生效

source /etc/profile

然后就可以查看版本號了

java -version
scala -version

到此，spark的環(huán)境就部署好了，我這邊代碼依賴管理用的是maven，還需要配置下maven環(huán)境，
這里我直接用的yum安裝了

yum install maven

等待安裝完畢，在改一下maven的中央倉庫鏡像地址，否咋，spark需要的幾個jar包會下載到你怕為止.
這里maven的地址可以通過mvn -version去查看

Maven home: /usr/share/maven
Java version: 1.8.0_121, vendor: Oracle Corporation
Java home: /usr/local/software/jdk1.8.0_121/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-123.el7.x86_64", arch: "amd64", family: "unix"

都給你列出來了233333
然后修改mirrors

 vi /usr/share/maven/conf/settings.xml

找到節(jié)點<mirrors/>
添加阿里云的鏡像地址

<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>

保存一下，ok

啟動spark服務(wù)

在啟動之前，還需要做些處理
在spark的conf中，修改下配置文件

cp spark-env.sh.template spark-env.sh
vi spark-env.sh.template

再開頭添加環(huán)境

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala

我也不知道這里為什么也要配置。。。
回到spark根目錄

sbin/start-master.sh

在主機網(wǎng)頁輸入地址http://yourip:8080/ 訪問,如果訪問不到，說明虛擬機的防火墻打開了，這里要關(guān)掉

service firewalld stop

再次刷新頁面，ok，如下

spark服務(wù)

這里還要繼續(xù)啟動worker

bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost.localdomain:7077

再刷新下頁面，ok，如下

worker

編寫Java代碼

這里說一下，spark支持java、scala和python，無論用什么都只是對業(yè)務(wù)的封裝，當(dāng)然了原配是scala，我這里使用的java去實現(xiàn)一個計數(shù)程序，（目前網(wǎng)上有關(guān)spark的教程的第一個demo都是計數(shù)程序，我簡稱spark為“hello wordcount”）,我用maven來管理依賴關(guān)系，這個版本號一定要 注意！注意！注意！
本地的要和虛擬機里配置的要一毛一樣！??！
代碼很簡單，怎么計數(shù)自己去實現(xiàn)

public class WorldCount {
    private static final Pattern SPACE = Pattern.compile(" ");

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("vector's first spark app");
        JavaSparkContext sc = new JavaSparkContext(conf);
        //C:\Users\bd2\Downloads
        JavaRDD<String> lines = sc.textFile("/opt/blsmy.txt").cache();;
        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

            public Iterable<String> call(String s) throws Exception {
                return Arrays.asList(SPACE.split(s));
            }

            private static final long serialVersionUID = 1L;
        });

        JavaPairRDD<String, Integer> ones = words.mapToPair(new PairFunction<String, String, Integer>() {

            private static final long serialVersionUID = 1L;

            public Tuple2<String, Integer> call(String s) {
                return new Tuple2<String, Integer>(s, 1);
            }
        });

        JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() {

            private static final long serialVersionUID = 1L;

            public Integer call(Integer i1, Integer i2) {
                return i1 + i2;
            }
        });

        List<Tuple2<String, Integer>> output = counts.collect();
        for (Tuple2<?, ?> tuple : output) {
            System.out.println(tuple._1() + ": " + tuple._2());
        }

        sc.close();
    }
}

注意這里沒有.setMaster(),這個參數(shù)在虛擬機執(zhí)行的時候通過手動配置
再來就是依賴配置文件pom，我已經(jīng)親測，可以直接拿過去用

<properties>
        <scala.version>2.10.4</scala.version>
        <spark.version>1.6.2</spark.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>com.googlecode.json-simple</groupId>
            <artifactId>json-simple</artifactId>
            <version>1.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-launcher_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.4</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.specs</groupId>
            <artifactId>specs</artifactId>
            <version>1.2.5</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.ansj</groupId>
            <artifactId>ansj_seg</artifactId>
            <version>5.1.1</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.3</version>
                <configuration>
                    <appendAssemblyId>false</appendAssemblyId>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass>WorldCount</mainClass><!--man方法入口-->
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>assembly</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

打jar包的時候，我建議將src和pom上傳到虛擬機，在虛擬機里打包，因為打成jar包后大概有上百兆大小，我是在虛擬機打包的,如下

[root@localhost co]# ll
total 8
-rw-r--r--. 1 root root 3401 Apr 14 13:47 pom.xml
-rw-r--r--. 1 root root 2610 Apr 14 16:35 sparkjar.zip
drwxr-xr-x. 4 root root   28 Apr 14 09:00 src
[root@localhost co]# mvn package

第一次打包的時候可能會用到十幾分鐘的時間，因為需要用到的包太多了。打包成功之后，記住對應(yīng)jar包地址

提交任務(wù)給spark

我這里下載了英文版的《巴黎圣母院》作為解析文本，并放在了/opt/目錄下

bin/spark-submit --master spark://localhost.localdomain:7077 --class WorldCount /usr/local/co/target/spark.jar-1.0-SNAPSHOT.jar

沒有特殊情況的話，結(jié)果會輸出在屏幕上，部分如下

Djali!: 2
faintly: 7
bellow: 1
prejudice: 1
singing: 15
Pierre.??: 1
incalculable: 1
defensive,: 1
slices: 1
niggardly: 1
Watch: 2
silence,: 14
water.??: 1
inhumanly: 1
17/04/14 16:59:35 INFO SparkUI: Stopped Spark web UI at http://192.168.22.129:4040

到此一個spark與java程序徹底打通了。。。

后續(xù)，我會使用spark對公司項目進行改造，將數(shù)據(jù)處理交給spark去做。我會一一記錄分享出來

總結(jié)

環(huán)境部署的要正確，版本號要統(tǒng)一
spark啟動的順序
sbin/start-master.sh # 啟動服務(wù)
bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost.localdomain:7077 # 啟動worker
bin/spark-submit --master spark://localhost.localdomain:7077 --class WorldCount /usr/local/code/target/spark.jar-1.0-SNAPSHOT.jar # 提交任務(wù)

名稱	地址
用到的軟件	http://pan.baidu.com/s/1skN5NS5 密碼：ufhk
Java計數(shù)程序	http://download.csdn.net/download/qqhjqs/9814285
《巴黎圣母院》	鏈接：http://pan.baidu.com/s/1qXZJedI 密碼：vljg

碼字不易，看客給個茶錢~

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

Spark初體驗(步驟超詳細)

Spark初體驗(步驟超詳細)

前言

環(huán)境

環(huán)境部署(超詳細)

啟動spark服務(wù)

編寫Java代碼

提交任務(wù)給spark

總結(jié)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

Spark初體驗(步驟超詳細)

前言

環(huán)境

環(huán)境部署(超詳細)

啟動spark服務(wù)

編寫Java代碼

提交任務(wù)給spark

總結(jié)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av