Spark并行計算

2了解Spark的擴(kuò)展知識首先定義一個名為points的緩存RDD，這是在文本文件上執(zhí)行map轉(zhuǎn)換之后得到的，即將每個文本行解析為一個Point對象。然后在points上反復(fù)執(zhí)行map和reduce操作，每次迭代時通過對當(dāng)前w的函數(shù)進(jìn)行求和來計算梯度。7.1小節(jié)我們將看到這種在內(nèi)存中緩存points的方式，比每次迭代都從磁盤文件裝載數(shù)據(jù)并進(jìn)行解析要快得多。已經(jīng)在Spark中實現(xiàn)的迭代式機(jī)器學(xué)習(xí)算法還有：kmeans（像邏輯回歸一樣每次迭代時執(zhí)行一對map和reduce操作），期望最大化算法（EM，兩個不同的map/reduce步驟交替執(zhí)行），交替最小二乘矩陣分解和協(xié)同過濾算法。Chu等人提出迭代式MapReduce也可以用來實現(xiàn)常用的學(xué)習(xí)算法。

3

通過指定參數(shù)打開SparkshellMaster我們也可以指定參數(shù)打開交互式SparkShell，SparkShell是一個修改版的ScalaShell。通過交互式Shell可以幫助我們理解架構(gòu)。#./bin/spark-shell--masterlocal[N]--master：指定master節(jié)點的URL，我們也可以使用local參數(shù)去使用單線程模式執(zhí)行本地的SparkShell，或者使用local[N]去執(zhí)行N個本地線程的SparkShell。例如，我們使用兩個線程打開本地的SparkShell：#./bin/spark-shell--masterlocal[2]執(zhí)行后，我們可以看到修改版的ScalaShell，如圖：

4

通過指定參數(shù)打開PythonShellMaster和ScalaShell一樣，我們也可以指定參數(shù)運行一個PythonShell，例如，我們運行一個3個線程的PythonShell，命令如下：#./bin/pyspark--masterlocal[3]運行結(jié)果如圖：

5

通過Python去運行圓周率Master我們同樣可以通過Python去運行圓周率的例子：#./bin/spark-submitexamples/src/main/python/pi.py10如圖：

6

Scala安裝與配置Master配置spark-env.sh#cdspark-1.5.2/conf/修改spark-env.sh文件#cpspark-env.sh.templatespark-env.sh編輯spark-env.sh添加以下內(nèi)容：exportJAVA_HOME=/usr/java/jdk1.7.0_67/exportSPARK_MASTER_IP=192.168.200.129exportSPARK_WORKER_MEMORY=1gexportHADOOP_CONF_DIR=/opt/hadoop_resources/hadoop-2.7.0/etc/hadoop修改slaves文件在master節(jié)點進(jìn)行配置#