歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux編程 >> Linux編程

使用IntelliJ IDEA編寫Scala在Spark中運行

使用IntelliJ IDEA編寫Scala在Spark中運行

使用Scala寫一個測試代碼:

object Test {
def main(args: Array[String]): Unit = {
println("hello world")
    }
}

就把這個Test視為類,項目組織結構如:

然後設置編譯選項:

然後在項目文件夾下面可以找到編譯好的Jar包:

復制到Spark指定的目錄下(自己建的):

啟動Spark,然後提交任務:

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar

從上面控制台中已經能夠看到執行的輸出信息,同樣,我們也可在web管理器中查看任務信息:

接下來的事情就只剩下編寫Scala程序實現自己的算法了。

Scala編程完整中文版 PDF  http://www.linuxidc.com/Linux/2015-08/121033.htm

快學Scala (中文完整掃描版) PDF  http://www.linuxidc.com/Linux/2015-08/120950.htm

Ubuntu 安裝 2.10.x版本的Scala  http://www.linuxidc.com/Linux/2015-04/116455.htm

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安裝Spark0.8.0詳細記錄 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark簡介及其在Ubuntu下的安裝使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安裝Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能對比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安裝與學習 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 並行計算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Scala 的詳細介紹:請點這裡
Scala 的下載地址:請點這裡

Copyright © Linux教程網 All Rights Reserved