IntelliJ IDEA 開發環境

建立視覺化的 IDE 與編譯環境

環境設定

OS: ubuntu 16.04

預先安裝: JAVA、Python、Scala、SBT，請參考: https://spark-nctu.gitbook.io/spark/~/edit/drafts/-LVOFMS4dLpEWdkNY_y_/spark-de-jing-jian-li

設定目標: 建立 IDEA 開發環境，可以以 Scala 寫程式，並以 SBT 編譯執行

安裝 IntelliJ IDEA

下載 IntelliJ IDEA，選擇 Community: https://www.jetbrains.com/idea/download/#section=linux

解壓縮，並執行 idea.run

jxke@jxke-Spark:~/Downloads$ cd idea-IC-183.4886.37/
jxke@jxke-Spark:~/Downloads/idea-IC-183.4886.37$ cd bin/
jxke@jxke-Spark:~/Downloads/idea-IC-183.4886.37/bin$ ./idea.sh

執行後，會出現圖形化介面 ，記得要安裝 Scala 的 plug-in:

select Scala plug-in

建立 Scala 專案和 SBT 編譯環境

選擇建立新的專案 (project)，選擇 Scala -> sbt (如下圖所示)

create project - 1
create project -2

接著設定 SBT 的環境參數:

注意: 原本設定中，應該是: scalaVersion := "2.12.8"，但是 Scala 2.12 似乎和 Spark 有相容性問題，因此要改回 2.11 的版本。請參考: https://stackoverflow.com/questions/41531852/spark-word-count-error-in-intellij-due-to-scala-2-12-1

更改完設定後，會出現是否要更新環境變數的視窗 (如下圖)，選擇 "Enable Auto-Import"，若是第一次執行會耗費很久的時間。

sbt update message

選擇 New -> Scala class，貼上範例程式 (SparkPi)，如下:

編譯後執行，可以看到以下結果:

執行結果
PreviousSpark 的編譯環境建立NextSpark 語言選擇: Scala vs. python

Last updated

Was this helpful?