ストリームデータ処理の環境としてApache Sparkを使います。問題が起きるまでは、JDK11を有効にした環境で進めます。
ダウンロード
Apache Sparkのダウンロードサイトで対象とするSparkのVersionとHadoopを選択すると、項目3のダウンロードリンクのURLが変わります。クリックすると、ダウンロード元を選択するページが表示されるので、そちらからダウンロードしてください。
私がダウンロードしたファイルは
spark-3.0.0-preview-bin-hadoop3.2.tgz
でした。こちらのファイルを展開し、opt配下に環境に移動します。
$ tar xvf ./spark-3.0.0-preview-bin-hadoop3.2.tgz
$ sudo mv spark-3.0.0-preview-bin-hadoop3.2 /opt/spark
~/.bashrc
に以下の2行を追加します。
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
追加内容を反映します
$ source .bashrc
起動
スタンドアローンのマスターを立ち上げます。
$ start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark-hk-org.apache.spark.deploy.master.Master-1-hkpc.out
シェルを起動します。
$ /opt/spark/bin/spark-shell
19/12/18 13:11:04 WARN Utils: Your hostname, hkpc resolves to a loopback address: 127.0.1.1; using 10.0.1.40 instead (on interface wlp0s20f3)
19/12/18 13:11:04 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.spark.unsafe.Platform (file:/opt/spark/jars/spark-unsafe_2.12-3.0.0-preview.jar) to constructor java.nio.DirectByteBuffer(long,int)
WARNING: Please consider reporting this to the maintainers of org.apache.spark.unsafe.Platform
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
19/12/18 13:11:04 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://10.0.1.40:4040
Spark context available as 'sc' (master = local[*], app id = local-1576642268760).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 3.0.0-preview
/_/
Using Scala version 2.12.10 (OpenJDK 64-Bit Server VM, Java 11.0.5)
Type in expressions to have them evaluated.
Type :help for more information.
停止
以下のように停止します。
$ stop-master.sh
スレーブ環境
マスタを起動した状態で下記の通り操作します。
起動
start-slave.sh
停止
stop-slave.sh
コメント
[…] 前回インストールしたSparkに少しだけ触って、機能しているか見てみます。 […]