0

私は apache spark にコミットしてまだ日が浅いのですが、最近 example module から spark object (spark LR) のデバックをしたところエラーが発生してしまいました。
具体的には、以下のメッセージが表示されます。

C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\Murmur3_x86_32.java
Error:(69, 22) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.Murmur3_x86_32
C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\CountMinSketchImpl.java
Error:(220, 51) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.CountMinSketchImpl
Error:(221, 51) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.CountMinSketchImpl
C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\BloomFilterImpl.java
Error:(87, 51) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
Error:(88, 51) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
Error:(110, 51) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
Error:(111, 51) java: シンボルを見つけられません
  シンボル:   変数 Platform
  場所: クラス org.apache.spark.util.sketch.BloomFilterImpl

可能であれば、run/debug configuration の設定まで教えてもらえるとありがたいです。

1 件の回答 1

1

C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\Murmur3_x86_32.java
Error:(69, 22) java: シンボルを見つけられません
シンボル: 変数 Platform
場所: クラス org.apache.spark.util.sketch.Murmur3_x86_32

最初のエラーは、ソースコードでは以下の行です(他のエラーも同じですが)。

https://github.com/apache/spark/blob/master/common/sketch/src/main/java/org/apache/spark/util/sketch/Murmur3_x86_32.java#L69

簡単にいうと、ソースコードをビルド(コンパイル)できていません。Platformといのは、Murmur3_x86_32というクラスと同じパッケージにあるクラスPlatformのことです。このクラスのclassファイルか、それを含むjarファイルが見つけられていません。

Qiitaにご要望の記事が掲載されているようです。他にもいろいろなブログで紹介されているようでしたが、どれかを参考に最初からやり直した方が早いかもしれませんね。

Apache SparkのソースファイルをIntelliJでデバッグする
https://qiita.com/iyunoriue/items/66a563dce56afd130dab

Scala + Apache Spark をIntelliJにて開発する方法
https://qiita.com/yk-tanigawa/items/4fc86c7e0e529c3b2fa0

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。