月度存档: 二月 2016

Spark maven 编译问题(国内,已解决)

用MAVEN编译spark的时候,maven需要解决依赖,会下载大量的jar包到本地的repo。twitter是比较知名的用scala的公司,所以用scala写的spark有很多twitter贡献的jar。但是由于twitter是GFW重点墙的一个公司,所以我们用maven编译spark的时候会出现下载jars失败,最好的解决方法是手动把下载不下来的jar给手动加进mvn里面。

在spark-1.6.0中,缺少的两个包是akka-zeromq_2.10-2.3.11.jar和datanucleus-core-3.2.10.jar,它们是放在了twitter上的,所以被墙了。

手动加载方法如下:

mvn install:install-file -Dfile=akka-zeromq_2.10-2.3.11.jar -DgroupId=com.typesafe.akka -DartifactId=akka-zeromq_2.10 -Dversion=2.3.11 -Dpackaging=jar

mvn install:install-file -Dfile=datanucleus-core-3.2.10.jar -DgroupId=org.datanucleus -DartifactId=datanucleus-core -Dversion=3.2.10 -Dpackaging=jar