Spark maven 编译问题(国内,已解决)

用MAVEN编译spark的时候,maven需要解决依赖,会下载大量的jar包到本地的repo。twitter是比较知名的用scala的公司,所以用scala写的spark有很多twitter贡献的jar。但是由于twitter是GFW重点墙的一个公司,所以我们用maven编译spark的时候会出现下载jars失败,最好的解决方法是手动把下载不下来的jar给手动加进mvn里面。

在spark-1.6.0中,缺少的两个包是akka-zeromq_2.10-2.3.11.jar和datanucleus-core-3.2.10.jar,它们是放在了twitter上的,所以被墙了。

手动加载方法如下:

mvn install:install-file -Dfile=akka-zeromq_2.10-2.3.11.jar -DgroupId=com.typesafe.akka -DartifactId=akka-zeromq_2.10 -Dversion=2.3.11 -Dpackaging=jar

mvn install:install-file -Dfile=datanucleus-core-3.2.10.jar -DgroupId=org.datanucleus -DartifactId=datanucleus-core -Dversion=3.2.10 -Dpackaging=jar

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>