eclipse插件安装
eclipse版本：Luna Release(4.4.0)
这里需要安装有关maven和scala的插件。
m2e插件
m2e插件用于提供maven功能。直接在eclipse的Marketplace下载安装，安装后如下图所示：
m2e截图
Scala IDE
Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装，安装后如下图所示：
Scala IDE
m2e-scala插件
m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。
Install New Software需要输入url，url为：http://alchim31.free.fr/m2e-scala/update-site/
安装过程如下所示：
-
Help->Install New Software
打开Install New Software
-
输入m2e-scala下载的url
这里可以仅勾选第三项（图中红框所示），因为前两项中的m2e，我们已经在上面安装过了。
m2e-scala下载
-
安装完成后，可在Help->Installation Details中查看
安装好的m2e-scala
构建eclipse+maven+scala工程
导入scala工程
从下面的url下载现成的scala+maven工程。
url：https://github.com/scala/scala-module-dependency-sample
导入scala-module-dependency-sample-master/maven-sample这个工程。这样，一个scala+maven工程就准备好了。
scala的版本为2.11.5，在pom.xml文件中，如下所示：
<pre>
<properties>
<scalaVersion>2.11.5</scalaVersion>
<scalaBinaryVersion>2.11</scalaBinaryVersion>
</properties>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scalaVersion}</version>
</dependency>
...
</pre>
测试spark本地运行
配置spark依赖包
在pom.xml中添加spark-core及其有关依赖，因为依赖太多，这里只显示一部分。
<pre>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.4.0</version>
<scope>compile</scope>
<exclusions>
<exclusion>
<artifactId>netty</artifactId>
<groupId>org.jboss.netty</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
<scope>compile</scope>
<exclusions>
<exclusion>
<artifactId>servlet-api</artifactId>
<groupId>javax.servlet</groupId>
</exclusion>
</exclusions>
</dependency>
...
</pre>
spark-core的详细依赖可以在线查询。这里使用的网址是：http://search.maven.org/
在该网址中搜索spark-core，可以找到其pom文件，如下图所示。
spark-core的pom
编写运行spark代码
-
新建Scala Object
右键工程->New->Other...，找到Scala Wizards，选中其中的Scala Object，如下图所示。
新建Scala Object
点击Next，并将该Object起名为SimpleApp。
新建完成后，在默认的package中将会出现一个SimpleApp.scala文件。 -
添加spark代码
在SimpleApp.scala文件中添加如下代码。该代码读取工作目录下的test.txt文件，并统计单词的个数。
<pre>
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "test.txt" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application").setMaster("local[2]")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
</pre> -
运行代码
在工作目录下准备好test.txt文件，内容如下：
<pre>
a
b
</pre>
右键SimpleApp.scala->Run as->Scala Application
控制台的最后一行将输出统计信息：
<pre>
Lines with a: 1, Lines with b: 1
</pre>
到这里，maven+scala+spark的工程就成功构建并且运行了。
一些问题
-
在pom文件中添加spark-core依赖后，如果不添加spark-core依赖的其他包，工程依然可以编译通过，但是在执行时，会抛出ClassDefNotFound的异常，导致程序终止。
-
如果本地没有配置好windows环境下的hadoop运行环境，则会抛出下面图中的异常。
hadoop环境异常
该异常并不影响程序的本地执行。如果要想解决该异常，则需要配置windows下的hadoop运行环境。
详细可参考网址：
http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os
PS
之前在CSDN上写了一篇同名的东西，搁着也就没管了。后来登上去一看，居然有人留下了一条评论。这有且仅有的一条评论说我写的太乱了。我就温习了一下我曾经的“大作”，确实是，不知所云。
毛病在哪呢？毛病就在没有重点，啥都想说。解决问题期间走的一些弯路、遇到的一些琐碎，全都倒腾了出来。虽然主体的线条还在，但是已经被边边角角的内容淹没了。
就从我的感受来说，对于这类不是理论，而是解决问题的东西，ITers一般都怀着一颗实用的心来看。东西的开头最好就是直指病症，1-2-3-4，嗒哒，搞定！再有什么想补充的问题，想深入的，放在后面来说。我就按照这个想法，将这东西重写了一遍。我觉得，还是有进步的吧。
哈哈，我发现在东西刚刚写完时，我总是感觉良好的，一如当初那篇“不知所云”的东西完成的时候。
网友评论