首先创建一个项目:
图片.png
图片.png
要在javascalaApplication这文件的所属目录下写的程序才有效，其他html css jsp js等资源放在resources调用。
这里展现了我写的一个controller层的细节：
@RequestMapping("/hi.html")
public String wordCount(HttpServletRequest request, Model model){
String text=request.getParameter("hi");
if(text!=null){
System.out.println("进来了");
String[] s=text.split(",");
Map<String,Object> word=wordCount.go(s);
System.out.println(word);
model.addAttribute("data",word);
}
return "hi.html";
}
wordCount函数是scala，需要引用编写scala的依赖，并且引用写好的类需要通过import
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.12.11</version>
</dependency>
图片.png
图片.png
<form action="#" th:action="@{/hi.html}" method="post" class="basic-grey">
<p style="color:black;font-weight:bold;">请输入一些词，我帮你 wordCount ：</p>
<p style="color:grey">输入的例子：什么字符都行（原理 ：空格隔开字符，然后统计，多少个空格都行） 诸如输入： go 屎 @ 屎 得到的结果是{go:1,屎:2,@:1}</p>
<p> <textarea type="text" name="hi" id="hi"></textarea></p>
<!--/*@thymesVar id="data" type=""*/-->
<p><input type="submit" value="确定" /> <input type="reset" value="重置" /></p>
<span style="color:black;font-weight:bold;">结果在这 -----》》》</span>
<span th:text="${data}">default message</span>
</form>
这里通过"${data}"获取到controller层返回model夹带的值
这里注意一下跳转的地址的写法，这是thymeleaf的写法（springboot默认搭配thymeleaf前端显示）
thymeleaf 在html页面的基础上建立：
<html lang="en" xmlns:th="http://www.thymeleaf.org">
这项目是后台是运行了spark进行计算的，所以需要导进spark相关依赖：
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.4</version>
</dependency>
举个用了spark的例子：
def fileGo(s:String): java.util.Map[String,Int]={
val rdd=sc.textFile("hdfs://172.18.30.253"+s)
print(rdd.collect())
val rdd1=rdd.flatMap(line => line.replaceAll(""""[,.!?']""","").split("""\s+"""))
val rdd2=rdd1.map(word => (word,1)).reduceByKey((a,b) => a+b)
val map:java.util.Map[String,Int]=rdd2.collectAsMap().asJava
map
}
在scala中使用正则表达式需要用 三引号。
上传到hdfs上，使用到hadoop，需要导入的依赖：
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>2.7.3</version>
</dependency>
学到的东西：
1.scala读文件
import scala.io.Source
object Test {
def main(args: Array[String]) {
println("文件内容为:" )
Source.fromFile("test.txt" ).foreach{
print
}
}
}
@RequestBody主要用来接收前端传递给后端的json字符串中的数据的(请求体中的数据的);
GET方式无请求体，所以使用@RequestBody接收数据时，前端不能使用GET方式提交数据，而是用POST方式进行提交。
如果参数前不写@RequestParam(xxx)的话，那么就前端可以有可以没有对应的xxx名字才行，如果有xxx名的话，那么就会自动匹配；没有的话，请求也能正确发送。
@RequestBody直接以String接收前端传过来的json数据
例如：
图片.png
图片.png
@RequestBody也可以直接接收对象，不过传入的json对象的，key-value要有对应对象的属性名。
图片.png
3.学到了windows系统下关闭端口：
netstat -ano|findstr 端口号：查看特定端口被占用情况
关闭占用端口的程序 命令 ：taskkill /pid PID(进程号) /f
4.学到了上传文件，及其解析：
<div style="color:blue;font-weight:bold;">下面上传你要进行我靠的文件：</div><input type="file" name="file" />
controlller层解析：
@RequestMapping("/uploadWordCount")
public String upload(@RequestParam("file") MultipartFile file,Model model,HttpServletRequest request) throws IOException {
if (!file.isEmpty()) {
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
//获取文件的详情
System.out.println("文件类型ContentType=" + file.getContentType());
System.out.println("文件组件名称Name=" + file.getName());
System.out.println("文件原名称OriginalFileName=" + file.getOriginalFilename());
System.out.println("文件大小Size=" + file.getSize() / 1024 + "KB");
model.addAttribute("data","hi");
String path = request.getServletContext().getRealPath("/upload/");
System.out.println("path = " + path);
String filename = file.getOriginalFilename();
File filepath = new File(path, filename);
// 判断路径是否存在，不存在则新创建一个
if (!filepath.getParentFile().exists()) {
filepath.getParentFile().mkdirs();
}
// 将上传文件保存到目标文件目录
String start=path+filename;
String end="/upload/"+filename;
//把文件上传到本地路径
file.transferTo(new File(path + File.separator + filename));
Path srcPath = new Path(start);
Path dstPath = new Path(end);
//把本地文件上传到hdfs上
fs.copyFromLocalFile(srcPath,dstPath);
System.out.println(end);
Map<String,Object> word=wordCount.fileGo(end);
System.out.println(word);
model.addAttribute("data",word);
}
return "uploadWordCount";
}
总结下文件上传的要点：
1、表单method设置为post，并将enctype设置为 multipart/form-data
2、文件映射为MultipartFile对象进行解析
3、上传文件大小 spring.http.multipart.max-file-size 限制
假如发生：
org.apache.tomcat.util.http.fileupload.FileUploadBase$FileSizeLimitExceededException: The field file exceeds its maximum permitted size of 1048576 bytes.
这个错误是由于springboot默认的文件大小是1MB造成的，当上传文件超过1MB时就会报错。解决这个报错可以在application.properties中设置上传参数，参数项是默认的，我们设置最大上传文件大小不超过10MB，再次上传会成功。
spring.http.multipart.max-file-size=10MB
spring.http.multipart.max-request-size=10MB
5.在scala得到的结果怎样转化为java的对象传出去：
//转为java map类型传出
val map:java.util.Map[String,Int]=rdd2.collectAsMap().asJava
//转为java list类型传出
val list: List[Int] = rdd.collect().toList.asJava
6.XXXXXXX-1.0-SNAPSHOT.jar 中没有主清单属性的解决办法
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
7."错误: 找不到或无法加载主类 springboot.Application"
跳转到项目目录下执行’mvn clean install’,命令后重新运行该项目即可
8.下载hadoop.dll
https://github.com/steveloughran/winutils
网友评论