美文网首页
Spark计算基础知识

Spark计算基础知识

作者: K1024 | 来源:发表于2019-05-15 15:12 被阅读0次

    算法、模型的理解
    1.算法+训练数据才能跑出模型
    2.模型的呈现形式是一些视觉不可读的文件,可以生成多个版本。
    3.算法调用模型文件,就是按照模型进行程序计算了。

    demo程序线性回归的理解
    1.程序作了简化,训练后没有生成模型文件,直接调用程序进行了趋势预测。

    demo程序提交
    1.是否设置local的调用:就是在local执行,用于调试
    2.如果不设置local方式的调用就是代码分发到整个cluster,整体进行执行;

    demo程序文件的打包描述
    1.打包时将依赖jar捆绑打包
    (1)不需要做任何动作
    2.打包时只是打编写的代码
    (1)需要spark将依赖jar提前加载到平台

    相关文章

      网友评论

          本文标题:Spark计算基础知识

          本文链接:https://www.haomeiwen.com/subject/letlyftx.html