美文网首页
flink分布式缓存实现示例

flink分布式缓存实现示例

作者: 万州客 | 来源:发表于2022-05-14 17:36 被阅读0次

生产场景可能是用大数据的文件系统,本机学习,就使用本地文件吧。

一,代码

package org.bbk.flink

import org.apache.commons.io.FileUtils
import org.apache.flink.api.common.functions.RichMapFunction
import org.apache.flink.api.common.accumulators.LongCounter
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.configuration.Configuration


object Demo {
  def main(args:Array[String]):Unit = {
    val env = ExecutionEnvironment.getExecutionEnvironment
    import org.apache.flink.api.scala._

    env.registerCachedFile("D:\\tmp\\count.txt", "advert")
    val data = env.fromElements("hello", "flink", "spark", "dataset")
    val result = data.map(new RichMapFunction[String, String] {
      override def open(parameters: Configuration): Unit = {
        super.open(parameters)
        val myFile = getRuntimeContext.getDistributedCache.getFile("advert")
        val lines = FileUtils.readLines(myFile)
        val it = lines.iterator()
        while (it.hasNext) {
          val line = it.next()
          println("line: " + line)
        }
      }
      override def map(value: String) = {
        value
      }
    }).setParallelism(2)
    result.print()
    env.execute()
  }
}

二,样例数据

三,输出

相关文章

  • flink分布式缓存实现示例

    生产场景可能是用大数据的文件系统,本机学习,就使用本地文件吧。 一,代码 二,样例数据 三,输出

  • 五、Flink的分布式文件缓存

    分布式文件缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并...

  • 7-Flink的分布式缓存

    分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它...

  • Flink分布式缓存

    分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它...

  • 每周阅读(3/13/2017)

    缓存那些事本地缓存:编程实现和一些开源实现比如ehcache和guava cache;分布式缓存:memcache...

  • 分布式锁实现

    基于数据库实现分布式锁基于缓存(redis,memcached)实现分布式锁基于Zookeeper实现分布式锁 s...

  • 基于redis的分布式锁

    分布式锁实现方案 基于数据库实现分布式锁 基于缓存(redis,memcached,tair)实现分布式锁 基于Z...

  • 分布式锁的实现-Redisson

    常见3种分布式的实现比较 基于数据库实现分布式锁 基于缓存实现分布式锁(redis,mc) 基于Zookeeper...

  • ios-清理缓存功能

    清理缓存示例: 现在各类App都必不可少有清理缓存和显示当前缓存这功能,下面代码是将此功能实现的封装. 实现方法:

  • 分布式锁

    几种实现方式 基于数据库实现分布式锁 基于缓存(Redis,memcached,tair)实现分布式锁 基于Zoo...

网友评论

      本文标题:flink分布式缓存实现示例

      本文链接:https://www.haomeiwen.com/subject/vtacurtx.html