美文网首页
node中消费kafka

node中消费kafka

作者: HelenYin | 来源:发表于2019-01-09 16:16 被阅读0次

生产数据,消费者消费代码。

const Kafka = require('node-rdkafka');
const createReadStream = Kafka.createReadStream;
// 生产
const producer = new Kafka.Producer({
    'client.id': 'kafka',
    'metadata.broker.list': 'localhost:9092'
});
const stream = Kafka.Producer.createWriteStream({
    'metadata.broker.list': 'localhost:9092'
}, {}, {
    topic: 'topic-name',
});
setInterval(() => {
    const queuedSuccess = stream.write(Buffer.from(`Awesome message_${Math.random()}`));
    if (queuedSuccess) {
        console.log('We queued our message!');
    } else {
        console.log('queue is full');
    }
}, 1000);
stream.on('error', (err) => {
    console.error('Error in our kafka stream');
    console.error(err);
})
// 消费
const readStream = createReadStream({
    'group.id': 'kafka',
    'metadata.broker.list': 'localhost:9092',
}, {}, {topics: ['topic-name']});

readStream.on('data', (message) => {
    console.log('got message');
    console.log(message);
})

相关文章

  • node中消费kafka

    生产数据,消费者消费代码。

  • node日志接入kafka(封装kafka-node)

    准备工作 npm i kafka-node 拷贝 Logger.js 进 node 项目 查看kafka-node...

  • Kafka详解

    Kafka Kafka 概述 kafka是什么? 在流式计算中,kafka一般用来储存缓存数据,Storm通过消费...

  • Kafka_核心

    kafka集群 Kafka的设计都是为了实现kafak消息队列消费数据的语义Kafka消息队列中数据消费的三种语义...

  • python3读写kafka

    消费kafka数据,方式一 消费kafka数据,方式二 将消息写入kafka

  • Kafka0.8集群部署与shell命令行操作

    1、kafka简介在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA...

  • kafka集群搭建

    1、kafka简介在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA...

  • sparkStreaming拉取kafka010的bug

    目前kafka版本中,很多公司在用kafka010,但是在用sparkstreaming去消费kafka时,很多人...

  • 【Kafka】Kafka 常用命令

    本篇结构: kafka topic 管理脚本 kafka 生产者控制台 kafka 消费者控制台 kafka 消费...

  • Kafka 消费者 Java 实现

    应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息,首先理解 Kafka 中消费者...

网友评论

      本文标题:node中消费kafka

      本文链接:https://www.haomeiwen.com/subject/qwsgrqtx.html