美文网首页
kafka->logstash

kafka->logstash

作者: 57山本无忧 | 来源:发表于2018-01-21 13:52 被阅读0次

    一、安装kafka

    请参考:kafka安装

    二、安装logstash

    请参考:logstash安装

    三、kafka写入logstash

    3.1 注意

    3.2 相关主机配置上hosts文件

    192.168.200.21 elk-node1
    192.168.200.81 flume
    192.168.200.91 kafka
    

    3.3 配置启动kafka

    mkdir -p /data/kafka/kafka-logs
    grep '^[a-z]' /usr/local/kafka/config/server.properties
    
    broker.id=0
    num.network.threads=3
    num.io.threads=8
    socket.send.buffer.bytes=102400
    socket.receive.buffer.bytes=102400
    socket.request.max.bytes=104857600
    log.dirs=/data/kafka/kafka-logs
    num.partitions=1
    num.recovery.threads.per.data.dir=1
    log.retention.hours=168
    log.segment.bytes=1073741824
    log.retention.check.interval.ms=300000
    zookeeper.connect=kafka:2181
    zookeeper.connection.timeout.ms=6000
    
    • 启动zookeeper
    bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &
    
    • 启动kafka
    bin/kafka-server-start.sh -daemon config/server.properties &
    
    • 创建topic
    bin/kafka-topics.sh --create --zookeeper kafka:2181 --replication-factor 1 --partitions 1 --topic zsdaitest
    
    • 生产数据
    bin/kafka-console-producer.sh --broker-list kafka:9092 --topic zsdaitest
    
    • 消费数据
    bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --zookeeper kafka:2181 --topic zsdaitest --from-beginning
    

    3.4 配置启动logstash

    • vim 1-inputKafka.conf
    input{
        kafka {
            topics => ["zsdaitest"]
            bootstrap_servers => "kafka:9092"
       }
    
    }
    output{
        stdout{
            codec => rubydebug
        }
    }
    
    • 启动
    ./bin/logstash -f 1-inputKafka.conf
    
    • 启动后,在kafka生产端输入任意字符进行测试,如:kafka test1,然后观察logstash控制台,如果有接受到对应字符信息,则成功。

    相关文章

      网友评论

          本文标题:kafka->logstash

          本文链接:https://www.haomeiwen.com/subject/cxgfaxtx.html