彩世界开奖app官网-彩世界平台官方网址(彩票平台)
做最好的网站
来自 彩世界开奖app官网 2019-12-06 21:54 的文章
当前位置: 彩世界开奖app官网 > 彩世界开奖app官网 > 正文

kafka Centos7.2 单机集群搭建【彩世界开奖app官网

彩世界开奖app官网 1

单节点多broker
server-1.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-1
listeners=PLAINTEXT://:9093
broker.id=1

    无法甘休服务的来头:
      运营脚本时:假设ps输出超越40九十九个字符的Linux限定,bin / zookeeper-server-stop.sh将
      不也许截止zookeeper服务器进度;通过kafka-server-start.sh脚本运转了卡夫卡,则该进度找
      不到括kafka.卡夫卡,grep不能够找到进程,并且它回到退步音讯,未有卡夫卡服务器结束
    1.kafka下载
      下载地址: (接纳相应版本及镜像地址下载卡塔尔国
      使用 tar -zxf kafka_2.11-0.10.2.1.tgz
      然后将文件重命名并移动到 /usr/local/kafkacloud目录下
      mv kafka_2.11-0.10.2.1 /usr/local/kafkacloud/kafka1
    2.改换配置文件
      【在/usr/local/kafkacloud/目录下实行操作命令】
      cp kafka1/config/server.properties kafka1/config/server-1.properties
      vim kafka1/config/server-1.properties
      参数修改:
        broker.id=1
        listeners=PLAINTEXT://:9091
        port=9091
        host.name=192.168.10.13
        advertised.port=9091
        advertised.host.name=192.168.10.13
        dvertised.listeners=PLAINTEXT://192.168.10.13:9091
        listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL (被批注掉展开注释)
        log.dirs=/tmp/kafka1-logs1 【该参数文本最终精解】
        zookeeper.connect=192.168.10.13:2181,192.168.10.13:2182,192.168.10.13:2183
        cp kafka/config/server.properties kafka/config/server-2.properties
        vim kafka1/config/server-1.properties
      参数改进:
        broker.id=2
        listeners=PLAINTEXT://:9092
        port=9092
        host.name=192.168.10.13
        advertised.port=9092
        advertised.host.name=192.168.10.13
        dvertised.listeners=PLAINTEXT://192.168.10.13:9092
        listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL (被讲明掉张开注释)
        log.dirs=/tmp/kafka1-logs2
        zookeeper.connect=192.168.10.13:2181,192.168.10.13:2182,192.168.10.13:2183
        cp kafka/config/server.properties kafka/config/server-3.properties
        vim kafka1/config/server-1.properties
      参数校订:
        broker.id=3
        listeners=PLAINTEXT://:9093
        port=9093
        host.name=192.168.10.13
        advertised.port=9093
        advertised.host.name=192.168.10.13
        dvertised.listeners=PLAINTEXT://192.168.10.13:9093
        listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL (被批注掉打开注释)
        log.dirs=/tmp/kafka1-logs3
        zookeeper.connect=192.168.10.13:2181,192.168.10.13:2182,192.168.10.13:2183
   3.防火墙端口开放
      实施 vim /etc/sysconfig/iptables (将 9091 9092 9093端口开放卡塔尔国
      文件示例:
      # Manual customization of this file is not recommended.
      *filter
      :INPUT ACCEPT [0:0]
      :FORWARD ACCEPT [0:0]
      :OUTPUT ACCEPT [0:0]
      -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
      -A INPUT -p icmp -j ACCEPT
      -A INPUT -i lo -j ACCEPT
      -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
      -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
      -A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT
      -A INPUT -m state --state NEW -m tcp -p tcp --dport 9091 -j ACCEPT (供给加上)
      -A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT (须求加上)
      -A INPUT -m state --state NEW -m tcp -p tcp --dport 9093 -j ACCEPT (要求加上)

 

1.删减多余的门类目录文件夹App、AppTest、MySpec

 

./kafka-topics.sh --list --zookeeper xxxxxx:2182

kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

  • 1开始。
          zookeeper.connect :连接zookeeper
          advertised.host.name :主机名发布到ZooKeeper供顾客选拔
          advertised.listeners :监听器发表到ZooKeeper供顾客选取
          advertised.port :发布到ZooKeeper供客户端使用的端口
          auto.create.topics.enable :在服务器上启用自动创造核心
          auto.leader.rebalance.enable :启用自动领导者平衡。后台线程会准时检查并触及领导平衡
          compression.type :钦点给定核心的末段减掉类型(能够不安装)
          delete.topic.enable :启用删除宗旨。就算此布置已关闭,则透过管理工科具删除核心将不起作用
          host.name :仅在未安装“侦听器”时接受。使用`listeners`来替代。broker。若是那个装置,它只会绑定到那一个地点。若无设置,它将绑定到具备接口
          listeners :监听器列表 - 逗号分隔的大家将监听的U卡宴I列表和监听器名称。借使侦听器名称不是优游卒岁合同,则还非得

 

翻开全体topic
kafka-topics.sh --list --zookeeper hadoop000:2181

kafka遇到搭建
    //关于使用 bin/kafka-server-start.sh -daemon config/server.properties运维kafka服务后
    //实践 bin/kafka-server-stop.sh不能够关闭kafka服务
    修改 vim bin/kafka-server-stop.sh
    PIDS=$(ps ax | grep -i 'kafka.Kafka' | grep java | grep -v grep | awk '{print $1}')
    将如上语句中的 kafka.Kafka修改为 kafkaServer-gc

逐风流浪漫运行3个kafka 服务

单节点单broker的布置及运用

          设置listener.security.protocol.map。钦定主机名字为0.0.0.0以绑定到具有接口。保留主机名称叫空以绑定到暗中同意界面。

 彩世界开奖app官网 2

查询全部topic:kafka-topics.sh --list --zookeeper hadoop000:2181

           标记与客户配置的代办标志之间的冲突,生成的代办标志从reserved.broker.max.id

 运营第2个劳务

花费信息: zk
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

          合法侦听器列表的示范:PLAINTEXT:// myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION:// localhost:9093
      log.dir :保存日志数据的目录(对log.dirs属性的互补)
      log.dirs :日志数据保存的目录。假设未设置,则选取log.dir中的值
      log.flush.interval.ms :任何核心中的信息在刷新到磁盘之前都保存在内部存款和储蓄器中的最长日子(以纳秒为单位)。要是未安装,则选取log.flush.scheduler.interval.ms中的值
      log.retention.bytes :删除之明日志的最大尺寸
      log.retention.hours :保留日志文件的小时数(以时辰为单位),大写为log.retention.ms属性
      log.retention.minutes :在剔除日志文件早前封存日志的分钟数(以分钟为单位),次要log.retention.ms属性。假使未安装,则接纳log.retention.hours中的值
      log.retention.ms :保留日志文件的阿秒数(以微秒为单位),尽管未设置,则运用log.retention.minutes中的值
      log.segment.bytes :单个日志文件的最大尺寸(默感到1073741824:表示1G卡塔尔(英语:State of Qatar)

彩世界开奖app官网 3

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &

      :wq (保存退出)
      重启防火墙: service iptables restart
   4.写叁个运维kafka小本子
      4.1启动kafka服务
         cd /usr/local/kafkacloud/
         vim start-kafkas1.sh (运维kafka脚本文件名可随心所欲接收卡塔尔国
          #!/bin/bash
          /usr/local/kafkacloud/kafka1/bin/kafka-server-start.sh -daemon /usr/local/kafkacloud/kafka1/config/server-1.properties
          /usr/local/kafkacloud/kafka1/bin/kafka-server-start.sh -daemon /usr/local/kafkacloud/kafka1/config/server-2.properties
          /usr/local/kafkacloud/kafka1/bin/kafka-server-start.sh -daemon /usr/local/kafkacloud/kafka1/config/server-3.properties
          :wq (保存退出)
          chmod x start-kafkas1.sh :授予可进行权限
        奉行 ./start-kafkas1.sh 就可以运维kafka(由于语句中加入了 -daemon 表示前置运维,运行进程中不会打字与印刷运行新闻卡塔尔
        ps aux | grep kafka :可以查看独有有kafka运转成功后的历程
        查看运维打印音信:
          vim /usr/local/kafkacloud/kafka1/logs/server.log 恐怕 vim /usr/local/kafkacloud/kafka1/logs/kafkaServer.out 进行查看
          注意:比方kafkaServer.out普通客户不富有写入的权限时,普通客户运转kafka服务会报错(亲历卡塔尔
     4.2创建两个topic及有关命令介绍
      cd /usr/local/kafkacloud/kafka1
        1. 创造叁个叫 test 的 topic (--replication-factor 3:表示3个别本 --partitions 1 :表示叁个分区 )
          bin/kafka-topics.sh --create --zookeeper 192.168.10.13:2181,192.168.10.13:2182,192.168.10.13:2183 --replication-factor 3 --partitions 1 --topic test
        2. 查看topic列表
          bin/kafka-topics.sh --list --zookeeper 192.168.10.13:2181,192.168.10.13:2182,192.168.10.13:2183
        3. 翻看创设的topic的描述新闻
          bin/kafka-topics.sh --describe --zookeeper 192.168.10.13:2181,192.168.10.13:2182,192.168.10.13:2183 --topic test
        4. 运作生产者,然后在支配台输入一些新闻发送到服务器
          bin/kafka-console-producer.sh --broker-list 192.168.10.13:9094,192.168.10.13:9095,192.168.10.13:9096 --topic test
          运维后,私下认可生龙活虎行为一条新闻,回车的后边音讯发送(在另二个终端界面 运营消费者 就能够开支新闻卡塔尔
        5. 运营消费者,花费新闻
          bin/kafka-console-consumer.sh --bootstrap-server 192.168.10.13:9094,192.168.10.13:9095,192.168.10.13:9096 --from-beginning --topic test
    5.配置文件中log.dirs参数解释
        以=/tmp/kafka1-logs1为例:
        运营后/tmp/kafka1-logs1该文件夹下:
        5.1 meta.properties文件
          文件内容:
            #Mon Dec 25 10:56:36 CST 2017
            version=0
            broker.id=1
            broker.id是kafka服务的身份标记
            此处的broker.id表示了kafka1-logs1 是与 config/server-1.properties对应
        5.2 test-0 (创设的test这些topic对应的文本夹 test-0)
        (也许有希望有test-1 test-2 test-3....)
          依照铺排文件config/server-1.properties中参数 num.partitions=1 决定分区数量】
          文件夹下有八个文本:
          00000000000000000000.index
          00000000000000000000.log (test这几个topic 下发布的音讯内容寄存在该文件中卡塔尔国
          00000000000000000000.timeindex
    6.安插文件参数详明
      1、   server.properties
      broker.id :表示服务的代办id 借使未设置,则会扭转唯生机勃勃的代理标志。为防止zookeeper生成的代办

2.解压  tar -zxvf kafka_2.11-1.0.0.tgz

$KAFKA_HOME/config/server.properties
broker.id=0
listeners
host.name
log.dirs
zookeeper.connect

安装zk连接地址

 

 彩世界开奖app官网 4

3.添加dependency

 全体起动成功

查看topic详情:kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topic

  ./kafka-server-start.sh  -daemon  ../config/server3.properties &  

 

3.退换配置文件 步入config目录矫正server.properties 文件

启动Kafka
kafka-server-start.sh
USAGE: /home/hadoop/app/kafka_2.11-0.9.0.0/bin/kafka-server-start.sh [-daemon] server.properties [--override property=value]*

 修改server3.properties文件

server-2.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-2
listeners=PLAINTEXT://:9094
broker.id=2

 纠正自个儿的logs目录与安装分区数量

kafka Centos7.2 单机集群搭建【彩世界开奖app官网】。消费新闻:kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic   //可加 --from-beginning 只从意气风发伊始的也花费

  ./kafka-server-start.sh  -daemon  ../config/server2.properties &  

server-3.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-3
listeners=PLAINTEXT://:9095
broker.id=3

 运转第三个劳务

B、发送信息到多少个端口:--broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095

查看tipic列表

KafkaAPI编制程序碰着搭建=>

彩世界开奖app官网 5

1、broker.id    2、listener    3、log.dirs

保存

kafka-console-producer.sh --broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic my-replicated-topic

 -daemon   医生和医护人员进度运营  

配置遭遇变量,更改配置文件:conf/server.properties

 

铭文二级:

1.下载  kafka_2.11-1.0.0.tgz  下载网址 

出殡音信: broker
kafka-console-producer.sh --broker-list hadoop000:9092 --topic hello_topic

 彩世界开奖app官网 6

GroupId:com.imooc.spark

 

二、pom.xml文件改革:

前提是早就安装好了zk集群

启动kafka:kafka-server-start.sh $KAFKA_HOME/config/server.properties  //不明了怎么运用就先举办kafka-server-start.sh

 运转第二个服务

kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topic 

  ./kafka-server-start.sh  -daemon  ../config/server.properties &  

log.dirs = /home/app/tmp/kafka-logs     //临时文件目录,需建构tmp,kafka-logs可不创设

保留后复制2分相仿的,分别改端口与 log日志目录,还应该有 broke.id 

listeners = :9092               //监听端口号,发送的剧情到broker即为此端口

 

卡夫卡版本下载版本为0.9.0.0比较牢固,再选相呼应的scala版本()

&  后台运转

broker.id = 0                 //唯一id值

 

kill -9 5598    //强制杀死进程,分别查看topic实际情况,观看leader变化

 修改server2.properties文件

--from-beginning的使用

彩世界开奖app官网 7

三、项目文件夹的树立:

彩世界开奖app官网 8

查看全数topic的详细新闻:kafka-topics.sh --describe --zookeeper hadoop000:2181
查阅钦赐topic的详细新闻:kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic

创建topic: zk
kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

翻开全部topic的详细音信:kafka-topics.sh --describe --zookeeper hadoop000:2181

kafka-server-start.sh $KAFKA_HOME/config/server.properties

查看钦赐topic的详细音信:kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic

hostname = hadoop000             //默认localhost也行

墓志一级:

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties      //-daemon为后台运转

容错性测量试验=>

artifactId:kafka_2.11

一、创建maven项目-> scala-archetype-simple ->

2.删减多余的dependency,只剩下org.scala.lang,改成${scala.version}

详细消息:Replicas:3,1,2  // 别本节点  Isr:3,1,2 //存活节点数

[num.partitions = 1]                //分区

单节点单broker的安顿及应用=>

2.新建文件夹java(Project Structure->Modules里面安装目录所属连串颜色),新建包:com.imooc.spark.kafka

zookeeper.connect = hadoop000:2181      //创设topic,查询topic,消耗者均为此端口

settings.xml 里面记得增多了<localRepository>/Users/rocky/maven-repos</localRepository>

安装本地本身设置的maven的settings.xml

Version:1.0

groupId:org.apache.kafka

 

version:0.9.0.0  //写出去成${kafka.version}

出殡音信:kafka-console-producer.sh --broker-list hadoop000:9092 --topic hello_topic

单节点多broker=>

 

创建topic:kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

cp三份配置文件,纠正三处,然后分别运行:

1.将<scala.version>修改成2.11.8

A、创制topics别本周全要改善成:3

ArtifactId:sparktrain

本文由彩世界开奖app官网发布于彩世界开奖app官网,转载请注明出处:kafka Centos7.2 单机集群搭建【彩世界开奖app官网

关键词: Hadoop 大数据 spark 消息中间件