企业官网建设流程全解析

个体户营业执照可以网站备案,网站制作多少钱400,国家建设工程信息网,免费的网站程序哪里好从概念、安装、配置到高阶玩法与踩坑实录#xff0c;一份速查表带走一、概念#xff1a;10秒建立知识坐标定位#xff1a;分布式流式发布/订阅消息系统#xff0c;高吞吐、可持久化、可水平扩展核心模型#xff1a; Topic → Partition → Offset Producer → Broker → C…从概念、安装、配置到高阶玩法与踩坑实录一份速查表带走一、概念10秒建立知识坐标定位分布式流式发布/订阅消息系统高吞吐、可持久化、可水平扩展核心模型 Topic → Partition → Offset Producer → Broker → ConsumerGroup四大APIProducer / Consumer / Streams / Connect二、安装启动Linux/Mac 3命令1.下载 解压wget https://downloads.apache.org/kafka/3.8.0/kafka_2.13-3.8.0.tgz tar -xzf kafka_2.13-3.8.0.tgz cd kafka_2.13-3.8.02.启动ZKKafka7已内置但生产仍推荐独立ZKbin/zookeeper-server-start.sh config/zookeeper.properties3.启动Brokerbin/kafka-server-start.sh config/server.propertiesWindows 用同目录 .bat 即可三、必改配置清单项示例值说明broker.id0集群内唯一listenersPLAINTEXT://内网IP:9092监听器Docker/NAT必须显式advertised.listenersPLAINTEXT://外网IP:9092客户端真正连接的地址log.dirs/data/kafka-logs数据目录SSD最佳zookeeper.connectzk1:2181,zk2:2181集群地址num.partitions12默认分区数≤Broker数×2retention.ms86400000消息保留24hcompression.typelz4压缩高吞吐场景利器端口/地址配错是第一大坑Docker部署一定保持 listeners 与 advertised.listeners 映射一致 。四、Spring Boot 3 最小可运行代码依赖dependency groupIdorg.springframework.kafka/groupId artifactIdspring-kafka/artifactId /dependencyymlspring: kafka: bootstrap-servers: node1:9092,node2:9092 producer: retries: 3 batch-size: 16384 # 16KB批 linger-ms: 10 acks: all # 高可靠 consumer: group-id: ${spring.application.name} enable-auto-commit: false auto-offset-reset: earliest max-poll-records: 500生产者RestController class ProducerCtl { Autowired private KafkaTemplateString,String tpl; GetMapping(/send) public String send(String msg){ tpl.send(demo, msg); return ok; } }消费者手动提交幂等KafkaListener(topics demo) public void listen(ConsumerRecordString,String rec, Acknowledgment ack){ System.out.println(收到 rec.value()); ack.acknowledge(); // 手动提交offset }启动即跑 。五、进阶高吞吐 低延迟组合拳优化点建议值说明batch.size32KB-128KB批量发送提高吞吐linger.ms5-20等待批填满compression.typelz4/zstd压缩比CPU平衡acks1 / all1低延迟all高可靠max.poll.records500-1000每次拉取条数分区数≈ Broker数 × 2并行度最大内存映射给足 OS PageCache磁盘读↓只加分区不加 Broker 是第二大坑CPU/磁盘 IO 会爆 。六、黑科技玩法消息轨迹 → 给每条消息注入 trace-id利用 Kafka Connect 写入 ES 可视化流式 Join → Kafka Streams 双 Topic 按 Key 时间窗口 join实时拼单无限保序 → 单分区 幂等 Producer (enable.idempotencetrue)Exactly-Once 语义Retry DLQ → 消费失败超次后自动写 topic-demo-DLQ隔离死信热扩容 → bin/kafka-reassign-partitions.sh 在线迁移副本业务无感知七、易踩坑 急救坑点现象急救方案端口/地址配错客户端连不上listeners advertised.listeners 用外网 IPDocker 映射一致消息丢失生产成功但消费不到acksall 副本因子 ≥ 2 手动提交 offset磁盘爆满Broker 挂死定时清理 log.retention.hours / retention.ms大消息拖慢TPS 骤降增大 replica.fetch.max.bytes 压缩 lz4只扩分区不扩机器CPU 飙高分区数 ≤ Broker×2GC 风暴延迟抖动给足 16G 堆G1GC-XX:MaxGCPauseMillis100八、一条命令巡检集群健康bin/kafka-run-class.sh kafka.tools.JmxTool \ --object-name kafka.server:typeBrokerTopicMetrics,nameMessagesInPerSec,topic* \ --jmx-url service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi关注 MessagesInPerSec、RequestQueueTimeMs、ConsumerLag 三个指标Lag 5 万就要扩容或加 Consumer 了。九、一句话总结Kafka 分区顺序写 PageCache 零拷贝 批压缩 三驾马车 “地址配好、批要开大、分区与 Broker 同步扩、监控 Lag 及时告警” —— 记住这四句面试、调优、扛高并发都不会翻车