kafka-生产者如何提高吞吐量

kafka-生产者如何提高吞吐量

起男 710 2022-03-02

kafka-生产者如何提高吞吐量

可以通过添加以下设置提高吞吐量

  1. 修改批次大小，默认16k

    properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);

  2. 修改等待时间，默认0ms（不等待，所以默认批次大小无意义）

    properties.put(ProducerConfig.LINGER_MS_CONFIG,1);

  3. 设置压缩，默认none，可配置gzip、snappy、lz4和zstd

    properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");

  4. 设置缓冲区大小，默认32m

    properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);
kafka