kafka-生产者如何提高吞吐量

kafka-生产者如何提高吞吐量

起男 525 2022-03-02

kafka-生产者如何提高吞吐量

可以通过添加以下设置提高吞吐量

  1. 修改批次大小,默认16k

    properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);
    
  2. 修改等待时间,默认0ms(不等待,所以默认批次大小无意义)

    properties.put(ProducerConfig.LINGER_MS_CONFIG,1);
    
  3. 设置压缩,默认none,可配置gzip、snappy、lz4和zstd

    properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");
    
  4. 设置缓冲区大小,默认32m

    properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);