Spark Streaming读取kafka数据解析后写入ES，处理效率太低太慢

环境：

• Kafka 0.10+（不影响）
• Spark 2.4.0 + Yarn
• ES 6.5.4

问题：
从Kafka读取获取消息，然后进行简单过滤清晰操作后，将消息写入到ES中，发现处理效率很低，
Kafka有三个partition

maxRatePerPartition=2000
batchInterval=1s
//这种情况下刚刚好，就是处理延迟在1s左右浮动，不会出现任务堆积的情况
//此时处理配置
//num_executor=3
//executor_core=8

然后将读数据的maxRatePerPartition增大到10000乃至20000，发现处理速度始终没有变化
期间将num_executor设置为8，executor_core设置为8，还是没啥用

还增加了设置：

    conf.set("spark.streaming,concurrentJobs","20")
    conf.set("spark.local.wait","100ms")

还是没啥变化，大佬们，到底要咋调啊

https://blog.csdn.net/xianpanjia4616/article/details/81432869