Spark+Kafka如何限速的问题

最近太忙了，上一次更新还是半个月前。不过我觉得终究还是要更新一下的，只是这次实在没时间写什么心得体会或是讨论之类的了，就拿在知乎上回答的一个帖子”偷懒“一下好了。这个帖子是在知乎上回答如何为Spark Streaming + Kafka应用限速的。同样的问题在知乎上也碰到过几次，还是具有一定的普遍性的，故我这里直接顺手牵羊了， 省的我无中生有写一些我觉得有用的东西，实际上并不是那么回事。要知道拿来主义还是无懈可击的——好久没玩三国杀了，纪念一下~问题是这样的：SparkStreaming消费Kafka数据的时候，当有大量初始化数据时会拖累整个streaming程序的运行，问有什么办法？    总体来说这个问题大概有两种解决思路：1.在Spark端设置限速；2.在Kafka端设置 ………………………………