如何解决Flume 丢包问题?

单机 upd 的 flume source 的配置，100+M/s 数据量，10w qps flume 就开 始大量丢包，因此很多公司在搭建系统时，抛弃了 Flume，自己研发传输系统， 但是往往会参考 Flume 的 Source-Channel-Sink 模式。

一些公司在 Flume 工作过程中，会对业务日志进行监控，例如 Flume agent 中有多少条日志，Flume 到 Kafka 后有多少条日志等等，如果数据丢失保持在1%左右是没有问题的，当数据丢失达到 5%左右时就必须采取相应措施。