- 在享用了这么久kafka提供的各种福利后, 咱们也来精进一下,看看kafka的各部分实现,知其然也知一点所以然;
- 题目起得有点大,其实完全是临时起意,希望能坚持下去;
- 本身其实不是java程序员,scala也是半吊子, 但是特别喜欢scala啊~~~
- Kafka最近的版本更新有点快, 但是这一系列文章是基于kafka 0.9.1版本;
- 这里的文章不会事无巨细,但求将主脉络理清.
Kafka的网络层模型概述
- 这个模型其实一点也不神秘,很质朴,很清晰,也很好用,引用源码中的一句话:
The threading model is 1 Acceptor thread that handles new connections Acceptor has N Processor threads that each have their own selector and read requests from socketsM Handler threads that handle requests and produce responses back to the processor threads for writing
-
再来张图:
网络模型.png - Acceptor 作两件事: 创建一堆worker线程；接受新连接, 将新的socket指派给某个 worker线程;
- Worker线程处理若干个socket,接受请求转给各种handler处理,response再经由worker线程发送回去.
- 总结起来就是个半同步半异步模型.
Kafka的网络层模型实现
- 虽然kafka用scala实现,但里面也用了大量的java类, 这部分主要是用了NIO；
- 主要实现文件:core/src/main/scal/kafka/network/SocketServer.scala,里面包括了SocketServer, Acceptor, Processor等;
- 数据传输层实现:clients/src/main/java/org/apache/kafka/common/network,里面包括了Channel,TransportLayer,Authenticator等.
- 下一篇咱们开始进入到具体的实现...
