太原网站建设价格,官网建设报价,濮阳网站,静安建设网站Netty零拷贝机制一#xff1a;用户空间与内核空间二#xff1a;传统IO流程三#xff1a;零拷贝常见的实现方式1. mmap write2. sendfile四#xff1a;Java中零拷贝五#xff1a;Netty 中如何实现零拷贝1. CompositeByteBuf 实现零拷贝2. wrap 实现零拷贝3. slice 实现零拷…
Netty零拷贝机制一用户空间与内核空间二传统IO流程三零拷贝常见的实现方式1. mmap write2. sendfile四Java中零拷贝五Netty 中如何实现零拷贝1. CompositeByteBuf 实现零拷贝2. wrap 实现零拷贝3. slice 实现零拷贝4. FileRegion实现零拷贝一用户空间与内核空间
操作系统的核心是内核它不同于普通应用程序所以为了保护内核的存储空间操作系统将虚拟空间分为了两个部分内核空间和用户空间。
二传统IO流程
四次上下文切换四次拷贝。 1、将磁盘文件读取到操作系统内核缓冲区 2、将内核缓冲区的数据拷贝到用户空间的缓冲区 3、数据从用户空间缓冲区拷贝到内核的socket网络发送缓冲区 4、数据从内核的socket网络发送缓冲区拷贝到网卡接口硬件的缓冲区由网卡进行网络传输。
三零拷贝常见的实现方式
1. mmap write
mmap通过内存映射将文件映射到内核缓冲区。同时用户空间可以共享内核空间的数据。这样在进行网络传输时就可以减少内核空间到用户空间的拷贝次数。如下图 优化后三次拷贝 四次上下文切换。
2. sendfile
sendfile实现有两个版本我们这里只介绍真正实现零拷贝技术的后者即通过SG-DMA技术实现数据拷贝。
Linux 2.1版本提供了sendFile函数其基本原理如下 数据根本不经过用户态直接从内核缓冲区进入到Socket Buffer同时由于和用户态完全无关就减少了一次上下文切换。 只需 2 次拷贝 第一次使用 DMA 从磁盘文件拷贝到内核缓冲区 第二次从内核缓冲区将数据拷贝到网络协议栈网卡
内核缓存区只会拷贝一些 offset 和 length 信息到SocketBuffer基本无消耗 优化后两次上下文切换 两次拷贝。
四Java中零拷贝
通过Java的FileChannel.transferTo()方法实现零拷贝 底层是调用Linux操作系统中的sendfile()实现的。
通过Java的FileChannel.map()方法实现零拷贝 底层是调用Linux操作系统中的mmap()实现的。
再稍微讲讲 mmap 和 sendFile 的区别 1、mmap 适合小数据量读写sendFile 适合大文件传输。 2、mmap 需要 4 次上下文切换3 次数据拷贝sendFile 需要 3 次上下文切换最少 2 次数据拷贝。 3、sendFile 可以利用 DMA 方式减少 CPU 拷贝mmap 则不能必须从内核拷贝到 Socket 缓冲区。
在这个选择上RocketMQ 在消费消息时使用了 mmap。Kafka 使用了 sendFile。
五Netty 中如何实现零拷贝
netty中的零拷贝和操作系统中零拷贝有点不一样操作系统实现零拷贝主要是在内核态的优化netty完全是在用户状态实现零拷贝。
1. CompositeByteBuf 实现零拷贝
通过将多个ByteBuf合并为一个逻辑上的ByteBuf避免了各个ByteBuf之间的拷贝。
● 常规使用
ByteBuf allBuf Unpooled.buffer(header.readableBytes() body.readableBytes());
allBuf.writeBytes(header);
allBuf.writeBytes(body);● 使用CompositeByteBuf
CompositeByteBuf compositeByteBuf Unpooled.compositeBuffer();
compositeByteBuf.addComponents(true, header, body);2. wrap 实现零拷贝
将byte[]数组、ByteBuf、ByteBuffer等包装成一个Netty ByteBuf对象进而避免了拷贝操作。
● 常规使用
byte[] bytes ...
ByteBuf byteBuf Unpooled.buffer();
byteBuf.writeBytes(bytes);● 使用wrap
byte[] bytes ...
ByteBuf byteBuf Unpooled.wrappedBuffer(bytes);3. slice 实现零拷贝
将ByteBuf 拆解成多个ByteBuf但是共享同一存储空间不同分区避免了内存拷贝。
ByteBuf byteBuf ...
ByteBuf header byteBuf.slice(0, 5);
ByteBuf body byteBuf.slice(5, 10);4. FileRegion实现零拷贝
通过FileRegion包装的FileChannel.tranferTo实现文件传输可以直接将文件缓冲区的数据发送到目标Channel避免了传统通过循环write方式导致的内存拷贝问题。
● 传统文件传输
public static void copyFile(String srcFile, String destFile) throws Exception {byte[] temp new byte[1024];FileInputStream in new FileInputStream(srcFile);FileOutputStream out new FileOutputStream(destFile);int length;while ((length in.read(temp)) ! -1) {out.write(temp, 0, length);}in.close();out.close();
}● file Region
public static void copyFileWithFileChannel(String srcFileName, String destFileName) throws Exception {RandomAccessFile srcFile new RandomAccessFile(srcFileName, r);FileChannel srcFileChannel srcFile.getChannel();RandomAccessFile destFile new RandomAccessFile(destFileName, rw);FileChannel destFileChannel destFile.getChannel();long position 0;long count srcFileChannel.size();srcFileChannel.transferTo(position, count, destFileChannel);
}
