netty并发量一般多少_Netty框架简介
1. 简介
官方定义为:”Netty 是一款异步的事件驱动的网络应用程序框架,支持快速地开发可维护的高性能的面向协议的服务器 和客户端”,按照惯例贴上一张High Level的架构图:
纵观Java系的多种服务器/大数据框架,都离不开Netty做出的贡献,本文对Netty做一个简单的概述
2. 主要特性
Netty有很多重要的特性,主要特性如下:
- 优雅的设计
- 统一的API接口,支持多种传输类型,例如OIO,NIO
- 简单而强大的线程模型
- 丰富的文档
- 卓越的性能
- 拥有比原生Java API 更高的性能与更低的延迟
- 基于池化和复用技术,使资源消耗更低
- 安全性
- 完整的SSL/TLS以及StartTLS支持
- 可用于受限环境,如Applet以及OSGI
Netty的以上特性,比较适合客户端数据较大的请求/处理场景,例如web服务器等,要想知道有哪些系统使用了Netty。
在正式开始之前,先对Netty涉及到的一些术语做个简单的说明
3.1 IO模型:BIO/NIO/Netty
3.1.1 BIO(Blocking IO):阻塞IO
早期的Java API(java.net)提供了由本地系统套接字库提供的所谓的阻塞函数,样例代码如下:
ServerSocket serverSocket = new ServerSocket(portNumber);Socket clientSocket = serverSocket.accept();BufferedReader in = new BufferedReader(new InputStreamReader(clientSocket.getInputStream()));PrintWriter out =new PrintWriter(clientSocket.getOutputStream(), true);String request, response;while ((request = in.readLine()) != null) { if ("Done".equals(request)) { break;}response = processRequest(request);out.println(response);}
这段代码片段将只能同时处理一个连接,要管理多个并发客户端,需要为每个新的客户端
Socket 创建一个新的 Thread,线程模型如下图所示:
该种模型存在以下两个问题:
1. 在任何时候都可能有大量的线程处于休眠状态,只是等待输入或者输出数据就绪,这可能算是一种资源浪费
2. 需要为每个线程的调用栈都分配内存
3. 即使 Java 虚拟机(JVM) 在物理上可以支持非常大数量的线程, 但是远在到达该极限之前, 上下文切换所带来的开销就会带来麻烦
3.1.2 NIO(Non Blocking IO):非阻塞IO
Java的NIO特性在JDK 1.4中引入,其结构如下:
从该图可以看出Selector 是Java 的非阻塞 I/O 实现的关键。它使用了事件通知 API
以确定在一组非阻塞套接字中有哪些已经就绪能够进行 I/O 相关的操作。因为可以在任何的时间检查任意的读操作或者写操作的完成状态。该种模型下,一个单一的线程便可以处理多个并发的连接。
与BIO相比,该模型有以下特点:
1. 使用较少的线程便可以处理许多连接,因此也减少了内存管理和上下文切换所带来开销
2. 当没有 I/O 操作需要处理的时候,线程也可以被用于其他任务
虽然Java 的NIO在性能上比BIO已经相当的优秀,但是要做到如此正确和安全并
不容易。特别是,在高负载下可靠和高效地处理和调度 I/O 操作是一项繁琐而且容易出错的任务,此时就时Netty上场的时间了。
3.1.3 Netty
Netty对NIO的API进行了封装,通过以下手段让性能又得到了一定程度的提升
1. 使用多路复用技术,提高处理连接的并发性
2. 零拷贝:
1. Netty的接收和发送数据采用DIRECT BUFFERS,使用堆外直接内存进行Socket读写,不需要进行字节缓冲区的二次拷贝
2. Netty提供了组合Buffer对象,可以聚合多个ByteBuffer对象进行一次操作
3. Netty的文件传输采用了transferTo方法,它可以直接将文件缓冲区的数据发送到目标Channel,避免了传统通过循环write方式导致的内存拷贝问题
3. 内存池:为了减少堆外直接内存的分配和回收产生的资源损耗问题,Netty提供了基于内存池的缓冲区重用机制
4. 使用主从Reactor多线程模型,提高并发性
5. 采用了串行无锁化设计,在IO线程内部进行串行操作,避免多线程竞争导致的性能下降
6. 默认使用Protobuf的序列化框架
7. 灵活的TCP参数配置
3.1.4 简单的性能测试
通过在本地分别使用BIO,NIO,Netty NIO实现了一个简单的服务端程序(该程序接收到请求后,sleep 1毫秒,并返回简单的一句话)分别对三种方式使用Jemeter进行性能测试(一百个并发,每个并发发送一百个相同消息),结果如下:
单线程的java net:
NIO:
Netty NIO:
以上结果或是受到其他条件的影响,结果仅供供参考
3.2 Callback:
回调在广泛的编程场景中都有应用,一般是在完成某个特定的操作后对相关方法进行调用。
Netty 在内部使用回调来处理事件;当一个回调被触发时,相关的事件可以被一个 interfaceChannelHandler 的实现处理,例如Channel激活时会调用ChannelActive方法,样例代码如下:
public class ConnectHandler extends ChannelInboundHandlerAdapter {@Override public void channelActive(ChannelHandlerContext ctx)throws Exception { System.out.println("Client " + ctx.channel().remoteAddress() + connected"); }}
3.3 Future:
Future一般用在当执行异步操作时需要获取未来的某个时候才能获取到的结果。
JDK 预置了 interface java.util.concurrent.Future,但是其所提供的实现,只
允许手动检查对应的操作是否已经完成,或者一直阻塞直到它完成。这是非常繁琐的,所以 Netty提供了它自己的实现——ChannelFuture,用于在执行异步操作的时候使用。
ChannelFuture提供了几种额外的方法,这些方法使得我们能够注册一个或者多个
ChannelFutureListener实例。监听器的回调方法operationComplete(),将会在对应的
操作完成时被调用。然后监听器可以判断该操作是成功地完成了还是出错了。如果是后者,我们可以检索产生的Throwable。 通过使用ChannelFutureListener机制可以避免对
操作结果进行手动检查。
每个 Netty 的出站 I/O 操作都将返回一个ChannelFuture,即不会阻塞后续的操作。
下面的例子中的connect()方法会直接返回,后续的成功或失败将由其注册的FutureListener来处理。
try { // 使用异步的方式连接Server,不管成功失败,都是执行下面System.out的语句,最后的连接结果由FutureListener进行处理 ChannelFuture future = bootstrap.connect(); System.out.println("Finished connect operation"); future.addListener((ChannelFutureListener) future1 -> { if (future1.isSuccess()){ ByteBuf buffer = Unpooled.copiedBuffer( "Hello", Charset.defaultCharset()); ChannelFuture wf = future1.channel() .writeAndFlush(buffer); System.out.println("Connect successful!"); }else{ System.out.println("Connect failed!"); Throwable cause = future1.cause(); cause.printStackTrace(); } }); System.out.println("Finished connect operation2"); future.channel().closeFuture().sync(); } catch (InterruptedException e) { e.printStackTrace(); }
最后的打印结果如下:
Finished connect operationFinished connect operation2Connect failed!io.netty.channel.AbstractChannel$AnnotatedConnectException: Connection refused: no further information: localhost/127.0.0.1:8888 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:325) at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect ............................................... Caused by: java.net.ConnectException: Connection refused: no further information ... 11 more
3.4 Event
Netty 使用不同的事件来通知状态的改变或者是操作的状态。事件可能包括:
- 连接已被激活或者连接失活
- 数据读取;
- 用户事件;
- 错误事件。
- 打开或者关闭到远程节点的连接;
- 将数据写到或者冲刷到套接字。
每个事件都可以被分发给 ChannelHandler 类中的某个用户实现的方法。这是将事件驱动范式直接转换为应用程序逻辑处理比较理想的位置。
下图展示了事件是怎么被处理的:
对每个事件可以进行,记录日志,数据转换,应用程序逻辑处理等
JAVA进阶架构程序员福利:我这里还总结整理了比较全面的JAVA相关的面试资料,都已经整理成了PDF版,这些都可以分享给大家,关注私信我:【806】,免费领取!
netty并发量一般多少_Netty框架简介相关推荐
- nginx简介(轻量级开源高并发web服务器:大陆使用者百度、京东、新浪、网易、腾讯、淘宝等)(并发量5w)(一般网站apache够用了,而且稳定)...
nginx简介(轻量级开源高并发web服务器:大陆使用者百度.京东.新浪.网易.腾讯.淘宝等)(并发量5w)(一般网站apache够用了,而且稳定) 一.总结 1.在连接高并发的情况下,Nginx是A ...
- voyage java_GitHub - yezilong9/voyage: 采用Java实现的基于netty轻量的高性能分布式RPC服务框架...
Voyage Overview 采用Java实现的基于netty轻量的高性能分布式RPC服务框架.实现了RPC的基本功能,开发者也可以自定义扩展,简单,易用,高效. Features 服务端支持注解配 ...
- 大并发量socket 通信框架
学 JAVA 必然要学习网络通信socket,当我们了解了socket的通信原理后,想要写出一个健壮的socket模块还是很不容易的,scoket+线程+IO,我们使用最原始的代码去实现,往往写出的代 ...
- netty-Netty框架简介
概述:netty-网络通信框架库(第三方库), 本质是对NIO的封装.从高层次看netty,它主要为需要开发高性能应用的开发者解决了技术和体系结构问题.首先,它是基于javaNIO2.0的异步和事件驱 ...
- Java开源——常见J2EE框架简介
Java开源--常见J2EE框架简介 Spring Framework Spring是一个解决了许多在J2EE开发中常见的问题的强大框架. Spring提供了管理业务对象的一致方法并且鼓励了注入对接口 ...
- netty cpu 占用率 高_Netty 是如何支撑高性能网络通信的?
作为一个高性能的 NIO 通信框架,Netty 被广泛应用于大数据处理.互联网消息中间件.游戏和金融行业等.大多数应用场景对底层的通信框架都有很高的性能要求,作为综合性能最高的 NIO 框架 之一,N ...
- 【netty】Netty并发工具-Promise
1.概述 转载并且补充:从源码上理解Netty并发工具-Promise 2.前提 最近一直在看Netty相关的内容,也在编写一个轻量级的RPC框架来练手,途中发现了Netty的源码有很多亮点,某些实现 ...
- Scrapy 框架简介 抓取一点资讯
什么是scrapy ? 1 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛 2 Scrapy 使用了 Twisted['twɪstɪd](其主要对 ...
- PHP微信开发框架LaneWeChat框架简介
框架名称:LaneWeChat 微信PHP开发框架 框架版本:1.4 框架简介:这是一个为快速开发微信应用而生的PHP框架.将微信的开发者功能根据文档进行了封装.为了快速开发的目的,开发者完全不需要要 ...
最新文章
- vue 往对象中添加键值对_【Vue】Vue学习之混入
- Faas 和无服务器架构
- 在csdn上如何快速转载博客
- ​ RROR 1221 (HY000): Incorrect usage of spatial/fulltext/hash index and explicit index orde ​
- ubuntu android设备 no permissions
- 95-36-200-ChannelHandler-系统Channel-LoggingHandler
- python统计word页码_使用Python(win32com)在MS Word表中插入带页码的字段
- nodejs 简单安装环境
- mac安装mysql devel_Mac安装Mysql
- 麦克耳机软件测试知识,怎么测试麦克风(测试pc电脑麦克风 以及耳机扬声器是否正常)...
- Fine-grained prosody modeling
- 大学物理复习笔记:刚体力学基础,动量矩
- CVE-2018-7490 uWSGI PHP Plugin目录遍历
- 超立方体结构图计算机系统,科学网—超立方体或将构成纳米计算机
- python 实现otu表水平转化
- php毕业论文致谢,毕业论文致谢词(看完这条,你的论文致谢词不用愁了)
- 西北农林科技大学考研计算机大纲,2021年西北农林科技大学考研真题大纲参考书目...
- uniapp 选择元素,操作元素属性
- 微信支付服务器繁忙,微信转不了账了怎么回事?微信转账显示系统繁忙怎么办?...
- windows 7(32/64位)GHO安装指南(系统安装篇)~重点哦!!~~~~