高性能NIO框架Netty入门篇
http://cxytiandi.com/blog/detail/17345
Netty介绍
Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。
也就是说,Netty 是一个基于NIO的客户、服务器端编程框架,使用Netty 可以确保你快速和简单的开发出一个网络应用,例如实现了某种协议的客户,服务端应用。Netty相当简化和流线化了网络应用的编程开发过程,例如,TCP和UDP的socket服务开发。
官网地址:http://netty.io/
使用场景
Netty之所以能成为主流的NIO框架,是因为它有下面的优点:
- NIO的类库和API使用难度较高,Netty进行了封装,容易上手
- 高性能,功能强大,支持多种编解码功能,支持多种主流协议
- 成熟,稳定,已经在多个大型框架中使用(dubbo,RocketMQ,Hadoop,mycat,Spring5)
- …..
在几年之前我上家公司用的是Mina来开发一个IM的系统,Mina也是一个很好的框架(http://mina.apache.org/)。
如今很多的框架都改成用Netty来做底层通讯了,我司现在还有一个代理框架用Mina写的,等把Netty玩遛了可以重构了。
不知道大家看完了上面的介绍是不是已经知道Netty能用在什么场景了,下面我结合一个我之前做过的事情来进行详细的说明,当然只是使用场景的一方面而已。
之前做抓取的时候,有一些小型的网站,页面结构比较复杂,还需要登录等操作,这种就不能用统一的抓取系统去抓取,只能通过写脚本的方式针对具体的网站做抓取,抓取必备的一个条件就是代理IP,为了方便抓取,特意封装了一个抓取的SDK,提供了抓取的方法,内置了切换代理。
我们有一个代理池服务,通过一个网址去获取能使用的代理IP,在刚开始用的Http请求去获取代理IP,由于抓取量比较大,通过Http请求去获取代理IP效率不行,后面用Netty改造了获取IP这部分,通过Netty来获取数据,解决了实时获取的性能问题。
通过长连接的方式,避免了Http请求每次都要建立连接带来的性能消耗问题,通过二进制的数据传输减少网络开销,性能更高。
简单入门
我们编写一个服务端和客户端,客户端往服务端发送一条消息,消息传输先用字符串进行传递,服务端收到客户端发送的消息,然后回复一条消息。
首先编写服务端代码:
public class ImServer {
public void run(int port) {
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup();
ServerBootstrap bootstrap = new ServerBootstrap();
bootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast("decoder", new StringDecoder());
ch.pipeline().addLast("encoder", new StringEncoder());
ch.pipeline().addLast(new ServerStringHandler());
}
})
.option(ChannelOption.SO_BACKLOG, 128)
.childOption(ChannelOption.SO_KEEPALIVE, true);
try {
ChannelFuture f = bootstrap.bind(port).sync();
f.channel().closeFuture().sync();
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
workerGroup.shutdownGracefully();
bossGroup.shutdownGracefully();
}
}
}
- 通过ServerBootstrap 进行服务的配置,和socket的参数可以通过ServerBootstrap进行设置。
- 通过group方法关联了两个线程组,NioEventLoopGroup是用来处理I/O操作的线程池,第一个称为“boss”,用来accept客户端连接,第二个称为“worker”,处理客户端数据的读写操作。当然你也可以只用一个NioEventLoopGroup同时来处理连接和读写,bootstrap.group()方法支持一个参数。
- channel指定NIO方式
- childHandler用来配置具体的数据处理方式 ,可以指定编解码器,处理数据的Handler
- 绑定端口启动服务
消息处理:
/**
* 消息处理
* @author yinjihuan
*
*/
public class ServerStringHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
System.err.println("server:" + msg.toString());
ctx.writeAndFlush(msg.toString() + "你好");
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
cause.printStackTrace();
ctx.close();
}
}
启动服务,指定端口为2222:
public static void main(String[] args) {
int port = 2222;
new Thread(() -> {
new ImServer().run(port);
}).start();
}
编写客户端连接逻辑:
public class ImConnection {
private Channel channel;
public Channel connect(String host, int port) {
doConnect(host, port);
return this.channel;
}
private void doConnect(String host, int port) {
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
Bootstrap b = new Bootstrap();
b.group(workerGroup);
b.channel(NioSocketChannel.class);
b.option(ChannelOption.SO_KEEPALIVE, true);
b.handler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast("decoder", new StringDecoder());
ch.pipeline().addLast("encoder", new StringEncoder());
ch.pipeline().addLast(new ClientStringHandler());
}
});
ChannelFuture f = b.connect(host, port).sync();
channel = f.channel();
} catch(Exception e) {
e.printStackTrace();
}
}
}
客户端消息处理:
/**
* 当编解码器为字符串时用来接收数据
* @author yinjihuan
*
*/
public class ClientStringHandler extends ChannelInboundHandlerAdapter {
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
System.out.println("client:" + msg.toString());
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
cause.printStackTrace();
ctx.close();
}
}
客户端启动入口,然后发送消息给服务端:
public static void main(String[] args) {
String host = "127.0.0.1";
int port = 2222;
Channel channel = new ImConnection().connect(host, port);
channel.writeAndFlush("yinjihuan");
}
测试步骤如下:
- 首先启动服务端
- 启动客户端,发送消息
- 服务端收到消息,控制台有输出
server:yinjihuan
- 客户端收到服务端回复的消息,控制台有输出
client:yinjihuan你好
源码参考:https://github.com/yinjihuan/netty-im
更多技术分享请关注微信公众号:猿天地
高性能NIO框架Netty入门篇相关推荐
- java netty 教程_Java NIO框架Netty教程(十六)
该图是OneCoder通过阅读Netty源码,逐渐记录下来的.基本可以说明Netty服务的启动流程.这里在具体讲解一下. 首先说明,我们这次顺利的流程是基于NioSocketServer的.也就是基于 ...
- 【Java进阶营】Java异步NIO框架Netty实现高性能高并发
1. 背景 1.1. 惊人的性能数据 最近一个圈内朋友通过私信告诉我,通过使用Netty4 + Thrift压缩二进制编解码技术,他们实现了10W TPS(1K的复杂POJO对象)的跨节点远程服务调用 ...
- Netty入门篇-从双向通信开始
百度百科描述 Netty是由JBOSS提供的一个java开源框架,现为 Github上的独立项目.Netty提供异步的.事件驱动的网络应用程序框架和工具,用以快速开发高性能.高可靠性的网络服务器和客户 ...
- 高性能Redis实战 - 实战入门篇 - 基于 Redis 实现 Laravel 全站访问 PV 统计中间件功能
1.应用场景 主要用于学习Redis缓存使用,以及如何基于Lavavel(中间件)现实全站PV统计, 触类旁通,其他框架或者功能实现是一样的道理,只是代码实现起来,会有差别- 2.学习/操作 1.文档 ...
- Java NIO 框架 Netty 之美:粘包与半包问题
Netty 是一个可以快速开发网络应用程序的 NIO 框架,它大大简化了 TCP 或者 UDP 服务器的网络编程.Netty 的简易和快速开发并不意味着由它开发的程序将失去可维护性或者存在性能问题,它 ...
- netty半包粘包 处理_Java NIO 框架 Netty 之美:粘包与半包问题
一.前言 Netty 是一个可以快速开发网络应用程序的 NIO 框架,它大大简化了 TCP 或者 UDP 服务器的网络编程.Netty 的简易和快速开发并不意味着由它开发的程序将失去可维护性或者存在性 ...
- java nio oio_Java NIO框架Netty教程(十四)-Netty中OIO模型(对比NIO)
OneCoder这个周末搬家,并且新家目前还没有网络,本周的翻译的任务尚未完成,下周一起补上,先上一篇OIO和NIO对比的小研究. Netty中不光支持了Java中NIO模型,同时也提供了对OIO模型 ...
- Java NIO框架Netty教程(一) – Hello Netty
先啰嗦两句,假设你还不知道Netty是做什么的能做什么.那能够先简单的搜索了解一下.我仅仅能说Netty是一个NIO的框架,能够用于开发分布式的Java程序.详细能做什么,各位能够尽量发挥想象.技术, ...
- java nio oio_Java NIO框架Netty教程(十四) Netty中OIO模型(对比NIO)
Netty中不光支持了Java中NIO模型,同时也提供了对OIO模型的支持.(New IO vs Old IO). 首先,在Netty中,切换OIO和NIO两种模式是非常方便的,只需要初始化不同的Ch ...
最新文章
- 面向对象之内置方法(简单)、组合。以及接口归一化设计与抽象类
- java 数组 反射_java数组的反射
- django之创建第8-2个项目-数据库数据提取之过滤操作符相关
- 计算机软件评估资料,软件项目工作量评估方法 计算机软件及应用 IT计算机 专业资料.doc...
- 计算机无法安装dx11,dx11组件是什么?提示缺少dx11组件的具体安装步骤
- PGMIntro概率图模型
- [从零开始学习FPGA编程-22]:进阶篇 - 架构 - FPGA内部硬件电路的设计与建模
- seo模拟点击软件_百度搜索SEO优化算法揭秘
- 广东省计算机学校,广东省计算机基础练习平台(高校版)安装设置方法
- Python:Dir及str函数
- Unity制作简单3D图表
- Webpack 搭建 Vue + ts + tsx
- 王者荣耀赛季更新服务器维护到什么时候,王者荣耀s9维护到几点 王者荣耀s10赛季上线时间一览...
- Android Protobuf应用及原理
- MySQL报错1677
- 一句话木马的工作原理
- 制作CRM管理系统04(客户增加)
- 互联网未来7大猜想 (欢迎指正)
- R 报错:参数不是数值也不是逻辑值:回覆NA--数据科学新类型tibble
- 关于nginx上的limit_req_zone模块限流使用与geo与map的白名单配置