java网络流传输，中文乱码问题。

最近需要从某个网页上抓取数据。一波三折。

1. 先要找到网站页面调用后台数据服务的url地址，但是本人对js不了解，花了不少时间在分析其网页源代码的js部分，试图寻找出调用数据的链接。

后来得知浏览器都会追踪页面发出去的所有链接，chrome中，“F12->网络” 会显示所有的调用链接。读取后端数据的链接就在里面。

2. 找到url链接之后，接下来读取数据。

开始时用的是HttpGet类来读取，代码如下：

HttpGet httpGet = new HttpGet(url);
CloseableHttpResponse response = null;
try {response = httpClient.execute(httpGet);HttpEntity entity = response.getEntity();body = EntityUtils.toString(entity);
} catch (IOException e) {e.printStackTrace();
}return body

但是在body中，总是会有乱码的出现，如在页面上显示的“凱”在程序中显示为乱码。在页面上请求头和响应头的内容，发现返回的字符集是“gb2312”，于是把代码改为

body = EntityUtils.toString(entity，“gb2312”);

但是仍然显示为乱码。

于是在网上（http://www.qqxiuzi.cn/bianma/zifuji.php）查询“凱”等乱码的字符集，发现“GBK”包含这些，而“GB2312”并不包含这些比较少见的字。看来是网页上的字符集信息不太对。

接着把代码修改为

body = EntityUtils.toString(entity，“gbk”);

还是有问题。。。

接着尝试在http头中加入“charset=gbk”，没有变化，服务端不支持。。。

3. 改为从网页读取字节流数据

上一步改完代码后仍然有问题，猜测是EntityUtils内部已经做好了转换。但是不知道怎么更进一步，所以打算从源头开始，接收字节流数据。

代码如下：

URL quest = new URL(url);
HttpURLConnection Connection = (HttpURLConnection).quest.openConnection();
InputStream is = Connection.getInputStream();
int len = 0;
byte[] temp = new byte[102400];
int llen = -1;
ByteArrayOutputStream outStream = new ByteArrayOutputStream();
while ((llen = is.read(temp, 0, 102400)) != -1) {outStream.write(temp, 0, llen);
}
is.close();
content = new String(outStream.toByteArray(),"gbk");

用ByteArrayOutputStream接收byte数据，是为了防止中间被截断导致最后翻译目标字符集的时候出现错误。

这么使用的前提是要知道数据的字符集编码。

从结果往回看是一个简单的方法，但是之中的每一步都花费了不少精力才找到正确的方向，debug是个苦力活~~~

综上，看来最有效的方法是接收字节流，自己转成相应字符集编码格式。

转载于:https://www.cnblogs.com/starRebel/p/5630872.html

java网络流传输，中文乱码问题。相关推荐

java 页面传输中文乱码解决方式
post 中文乱码解决方案接受数据的时候设置 request.setCharacterEncoding("utf-8");//编码必须和页面编码一致页面设置 <%@pag ...
ajax 传输中文乱码,关于Ajax请求中传输中文乱码问题的解决方案
今天遇到一个问题,有关ajax 请求中传输中文,遇到乱码的问题. 如下代码: function UpdateFolderInfoByCustId(folderId, folderName, custI ...
Java的各种中文乱码解决方法
Java的各种中文乱码解决方法参考文章: (1)Java的各种中文乱码解决方法 (2)https://www.cnblogs.com/Survivalist/p/9015754.html 备忘一下.
java 中文乱码过滤器_JAVA中文乱码过滤器(用java过滤器解决中文乱码)V0422 整理版...
JAVA中文乱码过滤器(用java过滤器解决中文乱码)V0422 整理版不用再担心java中文乱码问题,一步到位,一次性解决.更方便更快捷. web-xml配置 EncodingFilter com ...
java: jsp:param中文乱码
java: jsp:param中文乱码假如a.jsp/b.jsp文件中 a.jsp代码: 需要加入:request.setCharacterEncoding("UTF-8") ...
java控制台打印输出中文乱码解决办法
java控制台打印输出中文乱码解决办法问题:IDEA控制台打印时出现中文乱码原因:java资源的编码和ideal的不一致解决办法: 第一步 1:打开intelliidea安装路径,Intel ...
IDEA上Java项目控制台中文乱码
目录一.错误说明二.解决方案第一步,修改 idea64.exe.vmoptions 文件第二步,修改 IDE 编码第三步,添加 vm options 第四步,编辑自定义 vm options ...
ajax中解决乱码的问题,关于Ajax请求中传输中文乱码问题的解决方案
今天遇到一个问题,有关ajax 请求中传输中文,遇到乱码的问题. 如下代码: function UpdateFolderInfoByCustId(folderId, folderName, custI ...
java在Socket传输中文乱码解决思路及代码
中文乱码产生的原因就是从GBK转到UTF-8,或者是不同的编码格式来回转,导致byte[]中存放的字节丢失. 思路是:在客户端进行传输前,将需要传输的字节,以一个编码方式进行传输,假设设置GBK,之后 ...
java web中中文乱码问题汇总
2019独角兽企业重金招聘Python工程师标准>>> 关于使用java 进行的javaweb开发时候的中文乱码的解决方法如下是其中的内容: 1,jsp页面中文乱码解决办法:文件 ...

java网络流传输，中文乱码问题。

java网络流传输，中文乱码问题。相关推荐

最新文章

热门文章