博主是一个近十年的老书虫了,从高中那会儿就开始看网络小说。每天半天看晚上看啊,终于眼睛也近视了,成绩也下降了(。。。。好像说远了)
最近在追辰东的《圣墟》,最近写到精彩部分了,一直等更新。但是也不能一直开着浏览器刷新啊。。。。
于是乎,就发挥了咱们程序员自给自足的精神,写一个程序去监听,然后等又更新的时候,自动打开浏览器,然后就可以愉快的看书了。。

-说干就干,打开VS2017,新建一个。。。。。。随便啥项目,然后写入

HttpClient httpClient = new HttpClient();var message = await httpClient.GetAsync(a);var html = await message.Content.ReadAsStringAsync();

-然后习惯性的Debug看一下html的值。。。。我的天。。。。

这啥玩意儿???

-然后我以为是编码问题,于是乎我又加上编码

var contentType = message.Content.Headers.ContentType;
if (string.IsNullOrEmpty(contentType.CharSet))
{contentType.CharSet = "utf-8";
}

-然后结果还是一样啊。。。。。我的天,难道这破网站有啥反爬虫机制???
-于是我又分析浏览器的请求,把请求头给加上

httpClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
httpClient.DefaultRequestHeaders.Referrer = new Uri("http://m.gxwztv.com/");
httpClient.DefaultRequestHeaders.Add("Cookie", "cids_AC=92542; cids_AC3=12743; cids_NU=12533; ras=41901%2C2121%2C12743%2C92542; cids_AC1=2121%2C41901; cv=5; fs=16; which=2");
httpClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1");
httpClient.DefaultRequestHeaders.Add("Accept-Language", "zh-CN,zh;q=0.8,en;q=0.6");
httpClient.DefaultRequestHeaders.Add("Connection", "keep-alive");
httpClient.DefaultRequestHeaders.Add("DNT", "1");
httpClient.DefaultRequestHeaders.Add("Accept-Encoding", "gzip, deflate, sdch");

这下终于对了把???然后F5运行。。。我的天,还是不对。。。。

-然后我又瞎找了十来分钟原因,最后瞟到上面那行代码。。。。对!没错,就是那个Gzip。。。。我想会不会是要解压啊。。。web程序员的我,平时这些都是浏览器帮我搞定了啊,我哪儿知道这些啊。
-于是又翻开万能的MSDN。。。找httclient解压Gzip的api。。。。

var handler = new HttpClientHandler()
{AutomaticDecompression = DecompressionMethods.GZip
};
HttpClient httpClient = new HttpClient(handler);

然后就这样,然后再次F5.。。。。这下终于对了。。。。

继续写吧,争取再23.30之前写完这个小工具。。。。

转载于:https://www.cnblogs.com/boxrice/p/8179741.html

HttpClient读取数据乱码的解决方案相关推荐

  1. PHP 利用PHPExcel到处数据到Excel;还有导出数据乱码的解决方案。

    PHP 利用PHPExcel到处数据到Excel:还有导出数据乱码的解决方案. 参考文章: (1)PHP 利用PHPExcel到处数据到Excel:还有导出数据乱码的解决方案. (2)https:// ...

  2. [HttpClient]HTTPClient PostMethod 中文乱码问题解决方案(2种)

     HTTPClient PostMethod 中文乱码问题解决方案(2种) Apache HttpClient ( http://jakarta.apache.org/commons/httpcl ...

  3. php读取数据显示乱码,php读取数据乱码怎么办

    php读取数据乱码的解决办法:首先将php网页编码设置为"UTF-8":然后连接数据库并插入代码为"$program_char="utf8";mysq ...

  4. 关于下载表格数据乱码的解决方案

    近期我学会了一种处理下载数据中出现乱码的解决方案,解决了以前一直存在的问题,接下来就分享给大家. 1.以下是下载表格以及乱码 2.解决方案 另外创建一个新的Excel文件 点击资料标签,从文字/CSV ...

  5. R语言:读取中文数据乱码的解决方案

    R语言不是中国人开发的,自然对中文的处理上没有特别考虑,但是我们依然可以处理. 下面我给出了解决方案.但我想,别的读取解决方案应该也是一样的.不信,可以看我的下一篇文章对各种类型的中文数据的读取. 一 ...

  6. 项目优化:当使用redis减少数据库压力时,遇到redis写入失败,造成读取数据问题的解决方案

    场景: 我们项目用到了mq,有一个专门的服务在跑异步任务去发mq,这个mq的数据不是从数据库里面查的,而是从redis里面取的,之所以这么做,有两个原因: 1.使用redis减少数据库的压力: 2.本 ...

  7. redis可视化工具读取数据乱码问题解决

    一.问题描述 二.问题原因 这是因为Redis默认序列化规则导致的,Spring的RedisTemplate默认的序列化规则是JdkSerializationRedisSerializer,如下图所示 ...

  8. navicat导出longtext类型数据乱码的解决方案

    一.先使用sql查询出需要导出的内容,将longtext类型使用cast转化成char类型 SELECT company_id,   wechat_mp_appid,   CAST(survey_ri ...

  9. 实用 | 从Apache Kafka到Apache Spark安全读取数据

    引言 随着在CDH平台上物联网(IoT)使用案例的不断增加,针对这些工作负载的安全性显得至关重要.本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据,以及针对物联网(IoT)使用案例的两 ...

  10. php tp 查数据库数据一条_php读取数据库乱码

    从后台读取数据时,通常会出现乱码情况,比如"汉字"变成"?"等,造成这种情况的原因通常是编码设置不对,解决方法如下: 第一种方法: 在php中添加如下代码,将编 ...

最新文章

  1. 使用Java中的Try-With-Resource
  2. 剑指Offer--青蛙跳台阶引发的一系列问题
  3. STM32超声波模块测距串口输出/通用定时器中断并输出PWM控制舵机/系统定时器延时
  4. Linux命令整理 —— 目录结构
  5. 如何在Red Hat Linux上安装和配置FreeIPA
  6. MFCC特征提取过程详解
  7. (转)Altera的几个常用的Synthesis attributes
  8. 服装色差的识别成因与预防
  9. java redis pubsub_如何从Java中的生菜RedisPubSubListener获取消息?
  10. 机械加工行业QC数据采集与CPK分析案例分享
  11. 你不懂之-- 什么是源型 漏型?什么是上拉电阻?下拉电阻?什么是 线驱动输出 集电极开路输出,推挽式输出?
  12. 英语在计算机专业的作用,计算机专业英语的重要性.doc
  13. OSPF沉默接口配置
  14. 计算机硬件cpu指令执行过程,cpu执行指令的过程详解
  15. 微信小程序开发测试appId如何改为真正的appid
  16. 计算机组成原理-流水线技术学习笔记1
  17. 二级管/三极管门电路原理
  18. 做流程图软件有哪些?来看看今天的分享
  19. 微信公众号开发之订阅号如何获取用户信息(一)
  20. Uml 理解Rational Rose软件中四种视图和Uml 9类图之间的关系

热门文章

  1. 键盘输入字符串统计_C语言 | 统计选票结果的程序
  2. python定义一维数组
  3. 安装opcenccv-python以后仍然No module named ‘cv2‘
  4. Linux中配置pacman镜像源(manjaro)
  5. 2021-06-26图层的概念
  6. php web browser,如何在PHP Scriptable Web Browser中調用javascript函數
  7. python编写量化交易程序英语_Python量化交易开源框架:AmazingQuant
  8. C++ error: use of deleted function ‘std::atomic<short unsigned int>::atomic(const std::atomic<short
  9. Mac如何删除python Python cannot be opened because of a problem
  10. 《我一开口,就能说服所有人》读书随记