2019独角兽企业重金招聘Python工程师标准>>>

核心提示:先列出 HessianPHP 的错误提示: CURL transport error: transfer closed with outstanding read data remaining 基础知识背景: 1)“Expect: 100-continue”的来龙去脉: HTTP/1.1 协议里设计100 (Continue) HTTP 状态码的的目的是,在客 ...

先列出 HessianPHP 的错误提示:

CURL transport error: transfer closed with outstanding read data remaining


基础知识背景:

1)“Expect: 100-continue”的来龙去脉:  HTTP/1.1 协议里设计100 (Continue) HTTP 状态码的的目的是,在客户端发送 Request Message 之前,HTTP/1.1 协议允许客户端先判定服务器是否愿意接受客户端发来的消息主体(基于 Request Headers)。  即,Client 和 Server 在 Post (较大)数据之前,允许双方“握手”,如果匹配上了,Client 才开始发送(较大)数据。  这么做的原因是,如果客户端直接发送请求数据,但是服务器又将该请求拒绝的话,这种行为将带来很大的资源开销。  协议对 HTTP/1.1 clients 的要求是:

如果 client 预期等待“100-continue”的应答,那么它发的请求必须包含一个 " Expect: 100-continue" 的头域!

2)libcurl 发送大于1024字节数据时启用“Expect:100-continue‘特性:

这也就是 Laruence 在 2011 年撰文所写的:  内容来自17jquery

在使用 curl 做 POST 的时候,当要 POST 的数据大于 1024 字节的时候,curl 并不会直接就发起 POST 请求,而是会分为两步: 1. 发送一个请求,包含一个 "Expect: 100-continue" 头域,询问 Server 是否愿意接收数据; 2. 接收到 Server 返回的 100-continue 应答以后,才把数据 POST 给 Server; 这是 libcurl 的行为。

一起jquery,17jquery

zxgfa 在 2012年补充说:

第一,libcurl 在发送大于 1024 字节的 POST 请求时采用了这种方法,但是相对的,它会引起请求延迟的加大。 第二,并不是所有的 web server 都能正确处理并应答“100-continue”,比如 lighttpd,就会返回417” Expectation Failed “,造成请求逻辑出错。(郑昀注1:lighttpd 1.4 版本有此严重问题,于1.5版本修复。 郑昀注2:Resin 于 3.0.5 版本增加了对 Expect: 100-continue 的支持。)

3)PHP Curl-library 可以主动封禁此特性:  有人在PHP手册::curl_setopt下留言说:  PHP curl 遵从 libcurl 的特性。由于不是所有 web servers 都支持这个特性,所以会产生各种各样的错误。如果你遇到了,可以用下面的命令封禁"Expect"头域: <?php

curl_setopt($ch,CURLOPT_HTTPHEADER, array('Expect:'));
?>
 pooy示范代码如下所示:

内容来自17jquery

图1 You can convince PHP's curl backend to stop doing the 100-continue-thing by setting an explicit request header


其他知识背景:

  • 根据HessianTransport 代码所述,”Hessian request using the CURL library“。


问题现象:

通信协议是 Hessian。 调用接口时所传参数在某种极端条件下, POST 的数据长度超过 1024 字节,hessian 报错“CURL transport error: transfer closed with outstanding read data remaining”。

解决:修改hessian中 CURLOPT 项: CURLOPT_HTTPHEADER => array("Content-Type: application/binary") 改为 CURLOPT_HTTPHEADER => array("Content-Type: application/binary","Expect:")

转载于:https://my.oschina.net/wojibuzhu/blog/288702

curl只能抓取页面的部分内容的原因相关推荐

  1. PHP使用CURL抓取页面

    cURL的基本原理 curl是利用URL语法在命令行方式下工作的开源文件传输工具,他能够从互联网上获得各种各样的网络资源.简单来说,curl就是抓取页面的升级版. <?php//1.初始化,创建 ...

  2. 【php】curl模拟登录抓取页面信息

    [php]curl模拟登录抓取页面信息 在本项目中,使用php抓取四川大学综合教务网站的成绩信息.课程信息以及登录用户的基本资料,解析数据并存入数据库,以实现对所得信息的进一步分析,并呈现给用户. 本 ...

  3. php 正则抓取页面内容_PHP_php获取网页内容方法总结,抓取到的内容在通过正则表达 - phpStudy...

    php获取网页内容方法总结 抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容,至于如何用正则表达式过滤,在这里就不做介绍了,有兴趣的,以下就是几种常用的用php抓取网页中的内容的方法. 1. ...

  4. php登录页面后抓取页面内容,PHP模拟登陆抓取页面内容

    平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆. 大致思路:需要先请求提取 cookies 并保存,然后利用保存 ...

  5. php抓取页面内容乱码,如何解决抓取乱码php网页的问题

    爬行乱码php网页的解决方案:1.使用"mbconvertencoding"来转换编码:2.设置并添加"curl _ setopt ($ ch,curl opt _ en ...

  6. apache httpclient 工具类_Java教程分享使用HttpClient抓取页面内容

    Java教程分享使用HttpClient抓取页面内容,使用HttpClient工具来发送Http请求 1.简介 HttpClient 是 Apache Jakarta Common 下的子项目,用来提 ...

  7. curl抓取页面时遇到重定向的解决方法(转)

    用php的curl抓取网页遇到了问题,为阐述方便,将代码简化如下: [php] view plaincopy <?php function curlGet($url) { $ch = curl_ ...

  8. c# 连续抓取页面内容

    实现功能:去一个url抓取页面,在页面的内容里面在去找另一个url.找到这个这url之后经过一系列操作后再去重组的url去抓取内容. 第一.写出c#抓取页面的代码 c#抓取页面 1 using Sys ...

  9. 抓取百度页面html,百度会抓取页面代码中的注释内容吗

    百度会抓取页面代码中的注释内容吗 内容导读:百度会抓取页面代码中的注释内容吗?答案是百度会抓取,但是在提取正文的时候会直接忽略掉,也就是说页面代码的注释内容不会影响到页面质量,所以大家尽管放心. 问题 ...

最新文章

  1. python 使用import导入不同文件下的文件
  2. 解决PHP大文件上传问题
  3. python三种导入模块的方法和区别
  4. python 监控jvm脚本
  5. java如何写线程外部类_廖雪峰Java读书笔记(六)--多线程(或称并发)
  6. python unicodedecodeerror_如何解决python UnicodeDecodeError问题?
  7. 如何保证MongoDB的安全性? 1
  8. Deepin下java开发环境部署
  9. 2021年中国家装行业数字化转型研究报告
  10. 在Windows 下使用CodeBlocks 自带编译器实现对编译的优化
  11. 8635 气球(组合数)
  12. 用c语言加密,求助:如何用C语言实现LFSR加密
  13. 大学c语言第三章作业,c语言程序设计一章部分和第三章习题答案.doc
  14. 将 Entity Framework、LINQ 和 Model-First 用于 Oracle 数据库
  15. spring boot英语在线学习系统毕业设计-附源码211714
  16. Unity学习笔记--无限地图(地图拼接)
  17. Vue项目中实现改变屏幕尺寸重新刷新页面-计算页面尺寸
  18. Java总结IO之总集篇
  19. 图像处理学习笔记(一)
  20. 如何通便清肠快速见效_为什么有时候会一连几天没有排便?如何快速清肠通便?...

热门文章

  1. [Err] 1231 - Variable 'sql_mode' can't be set to the value of 'NULL
  2. Bootstrap页面布局10 - BS表格
  3. vim上下左右键输出A B
  4. 小熊的人生回忆(六)
  5. Python TabError inconsistent use of tabs and spaces in indentation 错误问题描述以及解决
  6. Hibernate之Criteria查询
  7. mysql的rowscn_Oracle ORA_ROWSCN 伪列 说明
  8. mysql 5.6.17 备份还原_mysql 备份和恢复
  9. 外接显示器设置_如何为一台电脑设置两个显示器
  10. SpringBoot2.x整合Activiti7后,禁用SpringBootSecurity问题