python的request返回400_爬虫发出ajax请求，requests能获取正常响应，scrapy发出请求却返回400...

我爬取一个网站，数据是要向服务器发出异步请求加载带，我仿造headers,参数都没有错误，用requests能获取正常响应，当scrapy不行

def parse_histical_data(self, response):

html = BeautifulSoup(response.body, 'lxml')

patterm = re.compile(r'smlId: [0-9]*', re.MULTILINE|re.UNICODE)

script = html.find('script', text=patterm).text

smlId_text = patterm.search(script).group()

smlId = smlId_text.split(' ')[1]

curr_id = response.meta['pair_id']

header=html.select('#leftColumn > div.instrumentHeader > h2')[0].string

st_date = '01/01/2001'

end_date = '05/07/2050'

interval_sec = 'Daily'

sort_col = 'date'

sort_ord = 'DESC'

action = 'historical_data'

data = {'smlID': smlId, 'curr_id': curr_id, 'header': header, 'st_date': st_date, 'end_state': end_date,

'interval_sec': interval_sec, 'sort_col': sort_col, 'sort_ord': sort_ord, 'action': action}

head = self.download_headers.copy()

request = FormRequest(self.his_url, callback=self.parse_histical_data,

headers=head, formdata=data)

yield request

请求带网址是'https://www.investing.com/ins...'，使用一模一样带headers和data，scrapy返回400

python的request返回400_爬虫发出ajax请求，requests能获取正常响应，scrapy发出请求却返回400...相关推荐

python提前查成绩_Python爬虫案例——正方教务学生成绩获取（自动识别验证码）...
刚刚进入假期,学校开放了期末成绩查询,奈何正方教务的各种卡顿.很多学弟学妹问有没有好办法能够解决,闲来无事写了一段自动获取的爬虫程序练练手. 环境Python3.7 Jupyter 主要库reques ...
python爬虫（三）requests模块和urllib的post请求
urllib发送post请求案例:制作简易翻译软件学习目标:使用urllib发送post 用户需求:通过python制作简易版的小翻译软件 Response(响应)我们向URL发送的请求,得到的响 ...
python爬虫基础Ⅱ——Ajax数据爬取、带参请求：QQ音乐歌单、QQ音乐评论
文章目录基础爬虫部分Ⅱ Ajax技术 json 1. Network 2. XHR怎么请求? 3. 什么是json? 4. json数据如何解析? 带参数请求 1. 复习 2. params 3. ...
Python+Selenium多线程基础微博爬虫
一.随便扯扯的概述大家好,虽然我自上大学以来就一直在关注着CSDN,在这上面学到了很多知识,可是却从来没有发过博客(还不是因为自己太菜,什么都不会),这段时间正好在机房进行期末实训,我们组做的是一个 ...
以下用于数据存储领域的python第三方库是-『爬虫四步走』手把手教你使用Python抓取并存储网页数据！...
第一步:尝试请求首先进入b站首页,点击排行榜并复制链接 https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950 ...
爬虫必备，案例对比 Requests、Selenium、Scrapy 爬虫库！
经常有读者会爬虫学哪个库?其实常用的 Python 爬虫库无非是requests,selenium和scrapy,且每个库都有他们的特点,对于我来说没有最推荐的库只有最合适库,本文就将基于一个简单的爬 ...
知己知彼，案例对比 Requests、Selenium、Scrapy 爬虫库！
大家好,我是早起. 经常有读者会爬虫学哪个库?其实常用的 Python 爬虫库无非是requests,selenium和scrapy,其实每个库都有他们的特点,对于我来说没有最推荐的库只有最合适库,本 ...
python urllib.request 爬虫数据处理-Python网络爬虫(基于urllib库的get请求页面)
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...
python爬虫今日头条_python爬虫—分析Ajax请求对json文件爬取今日头条街拍美图
python爬虫-分析Ajax请求对json文件爬取今日头条街拍美图前言本次抓取目标是今日头条的街拍美图,爬取完成之后,将每组图片下载到本地并保存到不同文件夹下.下面通过抓取今日头条街拍美图讲解一 ...
【python爬虫】Ajax英雄的皮肤进行保存及英雄基本信息保存至Excel
文章目录下面开始正式教学! 思路分析: 开始工作: 这里要注意一下实现以下是全部代码: 相信大家都知道撸啊撸这个游戏了吧,小时候偷偷跑去网吧和朋友们开黑的日子,那是我们逝去的青春. 学了爬虫课后 ...

python的request返回400_爬虫发出ajax请求，requests能获取正常响应，scrapy发出请求却返回400...

python的request返回400_爬虫发出ajax请求，requests能获取正常响应，scrapy发出请求却返回400...相关推荐

最新文章

热门文章