python爬虫——爬去淘宝商品页面，总是跳转到登录界面

考虑到cookie的问题
但是在headers={}中添加cookie 的信息，仍然跳转。时而跳转时而不跳转

在成功3次后，再次重定向到登录界面
考虑可能原因：淘宝反爬机制

import requests
import re
def getHTMLText(url):try:headers = {"user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36","cookie": "_uab_collina=157258226625083933457665; thw=cn; t=36d1cd24cf0143fb6accdf025534d197; enc=97GhrHhKkErSIlgzQuOf4gDv8yB1IDMrzS%2FqNp8OhQXosfA5%2Bpm6Vj4%2B%2FjCYIIsIglI%2FeakHaMTRg2bsOCGe%2Fg%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; cookie2=130c64bc2ccdc80f7d3858f7c4143707; _tb_token_=ede063be6e3ee; XSRF-TOKEN=a5e7e17c-f1d8-4ece-8f63-20dd0adc170c; mt=ci=0_0; cna=PpdBFupPaykCAbdAPqcqw59D; isg=BFlZdWsdY9ah6DznWNPShWvxaEwz5k2YGu7yC3sO5wD_gngUwTA4a72QgAZROuXQ; l=cBLufjhqqvUwqS6yBOCZhurza7799IRAguPzaNbMi_5CU6L65G7Oovk9xFp6cjWdOrYp4-ERe5p9-eteiNF7dhspXUJ1."}r=requests.get(url,timeout=30,headers=headers)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ""
def parsePage(ilt,html):try:plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)for i in range(len(plt)):price=eval(plt[i].split(':')[1])title=eval(tlt[i].split(':')[1])ilt.append([price,title])except:return ""
def printGoodsList(ilt):tply="{:4}\t{:8}\t{:16}"print(tply.format("序号","价格","商品价格"))count=1for g in ilt:count=count+1print(tply.format(count,g[0],g[1]))
def main():goods="狗屎"depth=3strat_url='https://s.taobao.com/search?q='+goodsinfoList=[]for i in  range(depth):try:url=strat_url+"&s="+str(44*i)html=getHTMLText(url)parsePage(infoList,html)except:continueprintGoodsList(infoList)
main()

python爬虫——爬去淘宝商品页面，总是跳转到登录界面相关推荐

利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇，超详细教程
项目内容本案例选择>> 商品类目:沙发: 数量:共100页 4400个商品: 筛选条件:天猫.销量从高到低.价格500元以上. 项目目的 1. 对商品标题进行文本分析词云可视化 2. ...
python爬虫 — 爬取淘宝商品信息
(一)确定需要爬取的信息在爬取前首先确定需要获取的信息,打开taobao,在搜索框中输入,需要获取的商品的信息,比如ipad,点击搜索就可以看到许多的ipad,选择其中的一款商品,比如第一个可以 ...
python爬虫爬取淘宝商品并保存至mongodb数据库
使用工具介绍 python3.8 selenium(请确保你已经成功安装了谷歌驱动chromedriver) mongodb数据库 mongo-compass 谷歌浏览器分析请求链接打开淘宝首页的 ...
python爬虫爬取淘宝搜索页面商品信息数据
主要使用的库: requests:爬虫请求并获取源码 re:使用正则表达式提取数据 json:使用JSON提取数据 pandas:使用pandans存储数据以下是源代码: #!coding=utf- ...
无法爬取淘宝商品页面
问题描述:无法爬取淘宝商品页面案例如下: import requests import redef getHTMLText(url):try: r = requests.get(url,timeou ...
Python + selenium 爬取淘宝商品列表及商品评论 2021-08-26
Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26] 主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒主要内容通过python3.8+ sel ...
python淘宝爬虫_python爬虫爬取淘宝商品信息
本文实例为大家分享了python爬取淘宝商品的具体代码,供大家参考,具体内容如下 import requests as req import re def getHTMLText(url): try: ...
Python爬虫之获取淘宝商品数据
爬取淘宝信息数据首先需要先导入webdriver from selenium import webdriver webdriver支持主流的浏览器,比如说:谷歌浏览器.火狐浏览器.IE浏览器等等然 ...
Python爬虫之获取淘宝商品信息
首先需要先导入webdriver from selenium import webdriver 复制代码 webdriver支持主流的浏览器,比如说:谷歌浏览器.火狐浏览器.IE浏览器等等然后可以创 ...

python爬虫——爬去淘宝商品页面，总是跳转到登录界面

python爬虫——爬去淘宝商品页面，总是跳转到登录界面相关推荐

最新文章

热门文章