python爬虫爬取京东网页

import json
import requests
from bs4 import BeautifulSoupinput_name = input('请输入搜索关键字：')# 获取京东商品前50页的信息，包括名称，价格，图片，商店

def get_jd():#循环获得网页urlfor i in range(1, 51):#定义请求头headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ''AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/63.0.3239.132 Safari/537.36','upgrade-insecure-requests': '1',}url = 'https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page={}'.format(input_name, 2*i-1)#获取网页html = requests.get(url, headers=headers).content.decode('utf-8')#分析网页soup = BeautifulSoup(html, 'lxml')li_list = soup.find_all('li', class_='gl-item')detail_list = []for li in li_list:#提取需要内容image = 'https:' + li.find('div', class_='p-img').find('a').find('img')['source-data-lazy-img']price = li.find('div', class_='p-price').find('i').textname = li.find('div', class_='p-name').find('i').textshop = li.find('div', class_='p-shopnum').text#生成字典dict1 = {'name': name,'image': image,'price': price,'shop': shop}detail_list.append(dict1)return detail_list

#保存内容

def save_content(contents):#定义文件标题filename = input_name + '.txt'for content in contents:with open(filename, 'a', encoding='utf-8') as f:#将字典转化为json对象保存在文件中f.write(json.dumps(content, ensure_ascii=False))

#执行函数

def main():content = get_jd()save_content(content)if __name__ == '__main__':main()

python爬虫爬取京东网页相关推荐

chrome动态ip python_用Python爬虫爬取动态网页，附带完整代码，有错误欢迎指出！...
系统环境: 操作系统:Windows8.1专业版 64bit Python:anaconda.Python2.7 Python modules:requests.random.json Backgro ...
Python爬虫爬取动态网页
系统环境: 操作系统:Windows8.1专业版 64bit Python:anaconda.Python2.7 Python modules:requests.random.json Backgro ...
python爬虫爬取京东、淘宝、苏宁上华为P20购买评论
爬虫爬取京东.淘宝.苏宁上华为P20购买评论 1.使用软件 Anaconda3 2.代码截图三个网站代码大同小异,因此只展示一个 3.结果(部分) 京东淘宝苏宁 4.分析这三个网站上的评论数据 ...
利用python爬虫爬取京东商城商品图片
笔者曾经用python第三方库requests来爬取京东商城的商品页内容,经过解析之后发现只爬到了商品页一半的图片.(这篇文章我们以爬取智能手机图片为例) 当鼠标没有向下滑时,此时查看源代码的话,就会 ...
使用Python爬虫爬取简单网页（Python爬虫入门）
今天我们来看一看使用Python爬取一些简单的网页. 所用工具:IDLE (Python 3.6 64-bit) 一. 爬取京东商品页面我将要爬取的是这个东京商品页面信息,代码如下: import ...
python爬虫爬取京东商品评价_网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...
Python爬虫爬取静态网页基本方法介绍
爬取静态网页的技术数据请求模块一.Requests库发送GET请求发送POST请求 get请求和post请求两者之间的区别处理响应定制请求头验证Cookie 保持会话二.urllib库 ...
Python爬虫爬取静态网页实例一：爬取内涵段子吧上的段子
最近在学爬虫,这里用实例来与大家分享一下我学习的经验. 这里讲一个爬取静态网页内容的实例,Python一般利用正则表达式爬取静态静态网页的内容,而且因为静态网页源代码固定,不会发生变化,所以比较简单, ...
python爬虫爬取京东商品评价_python爬取京东商品信息及评论
''' 爬取京东商品信息: 功能: 通过chromeDrive进行模拟访问需要爬取的京东商品详情页(https://item.jd.com/100003196609.html)并且程序支持多个页面爬取 ...

python爬虫爬取京东网页

python爬虫爬取京东网页相关推荐

最新文章

热门文章

python爬虫 爬取京东网页

python爬虫 爬取京东网页相关推荐

最新文章

热门文章

python爬虫爬取京东网页

python爬虫爬取京东网页相关推荐