python自动登录网站爬取数据_Python爬虫实战：自动化登录网站，爬取商品数据

前言

随着互联网时代的到来，人们更加倾向于互联网购物。某东又是电商行业的巨头，在某东平台中有很多商家数据。今天带大家使用python+selenium工具获取这些公开的商家数据

适合阅读人群：selenium工具的使用

结构化的数据解析

csv数据保存

环境介绍：python 3.6

pycharm

selenium

csv

time

selenium

起初是用来做网页测试(性能\并发)，可以直接获取到浏览器渲染之后的数据(不用解密)

用户行为和你代码逻辑需要结合(你怎么操作浏览器)

谷歌驱动器

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

可以免费领取源码、项目实战视频、PDF文件等

受害目标

https://www.jd.com/

部分代码

from selenium import webdriver

import time

import csv

def parse_product():

"""解析商品数据"""

lis = driver.find_elements_by_css_selector('.gl-warp.clearfix>li')

for li in lis:

try:

name = li.find_element_by_css_selector('.p-name a em').text # 商品的名字

price = li.find_element_by_css_selector('.p-price strong i').text + '元' # 商品的价格

info = li.find_element_by_css_selector('.p-commit strong a').text # 商品的评价数

title = li.find_element_by_css_selector('.J_im_icon a').get_attribute('title') # 商品的店铺

print(name, price, info, title)

with open('data.csv', mode='a', encoding='utf-8', newline='') as f:

f.write()

csv_write = csv.writer(f, delimiter=',')

csv_write.writerow([name, price, info, title])

except Exception as e:

print(e)

def get_next():

"""找到下一页标签, 点击"""

driver.find_element_by_css_selector('#J_bottomPage > span.p-num > a.pn-next > em').click()

driver.implicitly_wait(10)

keyword = input('请输入你想要的搜索商品的关键字:')

driver = webdriver.Chrome() # 创建一个浏览器对象

driver.get('https://www.jd.com/')

get_product(keyword)

for page in range(1, 101):

drop_down()

parse_product()

get_next()

运行代码得到数据

python自动登录网站爬取数据_Python爬虫实战：自动化登录网站，爬取商品数据相关推荐

python爬取大众点评数据_python爬虫实例详细介绍之爬取大众点评的数据
python 爬虫实例详细介绍之爬取大众点评的数据一． Python作为一种语法简洁.面向对象的解释性语言,其便捷性.容易上手性受到众多程序员的青睐,基于python的包也越来越多,使得python ...
python用selenium爬取网页数据_Python项目实战：使用selenium爬取拉勾网数据
" 一切不经过项目验证的代码都是耍流氓,今天我们就通过一个简单的招聘网站的数据归档进行当前热门岗位的大数据分析,最后以wordcloud进行显示.本文为数据爬取篇." 项目准备: ...
python爬取喜马拉雅_Python爬虫实战案例之爬取喜马拉雅音频数据详解
这篇文章我们来讲一下在网站建设中,Python爬虫实战案例之爬取喜马拉雅音频数据详解.本文对大家进行网站开发设计工作或者学习都有一定帮助,下面让我们进入正文. 前言喜马拉雅是专业的音频分享平台,汇集 ...
python爬取今日头条后台数据_Python爬虫实战入门五：获取JS动态内容—爬取今日头条...
之前我们爬取的网页,多是HTML静态生成的内容,直接从HTML源码中就能找到看到的数据和内容,然而并不是所有的网页都是这样的. 有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成 ...
python实例豆瓣音乐代码_Python爬虫实战（3）-爬取豆瓣音乐Top250数据（超详细
前言首先我们先来回忆一下上两篇爬虫实战文章: 第一篇:讲到了requests和bs4和一些网页基本操作. 第二篇:用到了正则表达式-re模块今天我们用lxml库和xpath语法来爬虫实战. 1.安 ...
python爬虫爬取歌曲_python爬虫实战:爬取全站小说排行榜
喜欢看小说的骚年们都知道,总是有一些小说让人耳目一新,不管是仙侠还是玄幻,前面更了几十章就成功圈了一大波粉丝,成功攀上飙升榜,热门榜等各种榜,扔几个栗子出来: 新笔趣阁是广大书友最值得收藏的网络小说阅 ...
如何运用python爬游戏皮肤_Python爬虫实战之爬取王者荣耀皮肤
王者荣耀是目前非常火的一款游戏,相信大家都对其中的人物很感兴趣,那么今天就带大家来爬取王者荣耀的皮肤,可以选一款喜欢的来当电脑壁纸.第一步,拿到url地址第二步,获取各个人物皮肤数据第三步,保存文 ...
python爬虫爬图片教程_python爬虫实战之爬取京东商城实例教程
前言本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1. ...
python爬虫爬取教程_python爬虫实战之爬取京东商城实例教程
前言本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1. ...

python自动登录网站爬取数据_Python爬虫实战：自动化登录网站，爬取商品数据

python自动登录网站爬取数据_Python爬虫实战：自动化登录网站，爬取商品数据相关推荐

最新文章

热门文章