简介

使用Selenium+chrome/PhantomJS爬取京东零食。 京东的页面比较复杂：含有各种请求参数、加密参数，如果直接请求或者分享Ajax的话会非常的繁琐，Selenium是一个自动化测试工具，可以驱动浏览器完成各种操作：模拟点击、输入、下滑等各种功能，如此一来，我们只需要关心操作，而不需要关心后台发生了什么样的请求。PhantomJS是无界面的浏览器，比Selenium方便，phantomJS已经被废弃了，直接配置Selenium的浏览器options就可以实现无界面浏览器（详情请看文末的实现代码）。

本次实战爬取的是京东搜索“零食”出现的所有内容，解析库是PyQuery。 ###目标站点分析 分析发现京东搜索“零食”后发起了很多请求，比较复杂。这里使用Selenium驱动浏览器，这可以屏蔽这些复杂请求的分析，所以需要依次实现：

• 模拟京东搜索关键词“美食”
• 模拟鼠标点击
• 获取首页的内容
• 模拟点击翻页或者通过模拟输入翻页
• 网页解析

Selenium和webdriver安装可看下之前的文章 （1）实现步骤

浏览器右键->检查，上图中的copy选项卡可以在元素查找时使用，这篇文章中我们使用css选择器查找元素，点击“copy selector”，在查找元素时直接粘贴就可以了。 在正式写代码前需要考虑到：

• 我们必须要等待输入框和搜索按钮加载完，才能进行输入和搜索操作，这就意味着我们在实现代码中需要加一些等待条件，这个可以上Selenium官网上查看：主要是wait_until函数。
• 加载完后需要获取总页数等一些信息
• 页面切换：可以点击下一页；也可以通过输入框输入页码
• 页面切换之后，通过高亮的页码是否加载完成来判断翻页是否完成
• 完成等待页面加载完成和翻页等之类框架的功能后，我们再考虑细节，即网页内容解析

（2）网页解析

上图可以和清楚的发现，所有页面商品都是以li的形式组织的，页面解析思路也就很明确了。 应该注意的是，在进行网页源码解析之前，我们需要先判断网页是否加载完成了。确认网页加载完后，我们获取网页的源代码，使用PyQuery进行解析（也可以使用正则表达式，上一次实战使用的是正则，这次就用PyQuery解析）。

（3）在真实贴代码和数据之前，先说明几个曾经踩过的坑：

• 确定要爬取的数据：确定目标
• 写代码前 一定要分析完网页源码
• 注意细节：有些网页数据要等待一定时间后才会加载出来，网页源码中包括很多数据，其中大部分数据是通过js请求获取后才会填充到网页源码中，所以有些数据加载的比较慢，所以获取数据前一定要等待数据加载完
• 本次爬取的是京东搜索“零食”关键词后按照评论数量进行排序的数据：商品名字、价格、总评论数、好评数、中评数、差评数、好评率等数据，分析后发现：后面四个数据，必须点击商品详情后才可以获取到，但是不同商品的详情页面有些许不同，下面是两种典型的商品详情页面： 1.五个导航栏 2.三个导航栏 显然上面两类商品的详情页面 不论是在五个导航栏还是三个，我们都需要点击“商品评价”按钮来获取上述后四个数据。但是两类页面明显存在差别，如果页面种类很多，可以考虑换种实现方式，如果页面种类不多，可以采用分类的方式。在本次实现中由于只存在两种页面，我们采用的是分类的方式。
• 有些数据不会加载出来，必须下拉页面后那部分数据才会加载出来，这是下拉页面就很重要，否则会出现找到不到元素的异常
• 为了加快网页的访问速度，可以进行必要的浏览器配置：比如，访问时不加载图片，和使用无界面浏览器等

源码和数据：

下面是爬取的数据：

源码 下面是本文的核心代码，扫描下方二维码，发送关键词“京东”即可获取本文的完整源码和详细程序注释 公众号专注：互联网求职面经、java、python、爬虫、大数据等技术、海量资料分享：公众号后台回复“csdn文库下载”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“资料”:即可领取5T精品学习资料、java面试考点和java面经总结，以及几十个java、大数据项目，资料很全，你想找的几乎都有

完整源码和代码详细解析

# 京东首页搜素框
def search(key_words='零食'):try:input_text = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#key')))button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#search > div > div.form > button')))input_text.send_keys(key_words)button.click()total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_topPage > span > i')))total = int(total.text)order = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_filter > div.f-line.top > div.f-sort > a:nth-child(3)')))order.click()except TimeoutException:print('search 超时')print('一共', total, '页')return total# 翻页def next_page(next_page):# 翻页使用的策略是手动输入页码，然后点击跳转，但是有个问题就是：# 不滑动滑块直接定位页码输入框会出现：找不到该元素的异常，这主要是，页面未加载造成的# 也就是：当你在京东上搜索商品的时候，浏览器没有下拉到翻页那里时，页面就不会加载，页面没有加载自然找不到对应的元素# 这也是下面这三条指令的意义所在# browser.execute_script(js)try:browser.execute_script('arguments[0].scrollIntoView()',browser.find_element_by_css_selector('#footer-2017 > div > div.copyright_info > p:nth-child(1) > a:nth-child(1)'))time.sleep(2)# 下滑直到“下一页”按钮出现browser.execute_script('arguments[0].scrollIntoView()',browser.find_element_by_css_selector('#J_bottomPage > span.p-num > a.pn-next'))input_text = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > input')))jump = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > a')))except TimeoutException:print('翻页超时')input_text.clear()input_text.send_keys(next_page)jump.click()try:# 等待翻页完成wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.curr'), str(next_page)))browser.execute_script('arguments[0].scrollIntoView()',browser.find_element_by_css_selector('#J_bottomPage > span.p-num > a.pn-next'))except TimeoutException:print('翻页失败', next_page)print('\n')print('解析第', next_page, '页商品')try:for good in parse_page():write_to_csv_file(good.values())except TimeoutException:print('第', next_page, '页的第', count_item, '个商品解析时发生超时')browser.switch_to.window(browser.window_handles[0])return None# 页面数据解析
def parse_page():global count_itemcount_item = 0# 统计每一页的商品# 解析页面前，先将浏览器页面下滑置“下一页”地方browser.execute_script('arguments[0].scrollIntoView()',browser.find_element_by_css_selector('#J_bottomPage > span.p-num > a.pn-next'))wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.m-list .ml-wrap #J_goodsList .gl-item')))doc = pq(browser.page_source, parser="html")goods = doc('.m-list .ml-wrap #J_goodsList .gl-item').items()browser.switch_to.window(browser.window_handles[1])for good in goods:count_item = count_item +1print('当前是第',count_item,'个商品')detail_herf =  good.find('.p-name a').attr('href')browser.get('http://'+detail_herf)# 等待商品介绍 评价等数据加载完成browser.execute_script('arguments[0].scrollIntoView()',browser.find_element_by_css_selector('.detail #detail .tab-main ul li'))detail_doc = pq(browser.page_source,parser='html')# 京东上主要有两类商品：# 一类：与商品介绍并列的一共5个标签# 第二类：只有商品介绍和评价两类标签，# 下面这个css定位很容易写错ul = list(detail_doc('.detail #detail .tab-main ul li').items())if len(ul)==5 :# 商品评价按钮 五个li标签，对应第二类商品#等待评价按钮加载完成comments_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#detail > div.tab-main.large.detail-elevator > ul > li:nth-child(2)')))comments_button.click()  # 点击“评价”按钮rate = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#i-comment > div.rate > strong')))# 等待rate加载完成rate_comments = rate.text  # rate是webElement类型，调用text即可获取对应的文本,注意不是调用text()# 等待差评数量加载完成（差评数量加载完了也就意味着好评和中评数量加载完了）wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#comments-list > div.mt > div > ul > li:nth-child(4) > a > em')))tmp_doc = pq(browser.page_source, parser='html')comments_obtain = tmp_doc('#comments-list .mt-inner ul li').items()# 获取评论数量index = 0for comment in comments_obtain:if index == 1:good_comments = comment('a em').text()[1:-1]elif index == 2:neutral_comments = comment('a em').text()[1:-1]elif index == 3:bad_comments = comment('a em').text()[1:-1]breakindex = index + 1yield {'name': good.find('.p-name a em').text().strip().replace('\n', ' '),'price': good.find('.p-price i').text(),'total_comments': good.find('.p-commit a').text(),'good_comments': good_comments,'neutral_comments': neutral_comments,'bad_comments': bad_comments,'good_rate': rate_comments}elif len(ul)==7 :# 对应第二类商品comments_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#detail > div.tab-main.large > ul > li:nth-child(5)')))comments_button.click()#点击“评价”按钮rate = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#comment > div.mc > div.comment-info.J-comment-info > div.comment-percent > div')))rate_comments = rate.text# rate是webElement类型，调用text即可获取对应的文本,注意不是调用text()# 等待差评数量加载完成（差评数量加载完了也就意味着好评和中评数量加载完了）wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#comment > div.mc > div.J-comments-list.comments-list.ETab > div.tab-main.small > ul > li:nth-child(7) > a > em')))tmp_doc = pq(browser.page_source,parser='html')comments_obtain = tmp_doc('.tab-main .filter-list li' ).items()index = 0for comment in comments_obtain:if index==4:good_comments = comment('a em').text()[1:-1]elif index==5:neutral_comments = comment('a em').text()[1:-1]elif index==6:bad_comments = comment('a em').text()[1:-1]breakindex = index + 1yield {'name': good.find('.p-name a em').text().strip().replace('\n', ' '),'price': good.find('.p-price i').text(),'total_comments': good.find('.p-commit a').text(),'good_comments':good_comments,'neutral_comments':neutral_comments,'bad_comments':bad_comments,'good_rate': rate_comments}browser.switch_to.window(browser.window_handles[0])
复制代码

资料分享

java学习笔记、10T资料、100多个java项目分享

欢迎关注个人公众号【菜鸟名企梦】，公众号专注：互联网求职面经、java、python、爬虫、大数据等技术分享**： 公众号**菜鸟名企梦后台发送“csdn”即可免费领取【csdn】和【百度文库】下载服务； 公众号菜鸟名企梦后台发送“资料”:即可领取5T精品学习资料**、java面试考点和java面经总结，以及几十个java、大数据项目，资料很全，你想找的几乎都有