爬取华为手机数据（六）

所用软件

我发现这个工具对于爬取测试是不错的，相比于Pycharm而言，工具的选择也是很重要的，合作共赢。

参考的学习来源

参考B站上的
https://www.bilibili.com/video/BV1qp4y1X7yX?t=2198，学习效率更好一点。
（嘿嘿，在人家辛苦的创作获取了知识，必须推广一波）

代码就不详细解释，多练很重要。

爬爬爬

（我的代码是在）
到达指定页面，手动登录吧（我的淘宝必须得扫码登录）

from selenium import webdriver
url = 'https://www.taobao.com/'
#自己的安装路径，按你的修改一下
driver = webdriver.Chrome(r'D:\py_project\selenium_demo\chromedriver.exe')
driver.get(url)
``
看下面代码需要一点点基础去实现（不会就去参考一下视频）
```python
pos = driver.find_elements_by_xpath('//div[@class="row row-2 title"]/a')
len(pos)
pos[0].click()
#页面的转换
driver.switch_to_window(driver.window_handles[1])

#爬取各个华为手机的名称，价格，月销量，累计评价。

title = driver.find_element_by_xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/div[1]/h1/a').text
print(title)
price = driver.find_element_by_xpath('//*[@id="J_PromoPrice"]/dd/div/span').text
print(price)
mcount = driver.find_element_by_xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/ul/li[1]/div/span[2]').text
print(mcount)
addcount = driver.find_element_by_xpath('//*[@id="J_ItemRates"]/div/span[2]').text
print(addcount)
driver.close()

因为要爬取的有44个，我为了简单，就爬了两部手机的数据。

driver.switch_to_window(driver.window_handles[0])for i in pos[:2]:i.click()driver.switch_to_window(driver.window_handles[1])title = driver.find_element_by_xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/div[1]/h1/a').textprint(title)price = driver.find_element_by_xpath('//*[@id="J_PromoPrice"]/dd/div/span').textprint(price)mcount = driver.find_element_by_xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/ul/li[1]/div/span[2]').textprint(mcount)addcount = driver.find_element_by_xpath('//*[@id="J_ItemRates"]/div/span[2]').textprint(addcount)print("============================")driver.close()driver.switch_to_window(driver.window_handles[0])

优化代码：

titles = []
prices = []
mcounts = []
addcounts = []
for i in pos[:2]:i.click()driver.switch_to_window(driver.window_handles[1])title = driver.find_element_by_xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/div[1]/h1/a').textprint(title)price = driver.find_element_by_xpath('//*[@id="J_PromoPrice"]/dd/div/span').textprint(price)mcount = driver.find_element_by_xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/ul/li[1]/div/span[2]').textprint(mcount)addcount = driver.find_element_by_xpath('//*[@id="J_ItemRates"]/div/span[2]').textprint(addcount)print("============================")titles.append(title)prices.append(price)mcounts.append(mcount)addcounts.append(addcount)driver.close()driver.switch_to_window(driver.window_handles[0])

保存数据，并以excel形式保存

import pandas as pd
data = pd.DataFrame()
data['名称'] = titles
data['价格'] = prices
data['月销量'] = mcounts
data['累计评价'] = addcountsdata
data.to_excel('华为手机数据.xlsx')

爬取华为手机数据（六）相关推荐

Java实现爬取京东手机数据
Java实现爬取京东手机数据最近看了某马的Java爬虫视频,看完后自己上手操作了下,基本达到了爬数据的要求,HTML页面源码也刚好复习了下,之前发布两篇关于简单爬虫的文章,也刚好用得上.项目没什么太 ...
python爬取京东手机数据_用scrapy爬取京东的数据
本文目的是使用scrapy爬取京东上所有的手机数据,并将数据保存到MongoDB中. 一.项目介绍主要目标 1.使用scrapy爬取京东上所有的手机数据 2.将爬取的数据存储到MongoDB 环境 ...
java爬虫案例——SpringBoot使用HttpClient、Jsoup爬取京东手机数据
文章目录前言一.准备工作二.项目文件 1.项目依赖 2.项目配置文件 3.pojo 4.dao接口 5.service接口及其实现类 6.HttpClient封装工具类 7.爬取任务实现 8.启 ...
python爬取京东手机数据_实例解析Python如何实现爬取京东手机图片
本文主要为大家分享一篇Python如何实现爬取京东手机图片的方法,具有很好的参考价值,希望对大家有所帮助.一起跟随小编过来看看吧,希望能帮助到大家. 运行环境Python3.6.4#爬取京东手机图片i ...
C#爬取京东手机数据+PowerBI数据可视化展示
此系列博文链接 C#爬虫基本知识 Html Agility Pack解析html TODO: EF6中基本认识. EF6操作mysql MySQL乱码问题 C#爬虫在开头贴一下github仓库地址, ...
python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...
一.需求:有一个通过抓包得到的京东商品的JSON链接,解析该JSON内容,并提取出特定id的商品价格p,json内容如下: jQuery923933([{"op":"75 ...
京东网站爬取华为手机的评论以词云的方式运行
相关的包 import pymysql import pymysql from wordcloud import WordCloud import jieba import pygal 1 从数据库把 ...
python爬取京东手机数据
import requests from bs4 import BeautifulSoup(导入库) url= ' https://search.jd.com/Search?keyword=手机&am ...
Python爬虫：爬取华为应用市场app数据
爬取华为应用商店的所有APP名称和介绍,因为页面数据是ajax异步加载的,所以要找到对应的接口去解析数据. 爬取华为应用市场app数据一.分析网页 1. 分析主页 2. 分析appid 3. 分析u ...

爬取华为手机数据（六）

所用软件

参考的学习来源

爬爬爬

爬取华为手机数据（六）相关推荐

最新文章

热门文章