python3爬虫简单小实例2.0

相关用法：
xlwt库：官方文档
xlwt设置宽度：Widths & Heights with xlwt + Python

目的：获取所有书名和书价并存入Excel

完整代码：

# -*- coding: utf-8 -*-
"""
Created on Sat Aug 26 17:28:21 2017@author: 81294
"""import urllib
import os
import shutil
from bs4 import BeautifulSoup
import re
import xlwtdef getName(soup_packtpage,name):all_book_title = soup_packtpage.find_all("div", class_="book-block-title")for book_title in all_book_title:c = book_title.string.strip()name.append(c)  return namedef getPrice(soup_packtpage,price):all_book_price = soup_packtpage.find_all("div", class_="book-block-price-discounted ")all_book_prices = re.compile(u"\s+.\s+\d+.\d+")for book_price in all_book_price:book_prices = book_price.find_next(text=all_book_prices)d= book_prices.strip().replace(' ' ,'')price.append(d)return pricedef save_excel(book_name,books_price):filename = xlwt.Workbook()sheet = filename.add_sheet("sheet1", cell_overwrite_ok=True)sheet.write(0,0,"book_title")                       #写入书名sheet.write(0,1,"book_price")                       #写入书价for i in range(len(book_name)):sheet.write(i+1,0,book_name[i])sheet.write(i+1,1,books_price[i])path = 'E:\\packtpub\\'if os.path.isfile(path):          #判断路径是否为文件os.remove(path)               #删除指定路径的文件elif os.path.isdir(path):         #判断路径是否为目录shutil.rmtree(path, True)     #删除目录及目录内部的文件 os.mkdir(path)                    #创建目录path = path + "packtpub.COM.xls"first_col = sheet.col(0)          #设置宽度first_col.width = 256*70sec_col = sheet.col(1)sec_col.width = 256*10filename.save(path)               print("创建excel文件完成!")def main():all_html_name = []all_html_price = []for html in range(0,5064,12):url = "https://www.packtpub.com/all?search=&offset={0}&rows=&sort=".format(html)page = urllib.request.urlopen(url)soup_packtpage = BeautifulSoup(page,'html.parser')page.close()getName(soup_packtpage,all_html_name)          #获取书名getPrice(soup_packtpage,all_html_price)        #获取书价page_num = html / 12print("写入第{0}页".format(page_num+1))name = getName(soup_packtpage,all_html_name)price = getPrice(soup_packtpage,all_html_price)save_excel(name,price)                            #存入Excelmain()

结果：

python3爬虫简单小实例2.0相关推荐

stm32简单小实例_煽动MCU/MPU市场，STM32的生态图
导言: 蝴蝶扇动翅膀, 便可引发彼岸的暴风雨. STM32这只"蝴蝶"不仅掀起了MCU的风暴, 还走进了工程师和千家万户. 2020年STM32一年一度的全国巡回研讨会(STM32 ...
stm32简单小实例_抓住蝶粉的心，STM32有“利器”
尽管2020年注定是艰难的一年,但意法半导体STM32仍尽力为广大蝶粉提供了面对面沟通碰撞的机会. 9月13日-9月25日,为期13天的2020年意法半导体STM32全国巡回研讨会圆满落幕.作为工程师 ...
stm32简单小实例_抓住蝶粉的心，STM32有“利器”！
出品 21ic中国电子网蔡璐网站:21ic.com 尽管2020年注定是艰难的一年,但意法半导体STM32仍尽力为广大蝶粉提供了面对面沟通碰撞的机会.9月13日-9月25日,为期13天的2020年 ...
Python3爬虫-01-简单网页爬取
''' 宇宙黑客王磊磊 Python3爬虫简单网页的获取第一个简单的示例爬去Hades 官网首页 '''import sys import urllib.request print(sys.get ...
python3 爬虫回忆录
整理于2020年11月下旬: It is tough today and tomorrow will be tougher.but the day after tomorrow is beautifu ...
python3爬虫实例-python3.7简单的爬虫实例详解
python3.7简单的爬虫,具体代码如下所示: #https://www.runoob.com/w3cnote/python-spider-intro.html #Python 爬虫介绍 impor ...
python爬虫实例-python3.7简单的爬虫实例详解
python3.7简单的爬虫,具体代码如下所示: #https://www.runoob.com/w3cnote/python-spider-intro.html #Python 爬虫介绍 impor ...
python3.x简单爬虫（爬取百度壁纸图片下载本地）
一.导读 python的火热大家都是有目共睹的,相信没有一个人不想学习这样牛逼哄哄的技术,无论是技术还是非技术人员.python的魅力太过于强大,今天我给大家介绍一下python3.x里面的一个简单小 ...
Python3.5 网络爬虫简单入门
一．网络爬虫简单介绍网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫. 相对于通用网络爬 ...

python3爬虫简单小实例2.0

python3爬虫简单小实例2.0相关推荐

最新文章

热门文章