Python获取电子书籍数据

Python获取电子书籍数据-以当当网为例

（一）以css方式获取

import requests,csv
from bs4 import BeautifulSoup
import codecs   #自然语言编码转换库def main():res=requests.get("http://book.dangdang.com/20180504_by11")res.encoding = res.apparent_encoding  #获得真实编码soup=BeautifulSoup (res.text,'html.parser')info=[]for item in soup.select('#bd li'):names=item.select('.name')[0].text.strip()price_n=item.select('.price span')[2].text.strip()price_f = item.select('.price span')[3].text.strip()price=price_n+price_finfo.append([names,price])
#     print(info)with codecs.open('book.csv','w',encoding='utf-8-sig') as f:writer = csv.writer(f)writer.writerow(['序号', '书名', '价格'])for i,l in enumerate(info):writer.writerow([i,l[0],l[1]])#print(price,text,image,sep='\n**********************\n',end='\n*****')#多变量值分隔
if __name__ == '__main__':main()

（二）以xpath方式获取

import urllib.request
import requests,csv
from lxml import etree
import codecs   #自然语言编码转换库
def main():url = "http://book.dangdang.com/20180504_by11" request = urllib.request.Request(url=url) # 不需要headersresponse = urllib.request.urlopen(request)content = response.read().decode('GBK') # 通过网页查看charset = gb2312tree = etree.HTML(content)book_list = tree.xpath("//div[@class='con body']//li/p/a/text()") # 通过xpath获取a标签中的书名price_n_list = tree.xpath("//div[@class='con body']//li/p[@class='price']//span[@class='num']/text()")  # span中的价格由两部分组成price_f_list = tree.xpath("//div[@class='con body']//li/p[@class='price']//span[@class='tail']/text()")info = [] # 定义列表存放书籍信息for item in range(len(book_list)) :names= book_list[item]price_n = price_n_list[item]price_f = price_f_list[item]price = price_n+ price_finfo.append([names,price])
#     print(info)# 将列表中的数据存放到csv文件中with codecs.open('book.csv','w',encoding='utf-8-sig') as f:writer = csv.writer(f)writer.writerow(['序号', '书名', '价格'])for i,l in enumerate(info):writer.writerow([i,l[0],l[1]])#print(price,text,image,sep='\n**********************\n',end='\n*****')#多变量值分隔
if __name__ == '__main__':main()

Python获取电子书籍数据相关推荐

为了提前预测比赛结果，于是我用Python获取比赛球员数据进行分析，结果...
为了提前预测比赛结果,于是我用Python获取比赛球员数据进行分析,结果... 前因后果准备工作实现步骤代码展示部分效果展示最后前因后果最近不是世界杯嘛,但是太忙了实在没时间看,于是为了 ...
python 行情数据,拼多多股票：Python获取股票行情数据的一种方法
Python获取股票行情数据的一种方法拼多多股票本号帮大家找了一个可免费获取股票行情数据的接口. Tushare社区目前主要维护新版本:tushare pro,数据更稳定拼多多股票质量更高,可获取 ...
利用python获取word图表数据和修改图表信息
利用python获取word图表数据和修改图表信息起因咸鱼有个人问word怎么修改图表信息,想用docx库找不到关于图表的方法,这里用了Win32com. import time import wi ...
使用python获取美股行情数据
使用python获取美股GME一月数据,包括开盘价.收盘价.最高价.最低价.成交量等工具包:pandas_datareader 环境安装 pip install pandas_datareader ...
使用Python获取最新疫情数据，制作可视化动态地图，实时展示各地情况
愿世界再无病痛,盼疫情早日结束序言效果展示准备工作代码展示序言疫情降临转眼已经第三年了,时间过得真快,愿疫情早点结束,世界不再多灾多难. 最近疫情稍微好转一些了,所以咱们获取一下最新的疫情 ...
Python获取用电情况数据-AHPU校园网
我写这个主要是想把寝室的用电情况给保存下来,做一些分析统计之类的.代码运行在一台树莓派上面,树莓派连着校园网. 正文首先看看浏览器网页查询页面. 在写代码之前我们要先获取一些参数,而用这些参数可以让 ...
Python获取全部股票数据
目前整个沪深京A股市场总共有5000余支股票,那么我们怎么能获取到这些股票的数据(股价.市值.市盈率.市净率等)呢? 小编常用的有三个网站,分别是东方财富.同花顺.雪球,请自行查阅. 我们以东方财富为 ...
用 Python 获取股市交易数据
最近受全球大环境影响,美股犹如坐上过山车,感觉每天都在见证历史时刻.而我们的大盘最近也不消停,不过这也给大家抄底制造了机会,但机会都是给有准备的人,想要抓住机会就得懂得分析数据,想要分析数据还得先拿到 ...
python 获取天气接口数据
从微信公众号中看到的代码,以此记录用Python获取中国天气网天气接口数据 import urllib.request import json code='101160101' url='http: ...

Python获取电子书籍数据

Python获取电子书籍数据-以当当网为例

Python获取电子书籍数据相关推荐

最新文章

热门文章