python爬虫实现获取豆瓣图书的top250的信息-beautifulsoup实现

python实现，结果保存在同一目录下的douba.txt中

使用beautifulsoup实现

#coding=utf-8

import urllib2
from bs4 import BeautifulSoup
#伪造的头，不知到有用否
sendHeaders = {'User-Agent':'Mozilla/5.3 (Windows NT 7.2; rv:18.0) Gecko/20100101 Firefox/19.0','Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Connection':'keep-alive'
}
urlTmep = 'https://book.douban.com/top250?start='
saveFile = open('douban.txt','a')
k=1
for i in range(11):url = urlTmep + str(i*5)   #页码是通过get方式获取，同每页在后面都是5的倍数，一共10页request = urllib2.Request(url,headers

python爬虫实现获取豆瓣图书的top250的信息-beautifulsoup实现相关推荐

python爬虫爬取豆瓣图书
爬取豆瓣图书top250的第一页我最终爬取的是图书的书名,链接先要做个说明,如果你是编程高手的话,这边文章你就不用看了,如果你是个python爬虫小白的话,可以看看这篇原创我将用到的软件是pyc ...
Python爬虫系列(七)豆瓣图书排行榜（数据存入到数据库）
豆瓣用户每天都在对"读过"的书进行"很差"到"力荐"的评价,豆瓣根据每本书读过的人数以及该书所得的评价等综合数据,通过算法分析产生了豆瓣图 ...
python爬虫实战获取豆瓣排名前250的电影信息--基于正则表达式
一.项目目标爬取豆瓣TOP250电影的评分.评价人数.短评等信息,并在其保存在txt文件中,html解析方式基于正则表达式二.确定页面内容爬虫地址:https://movie.douban.co ...
python爬虫爬取豆瓣图书热评并生成图云
共4个py文件,按照顺序运行即可绘制出图云,效果图在最后,参考b占up主"龙王山小青椒"[Python爬虫+本科毕业论文速成]豆瓣评论-我是余欢水-[数据抓取-情感分析-评分统计- ...
Python爬虫爬取豆瓣不同分类书籍详细信息
文章目录 1.问题来源 2.爬虫代码的组成 3.代码实现 4.运行结果 1.问题来源这学期有一门软件开发实战的课程,我们组在做一个书籍交易平台.既然是书籍交易平台重要的图书的获取肯定必不可少,而豆瓣 ...
【爬虫】应用Python爬虫爬取豆瓣租房上的帖子信息
GitHub项目地址:https://github.com/Donvink/Spider.BC 哔哩哔哩代码讲解:https://b23.tv/waSfUa CSDN博客地址:https://blog ...
python爬虫拉取豆瓣Top250数据
python爬虫拉取豆瓣Top250数据利用request和正则表达式抓取豆瓣电影Top250的相关内容,提取出电影的名称.时间.评分和图片等信息,提取的站点url为https://movie.do ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
python爬虫爬取豆瓣读书Top250
python爬虫爬取豆瓣读书Top250 话不多说,直接上代码! from urllib.request import urlopen, Request from bs4 import Beautif ...

python爬虫实现获取豆瓣图书的top250的信息-beautifulsoup实现

python爬虫实现获取豆瓣图书的top250的信息-beautifulsoup实现相关推荐

最新文章

热门文章