python爬取豆瓣书籍_python爬虫学习，爬取豆瓣各分类书单

点击蓝字“python教程”关注我们哟！

代码展示：pachon2.5.py

# -- coding: utf-8 --

import urllib

import urllib2

import re

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

class book: #豆瓣书籍的类

def init(self, types, page):

self.baseUrl = 'http://www.douban.com/tag/'

self.types = types

self.filename = 'doubanbook.txt'

self.page = pagedef getContents(self): #爬取源代码

try:

#if self.page == 0:

url = self.baseUrl + self.types + '/book'

#else:

# url = self.baseUrl + self.types + '/book?start=' + str(self.page)

user_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.65 Safari/537.36'

headers = { 'User-Agent' : user_agent}

request = urllib2.Request(url,headers = headers)

response = urllib2.urlopen(request)

content = response.read() #.decode('utf-8')

pattern = re.compile('(.*?).*?>(.*?)

',re.S)

items = re.findall(pattern,content)

return items

except urllib2.URLError, e:

if hasattr(e, "reason"):

print u"豆瓣链接错误，错误原因", e.reason

return None

def writetext(self, items): #写入txt

for item in items:

print item[0],item[1]

files = open(self.filename,'a')

files.write(item[0])

files.write(item[1])

files.write('\n')

files.close()

def strat(self): #启动函数

self.writetext(self.getContents())

print u"""出现乱码为正常现象，在与本脚本相同的文件夹下会多出一个,

doubanbook.txt的文件里面有所爬书籍，如你把本脚本放在桌面,

文件便会出现在桌面"""

print u"结束输入 'O' , 联系作者输入 'A'"

end = raw_input('>')

if end == 'A':

print u"QQ邮箱:1021644861@qq.com"

raw_input('>')

else:

print "over"

初学python会比较困难，但是只要坚定自己的信念，不轻易认输，敢于面对，成功迟早会笑脸相迎。

注意事项

对Python开发技术感兴趣的同学，欢迎加下方的交流群一起学习，相互讨论。

学习python过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun：934109170，与你分享Python企业当下人才需求及怎么从零基础学习Python，和学习什么内容。相关学习视频资料、开发工具都有分享

好啦！文章就给看官们分享到这儿

最后，如果觉得有帮助，记得关注、转发、收藏哟

python爬取豆瓣书籍_python爬虫学习，爬取豆瓣各分类书单相关推荐

python爬取多页_Python 爬虫 2 爬取多页网页
本文内容: Requests.get 爬取多个页码的网页例:爬取极客学院课程列表爬虫步骤打开目标网页,先查看网页源代码 get网页源码找到想要的内容,找到规律,用正则表达式匹配,存储结果 Re ...
python爬取豆瓣书籍_Python爬虫-爬取豆瓣图书Top250
豆瓣网站很人性化,对于新手爬虫比较友好,没有如果调低爬取频率,不用担心会被封 IP.但也不要太频繁爬取. 涉及知识点:requests.html.xpath.csv 一.准备工作需要安装reques ...
python爬豆瓣top250书籍_python爬虫练习-爬取豆瓣图书top250
个人自学,完整学习请访问以下链接学习链接:https://study.163.com/course/courseMain.htm?courseId=1004714034 代码 # -*-coding ...
python手机壁纸超清_python爬虫学习之爬取5K分辨率超清唯美壁纸
前言 Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取! 简介壁纸的选择其实很大程度上 ...
python爬虫自学网站_python爬虫学习爬取幽默笑话网站
这篇文章主要介绍了python爬虫爬取幽默笑话网站,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下爬取网站为:http://xiaohua.zol. ...
python爬取豆瓣小组_Python 爬虫实例+爬取豆瓣小组 + wordcloud 制作词云图
目标利用PYTHON爬取如下图中所有回答的内容,并且制作词云图. 用到的库 import requests # import json from PIL import Image from pyqu ...
python爬虫爬取京东_Python爬虫学习爬取京东商品
1. 本节目标以抓取京东 App 的商品信息和评论为例,实现 Appium 和 mitmdump 二者结合的抓取.抓取的数据分为两部分:一部分是商品信息,我们需要获取商品的 ID.名称和图片,将它们 ...
python输入城市找省份_python爬虫学习之爬取全国各省市县级城市邮政编码
importrequestsimportxlwt#返回一个字典,键是各个省份的名字,值是对应省份的网址url defgetProvinceCode(url): response=requests.ge ...
python 网上爬取数据源码_Python爬虫经常爬不到数据，或许你可以看一下小编的这篇文章...
1.最简单的Python爬虫最简单的Python爬虫莫过于直接使用urllib.request.urlopen(url=某网站)或者requests.get(url=某网站)例如:爬取漫客栈里面的漫 ...

python爬取豆瓣书籍_python爬虫学习，爬取豆瓣各分类书单

python爬取豆瓣书籍_python爬虫学习，爬取豆瓣各分类书单相关推荐

最新文章

热门文章