python爬取贴吧_Python爬取贴吧（简洁版）

#encoding=utf-8

import urllib2,urllib

class tieba:

def tiebaSpider(self,name,starPage,endPage):

#要爬取得网络地址

url = "https://tieba.baidu.com/f?"

#要爬取得带关键字的地址

url = url+urllib.urlencode({"kw":name})+"&"

#循环起始位置到终止为止

for i in range(starPage,endPage+1):

pageNum = (i-1)*50

fullUrl = url+urllib.urlencode({"pn":pageNum})

html = self.loadPage(fullUrl,i)

self.writePage(html,i)

def loadPage(self,url,pageNum):

header = {"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6"}

print "正在爬取第"+str(pageNum)+"页数据......"

request = urllib2.Request(url,headers=header)

response = urllib2.urlopen(request)

html = response.read()

return html

def writePage(self,html,pageNum):

filename = "di"+str(pageNum)+"ye.html"

print "正在写入"+filename

with open(filename,"w") as file:

file.writelines(html)

if __name__=='__main__':

name = raw_input("请输入要搜索的贴吧名：")

startPage = input("请输入起始页：")

endPage = input("请输入一个终止页：")

tieba = tieba()

tieba.tiebaSpider(name,startPage,endPage)

print "爬取结束！"

python爬取贴吧_Python爬取贴吧（简洁版）相关推荐

python 柱状图上显示字体_Python爬取百部电影数据，我发现了这个惊人真相！
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%:国产电影总票房411.75亿元,同比增长8.65%,市场占比 ...
python抓取微博评论_Python爬取新浪微博评论数据，你有空了解一下？
开发工具 Python版本:3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建安装Pyth ...
python爬取手机微信_Python爬取微信好友
前言今天看到一篇好玩的文章,可以实现微信的内容爬取和聊天机器人的制作,所以尝试着实现一遍,本文记录了实现过程和一些探索的内容 itchat安装对微信的控制可以使用itchat来实现,我们找到itc ...
python开源代码百度盘_python爬取百度云网盘资源-源码
今天测试用了一下python爬取百度云网盘资源. 代码片段import urllib import urllib.request import webbrowser import re def yun ...
python爬取动态网页_python爬取动态网页数据，详解
原理:动态网页,即用js代码实现动态加载数据,就是可以根据用户的行为,自动访问服务器请求数据,重点就是:请求数据,那么怎么用python获取这个数据了? 浏览器请求数据方式:浏览器向服务器的api(例 ...
python爬关键词百度指数_Python 抓取指定关键词的百度指数
百度指数很多时候在我们做项目的时候会很有帮助,从搜索引擎的流量端给到我们一些帮助,比如:家具行业的销量跟"装修","新房","二手房"等关键 ...
python教程文档下载_Python基础教程（第2版）PDF文档下载
本书是经典教程的全新改版,作者根据Python 3.0版本的种种变化,全面改写了书中内容,做到既能"瞻前"也能"顾后".本书层次鲜明.结构严谨.内容翔实,特别是 ...
python爬取pdf内容_Python爬取读者并制作成PDF
学了下beautifulsoup后,做个个网络爬虫,爬取读者杂志并用reportlab制作成pdf.. crawler.py #!/usr/bin/env python #coding=utf-8 & ...
python背景怎么自定义铃声_python爬取手机铃声
相信每个人都会给自己的手机调一个好听的音乐作为铃声,但是对于iphone用户来说换铃声一般都会去找第三方平台来进行更换,众多平台当中不得不说的就是爱思手机助手,今天我将带你通过python爬虫来批量进 ...
python爬取南京市房价_python 爬取宁波市房价热力图
爬取安居客的宁波市二手房的平均价格下面是python代码: from selenium import webdriver import bs4 from time import sleep impo ...

python爬取贴吧_Python爬取贴吧（简洁版）

python爬取贴吧_Python爬取贴吧（简洁版）相关推荐

最新文章

热门文章