python2.x 获取网页内容

利用python获取网页内容可以说是非常的方便的，本人是小白，在学习过程中，记录一点点心得。获取内容以知乎为例，只供学习使用哦。

1、导入库文件

import sys  #系统库
import urllib2 #常用的URL库
import re #正则库

2、设置编码格式为utf-8，不设置会出现乱码的情况哈

第一种方式：
sys.setdefaultencoding('utf-8') #输出内容是utf-8 格式第二种方式：
#!/usr/bin/env python
# -*- coding: UTF-8 -*-

3、设置请求头和URL获取网页源码

#获取网页源码
def getHtml(url):header = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:48.0) Gecko/20100101 Firefox/48.0"}request = urllib2.Request(url=url,headers=header) #模拟浏览器进行访问response = urllib2.urlopen(request)text = response.read()return text

关于header的获取请看这里，在浏览器中打开一个网页 -> 右键 ->检查/审查元素(不同浏览器叫法不一) ->network(网络) ->在下面随意打开一个链接 ->在右侧查看User-Agent
赋图如下：

3.1 利用urllib2.Request(url='这是url',headers='这是header') 设置请求header

3.2 urllib2.urlopen(request) 获取网页源码

3.3 text = response.read() 从返回中读取源码

4 、通过html源码解析页面中的超链接

#通过解析html解析超链接
def getUrls(html):pattern = re.compile('<a href="/story/(.*?)"') #提高效率items = re.findall(pattern,html)urls = [] #链接的listfor item in items:urls.append('http://daily.zhihu.com/story/' + item)  # 拼接参数return urls

思路：拿到了页面源码怎么样获取里面的url链接呢，如果能通过一种格式过滤出url就好了，这时正则就是我们的王牌了。正则可以帮助我们轻松解决这个问题。

正则的头文件在re库中，
4.1 通过pattern = re.compile('正则表达式') 定义正则表达式
4.2 re.findall(正则表达式,网页源码) 配置符合正则表达式的内容

5.对获取的内容进行读取

#解析日报内容(标题+正文)
def getContent(url):html = getHtml(url)pattern = re.compile('<h1 class="headline-title">(.*?)</h1>')items = re.findall(pattern,html)# print items[0]#匹配文章内容pattern = re.compile('<div class="content">\\n<p>(.*?)</div>',re.S)  #re.S匹配换行符items_withtag = re.findall(pattern,html)for item in items_withtag:dr = re.compile(r'<[^>]+>', re.S) #去除标签正则dd = dr.sub('', item)print dd

完整源码地址：回去再传吧，网络限制github,哈哈哈。。
https://github.com/MisterZhouZhou/pythonLearning