# 使用预编译可以将整个文本中所有满足模式的链接提取出来，以列表形式存储

list_url.append(re.compile(listurl_pat, re.S).findall(data1))

print('Total articles\'url size:'+str(len(list_url))+'个')

for url in list_url:

print(url)

return list_url

except urllib.error.URLError as e:

if hasattr(e,'code'):

print(e.code)

if hasattr(e, 'reason'):

print(e.reason)

time.sleep(3)

except Exception as e:

print("Exception:"+str(e))

time.sleep(1)

# 根据需要查找的公众号文章的url,爬取文章内容

def get_content(list_url):

head_html = '''

爬取的微信文章简易展示'''

fhandle = open('/Users/rundouble/Desktop/'+k+'.html', 'wb')

fhandle.write(head_html.encode('utf-8'))

fhandle.close()

# 遍历list_url(二维表)

for i in range(0, len(list_url)):

for j in range(0, len(list_url[i])):

try:

# trim article url

url = list_url[i][j]

print(url)

url = url.replace('amp;', '')

data = get_source(url)

title_pat = '

(.*?)'

content_pat = 'id="js_content">(.*?)id="js_sg_bar">'

title = re.compile(title_pat).findall(data)

content = re.compile(content_pat,re.S).findall(data)

this_title = 'No title'

this_content = 'No content'

if title:

this_title = title[0]

if content:

this_content = content[0]

article_data = '

'+this_title+'

'+'

'+this_content+'

'

fhandle = open('/Users/rundouble/Desktop/'+k+'.html', 'ab')

fhandle.write(article_data.encode('utf-8'))

fhandle.close()

print('第'+str(i)+'个页面,第'+str(j)+'个文章正在写入。')

except urllib.error.URLError as e:

if hasattr(e, 'code'):

print(e.code)

if hasattr(e, 'reason'):

print(e.reason)

time.sleep(3)

except Exception as e:

print('Exception:'+str(e))

time.sleep(1)

fhandle.close()

foot_html = ''

fhandle = open('/Users/rundouble/Desktop/'+k+'.html','ab')

fhandle.write(foot_html.encode('utf-8'))

fhandle.close()

list_url = get_all_article_url('知乎›', 1, 2)

get_content(list_url)

结果：

将所有爬取的文章存储在以搜索关键字为名字的html文件中，比如，我以“知乎”为关键字，运行后，会有一个“知乎.html”的文件，打开：

思路：

在 微信|搜狗 可以搜索微信公众号和微信公众号文章，本教程只做文章的爬虫。当我们输入关键字“知乎”的时候，根据对比搜索时的网址URL发现

type=2表示搜索文章，不写 type默认查找的是公众号

query的值是要搜索的关键字，但由于是经过编码处理，所以在程序中要使用quote()方法对关键字进行utf-8的处理

这样就构建好搜索时的URL模板，不同的关键字搜索只需要更改query的值就可以。

当我们跳转搜索结果的第二页再次观察URL

这时增加了两个字段，一个是ie，代表编码格式，可以不管它。另一个是page=2，不难发现是控制搜索页的页数。

当我们搜索关键字时，进入预览页

这时需要获得当前页的所有的文章的链接，观察源代码

发现每篇文章的链接都是以