def get_urls(url,pages):"""获取所有目录下的所有文章url:param url: 某一页目录的url，去掉最后的数字:param pages: 一共需要爬取的页数:return: 返回所有文章url的列表"""total_urls = []for i in range(1,pages+1):      #根据一个目录的url找到所有目录
url_temp = url + str(i)html = get_html(url_temp)   #获取网页源码
title_pattern = re.compile(r'<a.*?class="postTitle2".*?href="(.*?)">',re.S)    #文章url正则表达式
url_temp2 = re.findall(title_pattern,html)     #找到一个目录中所有文章的网址for _url in url_temp2:total_urls.append(_url)            #所有文章url放在一起return total_urls

def get_title(url):"""获取对应url下文章的标题，返回标题:param url::return:"""html_page = get_html(url)title_pattern = re.compile(r'(<a.*id="cb_post_title_url".*>)(.*)(</a>)')title_match = re.search(title_pattern,html_page)title = title_match.group(2)return title

def get_body(url):"""获取url下文章的正文内容:param url::return:"""html_page = get_html(url)soup = BeautifulSoup(html_page,'html.parser')   #HTML文档解析器div = soup.find(id = "cnblogs_post_body")return div.get_text()

def save_single_file(url):"""首先在py文件同目录下创建一个以博主名字为名的文件，用来存放爬取的所有文章将文章正文保存在txt文件中，名字为文章标题有些文章的标题可能不适合直接作为txt文件名，我们可以忽略这些文章:param url::return:"""global article_count    #使用全局变量，需要在函数中进行标识title = get_title(url)body = get_body(url)#获取当前目录文件，截取目录后，并自动创建文件FILE_PATH = os.getcwd()[:-0]+author+'_''text\\'if not os.path.exists(FILE_PATH):os.makedirs(FILE_PATH)try:filename = title + '.txt'with open('D:\learning python\coding_python3.6\cnblog\\Andrew_text\\'+filename,'w',encoding='utf-8') as f:f.write(body)       #正文写入文件article_count+= 1   #计数变量加1，统计总的下载文件数except:passprint(title+"  file have saved...")     #提示文章下载完毕

    #获取当前目录文件，截取目录后，并自动创建文件FILE_PATH = os.getcwd()[:-0]+author+'_''text\\'if not os.path.exists(FILE_PATH):os.makedirs(FILE_PATH)

def save_files(url,pages):"""调用单个文件保存函数，循环保存所有文件:param url:传入任意一个目录的url，但是要注意去掉最后的数字。:return:"""total_urls = get_urls(url,pages)print("get all the urls..."+'\n')print(total_urls)      #获取的文章url正确for urls in total_urls:save_single_file(urls)#输出下载的总文章数print('\n' + "total article count is ：%d"%article_count)