Craw the data of the web page and parse to pdf

learned by here 把廖雪峰教程转换成 PDF 电子书.You can also craw other websites’ data and then parse to the pdf format.

#-*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import pdfkitdef parse_url_to_html(url):response = requests.get(url)soup = BeautifulSoup(response.content,'html.parser')body = soup.find_all(class_ = 'x-wiki-content')[0]html = str(body)print('html content:%s' %(html))with open('content.html','wb') as f:f.write(html)def get_url_list(url):response = requests.get(url)#print(response.content)soup = BeautifulSoup(response.content,'html.parser')menu_tag = soup.find_all(class_='uk-nav uk-nav-side')[1]urls = []for li in menu_tag.find('li'):temp_url = 'http://www.liaoxuefeng.com' + li.a.get('href')urls.append(temp_url)return urlsdef save_pdf(htmls):options = {'page-size':'Letter','encoding':'UTF-8','custom-header':[('Accept-Encoding','gzip')]}pdfkit.from_file(htmls,file_name,options = options)if __name__ == '__main__':url = b'https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000'urls = get_url_list(url)for u in urls:parse_url_to_html(u)file_name = 'python course'save_pdf('content.html')

Craw the data of the web page and parse to pdf相关推荐

解决Spring Spring Data JPA 错误： Page 1 of 1 containing UNKNOWN instances
解决Spring Spring Data JPA 错误: Page 1 of 1 containing UNKNOWN instances SpringBoot 整合 Spring-Data-JPA ...
在ASP.NET MVC里对Web Page网页进行权限控制
我们在ASP.NET MVC开发时,有时候还是得设计ASP.NET的Web Page网页(.aspx和.aspx.cs),来实现一些ASP.NET MVC无法实现的功能,如此篇<Visual S ...
LR实战之Discuz开源论坛——网页细分图结果分析（Web Page Diagnostics）
续LR实战之Discuz开源论坛项目,之前一直是创建虚拟用户脚本(Virtual User Generator)和场景(Controller),现在,终于到了LoadRunner性能测试结果分析(An ...
HTML Responsive Web Page
注:参考网站 https://www.w3schools.com HTML Responsive Web Page index.html <!DOCTYPE html> <html& ...
web test IBM Page Detailer / IBM Rational Performance Tester / Web Page Performa
S IBM测试分类-AVT,BVT,CVT,FVT,GVT,TVT,SVT,PVT http://blog.csdn.net/hpf911/article/details/7095785 AVT,ac ...
微信（WeChat web page）
插件介绍: 说到微信,相信身边的很多朋友都在使用这个软件,因为它有着很多强大的功能,包括朋友圈.摇一摇.漂流瓶.语音提示等,使之成为我们生活中很重要的部分,最初在手机上使用,后来也出现了网页版,今天为 ...
Analysis之Web Page Diagnostics
当在场景中打开Diagnostics菜单下的Web Page Diagnostics功能,就能得到网页分析组图,通过这个功能可以实现对网站的前端性能分析,明确系统响应时间较长是由服务器端处理能力不足还 ...
嗯哼之 Safari 调试 iPhone Web Page
LZ-Says:勇敢说出来,虽然错过,但是总比不说要好.说出来错过了,还是幻想着某天可以继续默默守护,是么? 前言话说,近些日子一直处理集团官网开发中,前几日接到测试反馈,移动端某个页面兼容性有问题 ...
Web Page Performance
Overview 现下Web项目越来越多,如何衡量Web应用的性能,也成了开发或者测试人员不得不着重考虑的问题.传统方式下可能会使用项目日志,或者LoadRunner等工具对Web页面进行监测以得到一 ...
对Spring Data JPA中的page对象下的content属性里的实体类对象转换为dto对象
对Spring Data JPA中的page对象下的content属性里的实体类对象转换为dto对象. 刚开始试遍历content,进行转换,添加到新的list中,再set进去page.后来发现pag ...

Craw the data of the web page and parse to pdf

Craw the data of the web page and parse to pdf相关推荐

最新文章

热门文章