环境：pytho3.5.1

import requests

import os

import time

import random

import re

import pdfkit

from bs4 import BeautifulSoup

from lxml import html

def get_text(url):

# 获取url的内容，调用频率极高

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}

response = requests.get(url, headers=headers)

response.encoding = 'utf-8'

return response.text

def clean_str(string):

# 创建文件时候去掉特殊字符，防止创建失败

return re.sub(r'\n|\s', '', string)

def analysis_text(url):

# 核心方法，获取需要的html信息，以方便重新组合形成新的html文件，注意是带上标签的

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}

text = get_text(url)

soup = BeautifulSoup(text, 'html.parser')

try:

title = soup.find_all('h1')[0]

main_text = soup.find_all(id="arc-body")[0]

file_name = re.findall('

(.*?)

', text)[0]

file_name = clean_str(file_name)

imgs = re.findall('

for i in imgs:

if '?' not in i:

name = i.split('/')[-1]

with open(name, 'wb') as img:

img.write(requests.get(

'http://c.biancheng.net' + i, headers=headers).content)

main_text = re.sub(r'/uploads/allimg/\d+/', '', str(main_text))

except IndexError as i:

print(i, 'Information error!', sep=': ')

title = ''

main_text = ''

file_name = ''

return title, main_text, file_name

def write_html(url):

# 形成新的HTML文件

title, main_text, file_name = analysis_text(url)

with open(file_name + '.html', 'w', encoding='utf-8') as ht:

ht.write(str(title))

ht.write(str(main_text))

return file_name

def write_pdf(count, url):

# 将html文件写入pdf，注意的是参数与使用方法

file_name = write_html(url)

options = {

'page-size': 'Letter',

'encoding': "UTF-8",

'margin-top': '0.75in',

'margin-right': '0.75in',

'margin-bottom': '0.75in',

'margin-left': '0.75in',

'no-outline': None,

'custom-header': [

('Accept-Encoding', 'gzip')

]

}

path_wk = r'C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe' # wkhtmltopdf安装位置

config = pdfkit.configuration(wkhtmltopdf=path_wk)

pdfkit.from_file(file_name + '.html', file_name + '.pdf',

options=options, configuration=config)

def clean_dir():

# 爬取过程会生成很多缓存文件，爬取完成后一并清除

fpath = os.getcwd()

for file in os.listdir(fpath):

if '.gif' in file or '.html' in file or '.jpg' in file:

os.remove(os.path.join(fpath, file))

def get_urls_xpath(start_url):

# 获取需要爬取的链接并检查格式

text = get_text(start_url)

etree = html.etree

ehtml = etree.HTML(text)

hrefs = ehtml.xpath('//div[@id="sidebar"]//dd/a/@href')

for i in range(len(hrefs)):

if 'http' not in hrefs[i] :

hrefs[i] = 'http://c.biancheng.net' + hrefs[i]

return hrefs

if __name__ == '__main__':

start_url = 'http://c.biancheng.net/tensorflow/'

urls = get_urls_xpath(start_url)

for count, url in enumerate(urls):

time.sleep(random.random())

write_pdf(count + 1, url)

clean_dir()

python抓取网页数据没有文件输出什么原因_Python抓取网页内容并输出PDF文件相关推荐

用python爬取网页数据并存入数据库中源代码_Python爬取51cto数据并存入MySQL方法详解...
[] 实验环境 1.安装Python 3.7 2.安装requests, bs4,pymysql 模块实验步骤1.安装环境及模块可参考https://www.jb51.net/article/19 ...
cookie追加数据_集算器 SPL 抓取网页数据
[摘要] 集算器 SPL 支持抓取网页数据,根据抓取定义规则,可将网页数据下载到在本地进行统计分析.具体定义规则要求.使用详细情况,请前往乾学院:集算器 SPL 抓取网页数据! 网站上的数据源是我们进 ...
excel数据自动录入网页_Excel自动抓取网页数据，数据抓取一键搞定
网站上的数据源是我们进行统计分析的重要信息源.我们在生活中常常听到一个词叫"爬虫",能够快速抓取网页上的数据,这对于数据分析相关工作来说极其重要,也是必备的技能之一.但是爬虫大多需 ...
node爬虫,抓取网页数据
node爬虫,抓取网页数据 1.什么是爬虫? 抓取信息或者数据的程序或者是脚本 2.通过node实现对网页数据的抓取. 安装插件 request,处理请求(此包以被弃用) npm i request ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
python 实时抓取网页数据并进行筛查
python 实时抓取网页数据并进行筛查爬取数据的两种方法 : 方法 1 : 使用 requests.get() 方法,然后再解码,接着调用 BeautifulSoup API 首先看 head ...
python 抓取网页数据
python 抓取网页数据此文解决如何从不同网页爬取数据的问题及注意事项,重点说明requests库的应用. 在开始之前,要郑重说明一下,不是每一个网页都可以爬取数据哦.有的网页涉及个人隐私或其他敏 ...
Python 爬虫篇#笔记02# | 网页请求原理和抓取网页数据
目录一. 网页请求原理 1.1 浏览网页的过程 1.2 统一资源定位符URL 1.3 计算机域名系统DNS 1.4 分析浏览器显示完整网页的过程 1.5 客户端THHP请求格式 1.6 服务端HTT ...
Python爬虫之XPath基础教程：用代码抓取网页数据
Python爬虫之XPath基础教程:用代码抓取网页数据在网络时代,网页数据是获取信息和进行分析的最重要的来源之一.Python的爬虫技术让我们可以轻松抓取网页数据,并进行数据处理.XPath是一种 ...

python抓取网页数据没有文件输出什么原因_Python抓取网页内容并输出PDF文件

(.*?)

python抓取网页数据没有文件输出什么原因_Python抓取网页内容并输出PDF文件相关推荐

最新文章

热门文章