小说爬虫强制绕过ssl验证

requests.get(url,verify=False)

verify=False 忽略证书验证

import requests
# 取消忽略ssl的验证警告
import urllib3
urllib3.disable_warnings()from lxml import etree
from multiprocessing.dummy import Pool####获取网页信息####
def get_dow(url):ip = {}headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'}req = requests.get(url,headers=headers,proxies=ip,verify=False)req.encoding = 'gbk'soup = etree.HTML(req.text)return (soup)####多线程下载章节####
def cache_download(url):dictname = url[-13:-5]chapter_url = prefix+urlsoup = get_dow(chapter_url)content_name = soup.xpath('//*[@class="bookname"]/h1/text()')[0]content_text = soup.xpath('//*[@id="content"]/text()')content_text = ''.join(content_text)dict[dictname] = [content_name,content_text]print(content_name)####顺序合并多线程下载章节####
def cache_text(url):dictname = url[-13:-5]content_name = dict[dictname][0]content_text = dict[dictname][1]with open(name+'.txt','a',encoding='utf-8') as f:f.write(content_name+'\n')f.write(content_text+'\n')####开始####
if __name__ == '__main__':print('仅支持：https://www.45zw.la/'+'\n')dict = {}a = input('输入要下载的链接码：')target='https://www.45zw.la/txt/'+a+'/'prefix = 'https://www.45zw.la/txt/'+a+'/'soup = get_dow(target)chapter_url_list = soup.xpath('//*[@id="list"]/dl/dd/a/@href')name = str(soup.xpath('//*[@id="info"]/h1/text()')[0])print('\n'+'你须要下载的小说是：'+name+'\n')chapter_unm  = int(input('请输入开始章节：')) +11thread = int(input('\n'+'要启动多少线程下载：'))pool = Pool(thread)pool.map(cache_download,chapter_url_list[chapter_unm:])pool.close()pool.join()pool = Pool(1)pool.imap(cache_text,chapter_url_list[chapter_unm:])pool.close()pool.join()print('\n'+'....下载完成....')

小说爬虫强制绕过ssl验证相关推荐

php curl无视ssl,用Curl实现Post和Get请求，可绕过SSL验证
今天撸码用到了Curl的post和get请求并需要绕过SSL验证,现将代码打包以备后用: function request_by_curl($url, $post_data = '', $timeou ...
爬虫代理及ssl验证
IP代理:import requests url='https://weibo.com/' proxies={ 'http':'116.196.66.197:99999' } # 此处的proxies ...
关于HttpClient绕过SSL认证以及NTLM认证
前言本篇文章只涉及本人在工作上使用HttpClient遇到的情况,并不会详细地展开讲如何使用HttpClient. 1. 为什么使用HttpClient? 一开始其实是考虑使用RestTemplat ...
绕过安卓SSL验证证书的四种方式
在此之前,移动端应用程序会直接忽略掉所有的SSL错误,并允许攻击者拦截和修改自己的通信流量.但是现在,很多热门应用程序至少会检查证书链是否是一个有效可信任的证书机构(CA)颁发的. 作为一名渗透测试人 ...
绕过安卓SSL验证证书的常见四种方式
在此之前,移动端应用程序会直接忽略掉所有的SSL错误,并允许攻击者拦截和修改自己的通信流量.但是现在,很多热门应用程序至少会检查证书链是否是一个有效可信任的证书机构(CA)颁发的.作为一名渗透测试人员 ...
绕过安卓SSL验证的办法
为什么我们要特别关注移动端应用程序的SSL MitM安全情况呢?为了观察或对移动端应用程序的Web服务调用情况,我们需要使用类似BurpSuite或ZAP这样的拦截代理.当我们利用代理拦截下SSL流量 ...
VeriSign扩展验证EV SSL证书——128位强制型SSL服务器证书(VeriSign Secure Site Pro with EV)...
VeriSign扩展验证EV SSL证书--128位强制型SSL服务器证书(VeriSign Secure Site Pro with EV) • 全球最为知名的SSL证书品牌 • SGC128位强制 ...
【起点阅读】java小说爬虫
[起点阅读]java小说爬虫写一个可以在起点网站爬小说的爬虫缺点就是vip无法完整的爬取废话不多说,上代码了] pom.xml 完整各种包的引用 <parent><groupI ...
Python selenium自动化刷问卷+绕过智能验证
学校思政实践要收集1500份问卷,待在家里无聊就简单写了个用selenium模块实现的自动填写问卷xing问卷的小程序. 基本思路很简单: 1.先打开问卷的网址,按F12进开发者模式分析页 ...

小说爬虫强制绕过ssl验证

小说爬虫强制绕过ssl验证

requests.get(url,verify=False)

小说爬虫强制绕过ssl验证相关推荐

最新文章

热门文章