批量判断url或域名是否可以访问

批量获取域名的工具subDomainsBrute好用，但是获取到的域名太多，不清楚每个域名是否都可以正常访问，所以使用python写了一个工具，来判断http或https页面是否可以访问，以及访问的标题内容。

代码如下，欢迎交流，需要自取。

"""
======================
@Auther:CacheYu
@Time:2019/10/24 下午
======================
"""
#!usr/bin/python
#coding:utf-8from bs4 import BeautifulSoup
import urllib.request
import requests
import time
import io
import sys#python3
# 判断是否能访问；获取标题；进行报错处理
def exception(url):try:r = requests.get(url=url)time.sleep(0.01)if(r.status_code == 200):#判断获取的r的编码方式，如果是utf-8的话，则再进行utf-8编码（由于网页的原因，部分utf-8需要再次编码，否则，会出现乱码）if(r.apparent_encoding=='utf-8'):r.encoding = 'utf-8'soup = BeautifulSoup(r.text, 'lxml')title = soup.title.text.replace(' ','').replace('\t','').replace('\n','').replace('\r','')print(url+'\t'+title)else:   time.sleep(2)print(url+'\t访问页面出错')   except requests.exceptions.ConnectionError: time.sleep(2)print(url+'\t未知的服务器')except requests.exceptions.ConnectTimeout:time.sleep(2)print(url+'\t连接、读取超时')# 获取每行url
def urls(lines):for line in lines:# 判断是否为空行if (line =='\n'):passelse:line = line.replace(' ','').replace('\t','').replace('\n','')if(line[0:4] == 'http'):exception(line)else:         url_h = 'http://'+lineexception(url_h)url_hs = 'https://'+lineexception(url_hs)if __name__ =='__main__':#test.txt是存放url或host的文件file = open('test.txt')lines = file.readlines()print('开始检查：\nurl\t标题')urls(lines)file.close()

写的过程中，由于不熟悉，两个地方思考了很久。
一个是获取url的内容，是使用urllib.request还是使用request。已转发文章。
一个是由于获取了不同网站的内容，当提取标题的时候，涉及到如何统一编码。python3目前基本上解决了大部分编码问题，由于本次的编码有点特殊，同样的utf-8编码，一个页面可以正常转换，一个却变成乱码，如果均将编码转成utf-8，则其他编码格式，例如GB2312编码的网站则乱码显示。

python2和python3的一些不同
1) python2中默认使用ascii，python3中默认使用utf-8
2) Python2中，str就是编码后的结果bytes，str=bytes,所以s只能decode。
3) python3中的字符串与python2中的u'字符串'，都是unicode，只能encode，所以无论如何打印都不会乱码，因为可以理解为从内存打印到内存，即内存->内存，unicode->unicode
4) python3中，str是unicode，当程序执行时，无需加u，str也会被以unicode形式保存新的内存空间中,str可以直接encode成任意编码格式，s.encode('utf-8')，s.encode('gbk')

部分代码参考地址：https://www.cnblogs.com/DicksonJYL/p/9464316.html

编码图片来源：https://www.cnblogs.com/schut/p/8406897.html

批量判断url或域名是否可以访问相关推荐

利用shell脚本批量判断目标ip存活情况
一.目的有时候需要批量去判断目标ip是否存活,一个一个去试多麻烦所以写了个shell脚本去批量尝试,原理使用的是去ping目标ip,虽然这种方法受很多因素影响,比如网速,防火墙禁ping等,但是也是 ...
mysql 批量替换域名_msyql 中批量替换url网址中的域名方案。
最近做一个项目(项目是采用的第三方的内容php框架+mysql搭建的),项目中有个功能需要采集大量的文章数据,数据库中直接存储的是文章的网址(举例:www.xxx.com/article?id=- 所 ...
url主机域名可以省略_接口自动化测试（三）：关于URL
关于URL 说起URL,大家第一反应可能是这不就是一个地址吗,还能有什么门道? URL是Uniform Resource Locator的缩写,称为统一资源定位符.URL正是使用web浏览器访问web ...
php正则表达式判断url,判断url的正则表达式
判断url的正则表达式判断url的正则表达式 @"^((https|http|ftp|rtsp|mms)?://)" + @"?(([0-9a-z_!~*'().& ...
【Nginx】判断URL中是否存在某个参数Parameter
前言 nginx 1.15.11(下面的代码在此版本测试通过) 判断URL中是否存在某个参数Parameter 假设,当URL中存在参数method=autoGenerateIndex(区分大小写)时 ...
威联通NAS通过宝塔面板实现域名统一端口访问
背景家用的宽带是联通的,自带公网 IP ,但是封锁了 80 端口和 443 端口,无法隐藏端口进行访问.因为前段时间一直在给 NAS 增加服务,都是通过公网 IP + 端口的形式通过路由器的端口映射 ...
Nginx默认虚拟主机、 Nginx用户认证、Nginx域名重定向、访问日志·····
2019独角兽企业重金招聘Python工程师标准>>> Ngninx默认虚拟主机 1.vim /usr/local/nginx/conf/nginx.conf //增加 2.incl ...
php 判断是否是域名,用PHP判断顶级域名
在写电商圈排名系统时,其中一个重要的想法就是要判断顶级二级域名:q.eb.cn 内页:http://yun.im/yunseo/621.html 其它等等. 而在统计排名时,只计算顶级域名的.其它非 ...
网址，URL，域名，IP地址，DNS，域名解析
网址,URL,域名,IP地址,DNS,域名解析文章简介一篇关于网址.URL.IP地址.域名.DNS.域名解析的白话长文. 编写形式:QA 背景知识互联网上的所有数据都是存储在主机(服务器)上互联 ...

批量判断url或域名是否可以访问

批量判断url或域名是否可以访问相关推荐

最新文章

热门文章