URL详细分析及在python中处理URL

文章目录

URL
- URL介绍
- URL案例
URL处理
- urlparse方法
- urlsplit方法
- urlunparse方法
- urlunsplit方法
- urljoin方法
- URL序列化与反序列化
其他相关文章推荐

URL

URL介绍

URL(Uniform Resource Locator)中文名为统一资源定位符，有时也被俗称为网页地址。它表示为互联网上的资源，例如网页或者FTP地址。一个标准的URL格式如下:

scheme://[username:password@]hostname[:port][/path][;parameters][?query][#fragment]

中括号包括的内容代表非必要部分

我们对url的这些组成部分进行介绍

scheme(协议)：指定使用的传输协议，最常用的是HTTP和HTTPS协议

HTTPS就是在 HTTP 下加入 SSL 层，简单讲是 HTTP 的安全版
username、password：用户名和密码,

某些情况下 URL 需要提供用户名和密码才能访问
hostname(主机地址)：可以是域名或 IP 地址
post(端口)：服务器设定的服务端口，默认为8080
path(访问路径)：网络资源在服务器中的指定地址
params(参数)：制定访问某个资源的时候的附加信息，用的很少
query(查询条件)：一般 GET 类型的 URL 会用
fragment(片段)：对资源描述的部分补充，可以理解为资源内部的书签

有两个作用:

用作单页面路由,

用作 HTML 锚点，用它可以控制一个页面打开时自动下滑滚动到某个特定的位置

URL案例

案例1：

https://admin:123@ssr3.scrape.center/
# 用户名是admin,密码是123
#hostname是ssr3.scrape.center
#端口是8080()

案例2

https://6.6.6.6:8090/
# hostname 是 6.6.6.6(IP地址)
# 端口是8090

案例3

https://github.com/favicon.ico;user?id=1&name="hello"
# path是favicon.ico
# parameters是user
# query是id=1&name="hello"

scheme://host/path;params?query#fragment

URL处理

python中urllib库的parse 模块定义了处理 URL 的标准接口

urlparse方法

按url标准格式解析成scheme、host、path、params、query 和 fragment六部分

from urllib.parse import urlparse
result = urlparse('https://www.baidu.com/index.html#comment')
print(result.scheme, result[0], result.netloc, result[1], sep='\n')

urlsplit方法

按url标准格式解析成scheme、host、path、params、query五部分
类似于urlparse方法,只不过fragment合并到path中

from urllib.parse import urlsplit
result = urlsplit('https://www.baidu.com/index.html#comment')
print(result.scheme, result[0], result.netloc, result[1], sep='\n')

urlunparse方法

把urlparse方法解析的结果逆着解析方式拼装回去
接收一个长度为6的可迭代对象作为参数

from urllib.parse import urlunparse
data = ['h', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
#将data中的元素拼接成一个url,data可以是列表,元组等,但长度要为6
print(urlunparse(data))

urlunsplit方法

将urlsplit方法解析的结果逆着解析方式拼装回去
接收一个长度5的可迭代对象作为参数

from urllib.parse import urlunsplit
date = ['https', 'www.baidu.com', 'index.html', 'user', 'a=6']
#将data中的元素拼接成一个url,date可以是列表,元组等,但长度要是5
print(urlunsplit(date))

urljoin方法

方法签名：urljoin(base, url, allow_fragments=True)
如果url中不存在 scheme、netloc 和 path 就拿base的对应来用(有的话)
用于url的解析、拼合与生成

print(urljoin('https://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('https://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))

URL序列化与反序列化

urlencode(dict)：将字典dict序列化为GET请求中的query并返回

from urllib.parse import urlencodeparams = {'name': 'germey','age': 25
}
base_url = 'https://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

parse_qs(query)：将GET请求中的query反序列化为字典并返回

from urllib.parse import parse_qsquery = 'name=germey&age=25'
print(parse_qs(query))

parse_qsl(query)：将GET请求中的query转化为元组组成的列表并返回

from urllib.parse import parse_qslquery = 'name=germey&age=25'
print(parse_qsl(query))

quote(word)：用于将URL 中的中文参数转化为 URL 编码的格式(防止乱码)并返回

from urllib.parse import quotekeyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote(keyword)
print(url)

unquote(word)：对URL解码并返回

from urllib.parse import unquoteurl = 'https://www.baidu.com/s
print(unquote(url))

其他相关文章推荐

爬虫学习——爬虫学习——Robots协议和 robotparser模块
一文速通的正则表达式
python中使用正则表达式——为所欲为
爬虫实战小案例
爬虫实战(1)——小试牛刀

URL详细分析及在python中处理URL相关推荐

python中url是什么_怎么在Python中实现URL的解析
怎么在Python中实现URL的解析发布时间:2020-08-24 17:56:47
python中的URL编码和解码
python中的URL编码和解码:test.py 1 # 引入urllib的request模块 2 import urllib.request 3 4 url = 'https://www.douba ...
Python中验证URL是否可以访问
Python中验证URL是否可以访问今天下午的时候写RPC接口自动化的时候需要验证研发传过来的URL是否可以访问,由于自己是个垃圾,没写过Python,只是这段时间学了点Java,后通过度娘与Goo ...
Python 中的url,Base64和MD5编码解码的使用
1.encode()和decode() 我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes(字节). 所以当我们在Python中进行加密操作的时候,要确保 ...
VirusTotal api 在 python 中的 URL，域名使用
URL 发送并扫描URL 首先发送扫描一个url,要向https://www.virustotal.com/vtapi/v2/url/scan 发送一个http post 请求, 其中api 接受请求 ...
python中根据URL获得数据库的名称及IP
URL样例: # url 示例1 jdbc:oracle:thin:@172.16.2.32/orclis # url 示例2 jdbc:oracle:thin:@172.16.2.31:1521 ...
HTTP和URL详细分析
原文链接:https://blog.csdn.net/wq6ylg08/article/details/82868595 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请 ...
Android 通过URL scheme 实现点击浏览器中的URL链接，启动特定的App，并调转页面传递参数...
点击浏览器中的URL链接,启动特定的App. 首先做成HTML的页面,页面内容格式如下: <a href="[scheme]://[host]/[path]?[query]" ...
php 获取字符串中的url,php使用正则表达式获取字符串中的URL
今天写一个问答系统上线之后发现有很多人发链接了,由于业务部门要我们过滤掉网站地址了,下面我给大家分享一个提取字符串url地址函数,代码如下:$str ='本文实例讲述了php匹配字符串里所有URL地址 ...

URL详细分析及在python中处理URL

文章目录

URL

URL介绍

URL案例

URL处理

urlparse方法

urlsplit方法

urlunparse方法

urlunsplit方法

urljoin方法

URL序列化与反序列化

其他相关文章推荐

URL详细分析及在python中处理URL相关推荐

最新文章

热门文章