此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除）
本人博客所有文章纯属学习之用，不涉及商业利益。不合适引用，自当删除！
若被用于非法行为，与我本人无关

基于Python实现百度查询返回结果真实url读取及域名读取

代码
过程分析
运行结果
完成情况

代码

import requests                          #用于请求网页
from bs4 import BeautifulSoup            #用于处理获取的到的网页源码数据
from urllib.parse import urlparse        #用于处理urlheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36 Edg/90.0.818.56','Cookie':'#自己加'}def get_baidu():what=input("请输入查询内容：")what=str(what)url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=3&tn=site888_2_pg&wd={}&oq=%25E5%25BE%25AE%25E5%258D%259A&rsv_pq=ab9433940005fc20&rsv_t=f721nLpQiz6ELa%2BXTEM1GulsITO9WZ656CgvrvKzqe1k4COXnRJIaM3oVDLyffZkK4DB&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=6&rsv_sug1=6&rsv_sug7=100&rsv_sug2=0&rsv_btype=t&inputT=1552&rsv_sug4=2322'.format(what)rs = requests.session()r = rs.get(url, headers=headers)soup = BeautifulSoup(r.content, 'lxml')h3=soup.find_all('h3')for H3 in h3:try:data=[]a=H3.find('a')data.append(a.text)data.append(a['href'])link=a['href']try:RS = requests.session()R = RS.get(url=link,allow_redirects=False,verify=False, headers=headers)LINK=R.headers["Location"]#再次请求之后location定位data.append(LINK)domain = str(urlparse(LINK).scheme + "://" + urlparse(LINK).netloc)#获取域名Subdomain.append(domain)data.append(domain)except:passfor i in data:print(i)except:passif __name__ == '__main__':get_baidu()

过程分析

首先对于输入的查找内容进行构造url然后发送请求并解析
定位到指定的标签获取我们所搜索到的文本信息以及百度的跳转url
然后进行域名提取
最后是完善错误机制

运行结果

完成情况

成功提取了百度引擎的中搜索到的标题与跳转url，并且得到了真实url以及真实域名

从入门到入土：基于Python实现百度查询返回结果真实url读取及域名读取相关推荐

【优秀课设】基于Python的百度API的OCR名片识别【含完整API账户】
基于Python的百度API的OCR名片识别[含完整API账户] API账户:(AK及SK) client_id ='WiXDt5e70NI5w0qSeoUBZClZ' client_secret = ...
python实现离线翻译_基于python实现百度翻译功能
运行环境: python 3.6.0 今天处于练习的目的,就用 python 写了一个百度翻译,是如何做到的呢,其实呢就是拿到接口,通过这个接口去访问,不过中间确实是出现了点问题,不过都解决掉了先晾 ...
基于Python的百度AI人脸识别API接口（可用于OpenCV-Python人脸识别）
基于Python的百度AI人脸识别API接口(可用于OpenCV-Python人脸识别) 资源: download.csdn.net/download/weixin_53403301/43644312 ...
python怎么读发音百度翻译-基于python实现百度翻译功能
运行环境: python 3.6.0 今天处于练习的目的,就用 python 写了一个百度翻译,是如何做到的呢,其实呢就是拿到接口,通过这个接口去访问,不过中间确实是出现了点问题,不过都解决掉了先晾 ...
从入门到入土：Python爬虫学习|Selenium自动化模块学习|简单入门|轻松上手|自动操作浏览器进行处理|chrome|PART01
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
python hacklib_【入门】angr:基于python的二进制分析框架
文章难易度:★★★ 文章阅读点/知识点:angr:基于python的二进制分析框架文章作者:desword
python如何获取百度搜索结果的真实URL
在公司中需要去抓取一些数据,就遇到了以下这些问题: 想通过爬虫获取百度搜索结果的原始链接.通过Firefox的HttpFox插件,发现在搜索结果的URL是加密过的,例如: http://www.bai ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...

从入门到入土：基于Python实现百度查询返回结果真实url读取及域名读取

基于Python实现百度查询返回结果真实url读取及域名读取

代码

过程分析

运行结果

完成情况

从入门到入土：基于Python实现百度查询返回结果真实url读取及域名读取相关推荐

最新文章

热门文章