本文目的是简单的在选定浏览器页面，按照关键字爬取自己想要的信息，关键点为跳过反爬网页的反爬机制 。

使用UA伪装

User-Agent

我们使用所爬网站中的User-Agent来进行伪装，让它以为我们是它本身的一部分，从而使得我们能够成功爬取我们需要的信息。

各网站User-Agent查找方法

打开所要爬取的页面，按键盘F12,如下图内容：

代码模块

该代码用例是搜狗网站

import requestsif __name__ == '__main__':# UA伪装header = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'}# 1.指定urlurl = "https://www.sogou.com/web?"kw = input("请输入关键字：")param = {'query' : kw}# 2.发送请求response = requests.get(url=url,params=param,headers=header)#数据获取html = response.textprint(html)response.encoding = 'utf-8'fileName = kw + '.html'with open(fileName,'w',encoding='utf-8') as f:f.write(html)print("页面获取成功！！！！")

按关键字爬取网页信息相关推荐

Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂，注释超级全，代码可以直接运行】
Python 爬取网页信息并保存到本地[简单易懂,代码可以直接运行] 功能:给出一个关键词,根据关键词爬取程序,这是爬虫爬取网页的第一步步骤: 1.确定url 2.确定请求头 3.发送请求 4.写入 ...
[python] 常用正则表达式爬取网页信息及分析HTML标签总结
这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...
Python爬虫：Xpath爬取网页信息（附代码）
Python爬虫:Xpath爬取网页信息(附代码) 上一次分享了使用Python简单爬取网页信息的方法.但是仅仅对于单一网页的信息爬取一般无法满足我们的数据需求.对于一般的数据需求,我们通常需要从一个 ...
python正则表达式爬取网页数据_常用正则表达式爬取网页信息及HTML分析总结
Python爬取网页信息时,经常使用的正则表达式及方法. 1.获取标签之间内容2.获取超链接之间内容3.获取URL最后一个参数命名图片或传递参数4.爬取网页中所有URL链接5.爬取网页标题titl ...
常用正则表达式爬取网页信息及分析HTML标签总结
这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...
常用正则表达式爬取网页信息及HTML分析总结
Python爬取网页信息时,经常使用的正则表达式及方法. 1.获取<tr></tr>标签之间内容 2.获取<a href..></a>超链接之间内容 3 ...
利用脚本动态爬取网页信息
利用脚本动态爬取网页信息编译环境:Jupyter Notebook (Anaconda3) 调用的包:selenium,webdrive,webdriver_manager 文章目录利用脚本动态爬 ...
Scrapy项目之自动爬取网页信息
前文已经介绍了利用Scrapy框架与手写爬虫,比较了Scrapy框架的优势.前面介绍的scrapy框架爬取是针对一个网页的爬取,而本文介绍的是实现多个网页的自动爬取,本文将以爬取虎扑湿乎乎论坛帖子信息 ...
python爬取网页信息
最近在学习python,发现通过python爬取网页信息确实方便,以前用C++写了个简单的爬虫,爬取指定网页的信息,代码随便一写都几百行,而要用python完成相同的工作,代码量相当少.前几天看到了一 ...

按关键字爬取网页信息

使用UA伪装

代码模块

按关键字爬取网页信息相关推荐

最新文章

热门文章