Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂，注释超级全，代码可以直接运行】
Python 爬取网页信息并保存到本地【简单易懂，代码可以直接运行】
功能：给出一个关键词，根据关键词爬取程序，这是爬虫爬取网页的第一步
步骤：
1.确定url
2.确定请求头
3.发送请求
4.写入文件
确定请求头是其中的关键一步：
base_url = 'https://search.jd.com/Search?keyword={}&qrst=1&wq=%E8%8F%8C%E8%8F%87%E6%B0%B4&stock=1&pvid=16410c70ae6b422c9f67d397d90f0291&page={}&s=56&click=0'.format(key_words,page_name)这里面用到的是京东的网址，其中需要将keyword于page去掉并换上大括号，这里用到的是字符串的format用法，详细的可以参考我发布的字符串文章。keyword是为了找到所搜寻的商品的关键字，page是为了遍历要搜寻的页面。
3.发送请求这一步，python编译器中需要提前安装requests库，可以直接利用import requests来判断自己的python编译器中有没有request库，如果没有就在命令函中输入 pip install requests命令语句安装即可。
respone = requests.get(url=base_url,headers=headers)
需要注意的是有的网站带有反爬虫机制，他会阻止你爬取网页信息，此时这里需要你去拿到该网站的cookie去伪装浏览器去爬取信息，这里的网站暂时还用不到。后面会更新cookie的内容
最后将爬取的到的信息写入到本地文件，用的是with as语句，课本中的知识点。
with open('./day06{}北面.html'.format(page_name),'w',encoding='utf-8') as fp:fp.write(respone.text)
代码如下：
import requests
'''
创建一个输入关键字就可以爬取的程序
'''
key_words = input('请输入要爬取商品的关键字：')
def get_page(page_name):#S1 确定urlbase_url = 'https://search.jd.com/Search?keyword={}&qrst=1&wq=%E8%8F%8C%E8%8F%87%E6%B0%B4&stock=1&pvid=16410c70ae6b422c9f67d397d90f0291&page={}&s=56&click=0'.format(key_words,page_name)#S2确定请求头headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',}#S3发送请求respone = requests.get(url=base_url,headers=headers)#S4写入文件with open('./day06{}北面.html'.format(page_name),'w',encoding='utf-8') as fp:fp.write(respone.text)if __name__ == '__main__':for i in range(1,10):get_page(i)
运行结果如下：
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息 都保存在 ul 下的li 里面 爬虫结构: 其中封装了一个数据库处理模 ... Python爬取售房信息并保存至CSV文件 在上一篇文章: Python爬取租房信息并保存至Excel文件,介绍了如何使用Python爬取租房信息并保存至Excel文件,在本案例中则是使用Python ... 因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息 都保存在 ul 下的li 里面 爬虫结构: 其中封装了一个数据库处理模 ... Python爬取起点小说并保存到本地MongoDB数据库中 工具:Python3.7 + Mongo4.0 + Pycharm """ 爬取起点小说<诡秘之主> ... node.js 爬虫 实现爬取网页图片并保存到本地 没有废话直接看代码 /*** 请求网站数据* 将数据保存本地文件*/ //不同协议引用不同模块,http https const http = re ... Python+Selenium自动搜索基金业协会指定企业名单,抓取指定信息并保存到数据库.网址https://gs.amac.org.cn/amac-infodisc/res/pof/manager/ ... 爬取豆瓣网中电影信息并保存到本地目录当中 读者可以根据源代码来设计自己的爬虫,url链接不能通用,由于源代码中后续查找筛选中有不同类或者标签名,仅供参考,另外推荐b站上一个老师,叫路飞学城IT的,讲的 ... #coding=utf-8 import urllib import re #py抓取页面图片并保存到本地 #获取页面信息 def getHtml(url): page = urllib.urlope ... 本文主要向大家介绍了Java语言通过URL读取网页数据并保存到本地文件(代码实例),通过具体的内容向大家展示,希望对大家学习JAVA语言有所帮助. Java通过URL读取网页数据并保存到本地文件(代码 ...
这样即是爬取网页信息成功。
点个
Python 爬取网页信息并保存到本地爬虫爬取网页第一步【简单易懂，注释超级全，代码可以直接运行】相关推荐
最新文章
热门文章