python爬取猪八戒网的内容

from lxml import etree
import requests
# 爬取页面
def get_page(url):resp = requests.get(url)resp.encoding='utf-8'return resp.text# 从页面中提取所需要的信息
def get_info(s):html = etree.HTML(s)divs = html.xpath('/html/body/div[6]/div/div/div[3]/div[5]/div[1]/div')# 将读取的数据写入文件夹里fp = open('d.txt', mode='w',encoding='utf-8')for div in divs:company_name = div.xpath('./div/div/a[1]/div[1]/p/text()')[1][2:]fp.write('公司名称: ' + company_name + '\n')price = div.xpath('./div/div/a[2]/div[2]/div[1]/span[1]/text()')[0].strip('¥')fp.write('价格: ' + price + '\n')product_name = div.xpath('./div/div/a[2]/div[2]/div[2]/p/text()')product_name = ('网站建设').join(product_name)fp.write('产品名称: ' + product_name + '\n')location = div.xpath('./div/div/a[1]/div[1]/div/span/text()')fp.write('地址: ' + str(location[0]) + '\n')fp.write('\n')# 关闭文件fp.close()# 爬取的网址
url = "https://qingdao.zbj.com/search/f/?kw=%E7%BD%91%E7%AB%99%E5%BB%BA%E8%AE%BE"
s = get_page(url)
get_info(s)

输出：

公司名称: 骐翔网络10年老店
价格: 1800
产品名称: PC+手机自适应网站建设|h5响应式网站建设|企业网站建设定制开发
地址: 青岛公司名称: 三盛网络—未来主义设计美学的倡导者
价格: 4500
产品名称:  企业网站建设 网站建设定制 手机网站建设 网站建设制作网站建设设计
地址: 青岛公司名称: 圣融科技有限公司
价格: 2500
产品名称: 开发网站建设制作企业公司网站建设H5响应式网站建设手机微官网
地址: 青岛
...

python爬取猪八戒网的内容相关推荐

python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
python爬取当当网商品评论
python爬取当当网商品评论本案例获取某鞋评论作为例案例目的: 通过爬取当当网商品评价,介绍通过结合jsonpath和正则表达式获取目标数据的方法. 代码功能: 输入爬取的页数,自动下载保存每页 ...
Python爬取豆瓣网影评展示
Python爬取豆瓣网影评展示需要的库文件 requests beautifulsoup wordcloud jieba matplotlib 本文思想 1.访问指定的网页 #获取指定url的内容 ...
用python爬取基金网信息数据，保存到表格，并做成四种简单可视化。（爬虫之路，永无止境！）
用python爬取基金网信息数据,保存到表格,并做成四种简单可视化.(爬虫之路,永无止境!) 上次 2021-07-07写的用python爬取腾讯招聘网岗位信息保存到表格,并做成简单可视化. 有的人留 ...
Python爬取书包网文章实战总结
python爬取书包网文章总结今天闲来无事去看小说,但是发现没办法直接下载,所以呢就用python爬虫来下载一波了,哈哈- 爬取的是这篇小说:剑破九天(是不是很霸气,话不多说,开始-) 总体思路步骤 ...
python爬取当当网的书籍信息并保存到csv文件
python爬取当当网的书籍信息并保存到csv文件依赖的库: requests #用来获取页面内容 BeautifulSoup #opython3不能安装BeautifulSoup,但可以安装Bea ...
利用Python爬取散文网的文章实例
这篇文章主要跟大家介绍了利用python爬取散文网文章的相关资料,文中介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧. 本文主要给大家介绍的是关于python爬取散文网文章 ...
用python爬取高考网历年高考分数线将数据放入MySQL并绘制图表
用python爬取高考网历年高考分数线 # 导入爬虫的库 import requests from lxml import etree # 导入画图库 from pyecharts.charts im ...

python爬取猪八戒网的内容

python爬取猪八戒网的内容相关推荐

最新文章

热门文章