Xpath练习 - 猪八戒网

import requests
from lxml import etree
import csv
# 请求数据
url = "https://chongqing.zbj.com/search/f/?kw=python"
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"}
resp = requests.get(url,headers=headers)
# 写入csv文件
f = open("猪八戒.csv",mode="w",encoding="utf-8")
csvwriter = csv.writer(f)
# 提取不同分区的数据
tree = etree.HTML(resp.text)
all_infos = tree.xpath('/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div')
# 提取单个分区的数据
for all_info in all_infos:title = "python".join(all_info.xpath('./div/div/a[2]/div[2]/div[2]/p/text()')).strip()company = all_info.xpath("./div/div/a[1]/div[1]/p/text()")[1].strip()price = all_info.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")[0].strip("¥")location = all_info.xpath("./div/div/a[1]/div[1]/div/span/text()")[0]data = [company,title,location,price]print(data)csvwriter.writerow(data)
# 关闭文件
f.close()

结果：

千界科技-国家高企双软企业,saas支付宝微信公众号小程序商城H5python开发定制作,重庆,1588艺点意创品牌策划有限公司,开发数据处理IOS开发管理系统软件数据采集教育,重庆,10000千界科技-国家高企双软企业,saas支付宝微信公众号小程序商城H5python开发定制作,重庆,1588威之德信息-百人团队国家高企,APP开发数据采集软件开发python模拟人手定制软件系统,重庆,2800完梦科技-国家高新双软企业软件开发商,IT行业移动应用开发python定制java开发APP开发,重庆,3000创威科技—国家高新技术企业,开发语言,重庆,1000云山软件,电商类零售类团购类配送类社交类APP界面设计python开发,重庆,1288禾高网络科技旗舰,app源码成品开发定制python、PHP、H5、css语言,重庆,1999由你创-国家双软认证企业,手机APP制作|移动客户端定制|python软件深圳开发公司,重庆,16888莫道网络,企业网站/python/品牌官网/模板建站/公司官网/响应式,重庆,3200云淞网络,-交友-域名备案-微信小程序-app开发-官网,重庆,2000

问题总结：

1.数据被<h1>标签分割为两个，输出是["a","b"]，用"c".join(["a","b"])将ab连接

2.数据中有\n会在csv中被写入为""

3.提取网页Xpath,用相对路径可以先把绝对路径拼接再做拆分

Xpath练习 - 猪八戒网相关推荐

猪八戒网CI/CD最佳实践之路
序言本文旨在介绍ZBJ DevOps团队倾力打造的DevOps平台中关于CI/CD流水线部分的实践.历经三次大版本迭代更新的流水线,完美切合ZBJ各种业务发展需求,在满足高频率交付的同时,提高了研发 ...
猪八戒网的DevOps进化论
猪八戒网的系统架构演变史 2015年前,猪八戒网80%的项目都是PHP语言开发的,剩余少部分系统使用Node.js和Java.2015年一个关键的里程碑,开启了猪八戒网SOA服务转变,这就是腾云7号行 ...
（转）2017年12月宋华教授携IBM中国研究院、猪八戒网、中航信托、33复杂美共同论道智慧供应链金融...
今年10月,国务院发布的<关于积极推进供应链创新与应用的指导意见>,不仅强调了发展服务型制造的重要性,同时也指出要积极稳妥发展供应链金融,推动供应链金融服务实体经济,鼓励商业银行.供应链核 ...
猪八戒网冲刺港交所上市：2021年GMV达84亿元，朱明跃持股28%
近日,猪八戒股份有限公司(下称"猪八戒网"或"猪八戒平台")在港交所递交上市申请材料,准备在港交所主板上市,中信证券.建银国际为联席保荐人. 在此之前,猪八戒网 ...
26亿融资背后猪八戒网的取经文化
ZDNET至顶网CIO与应用频道 07月08日北京消息(文/王聪彬):猪八戒网可能在之前你闻所未闻,在一条重庆互联网公司融资26亿的新闻传遍大街小巷后,这个名不见经传的公司才被大众所知.在一个创业者 ...
记者成互联网公司老板，他把猪八戒网做到市值百亿
由于统媒体转型困境,又是媒体人创业的热潮.朱明跃的老东家出台了鼓励记者出去创业的政策. 2004年,受博客中国的影响,时任<重庆晚报>首席记者的朱明跃关注到了新媒体. 新媒体的发展趋势吸引 ...
猪八戒网获26亿融资计划做全国最大在线电商平台
猪八戒网今日宣布分别获得来自重庆北部新区和赛伯乐集团的10亿元.16亿元融资,将计划打造全国最大的在线服务电子商务交易平台,完成融资后,会执行平台零佣金制度,不再收取20%的交易佣金(比稿.计件除外) ...
猪八戒网--中国威客交易平台
猪八戒网中国威客交易平台, 转载于:https://blog.51cto.com/honglingjin2011/483425
评价猪八戒网金牌会员服务
猪八戒网站最近推出了金牌会员服务,为会员提供更好的服务,以此来换取每个月20元的服务费,这是威客行业的一大进步,也是威客网站的一个新的盈利点. 威客一直以来仅仅靠二八分成来盈利,虽然在互联网 ...

Xpath练习 - 猪八戒网

Xpath练习 - 猪八戒网相关推荐

最新文章

热门文章