成对的尖括号<>的文本叫做内容。例如 的内容为 白玉无冰 。

xpath就是根据树的结构获取信息的。/html/head/title/text() 返回的是内容 白玉无冰 | 明天进步一点点 | lamyoung 。 /html/body/div/@class 返回的是属性class的值 “container” 。

xpath还可以使用双斜杆 // 来查找所有的节点。 例如 //div[@class=”post-preview”] 是查找所有属性class为post-preview的div节点。

对于我们要爬取的目标链接和题目名字的参考代码如下:(关于requests的用法和解析参考白玉无冰：python爬虫入门实战！爬取博客文章标题和链接！​zhuanlan.zhihu.com

)

def scrapy(index):

page_url = '';

if index>1:

page_url=f'page{index}/'

url=f'http://lamyoung.com/{page_url}';

print(url);

html=requests.get(url);

if html.status_code == 200:

html_bytes=html.content;

selector = lxml.html.fromstring(html_bytes);

#获取所有的节点

all_items=selector.xpath('//div[@class="post-preview"]')

write_content=[];

for item in all_items:

#获取链接

links = item.xpath('a/@href')

#获取标题

title=item.xpath('a/h2[@class="post-title"]/text()')

#标题去掉多余的空格

title_0=title[0].strip();

write_content.append({'title': title_0, 'link': f'http://lamyoung.com{links[0]}'});

return write_content

else:

return [];

接着使用多线程(详细解释参考白玉无冰：python爬虫入门实战(二)！多线程爬虫！​zhuanlan.zhihu.com

)

pool = Pool(3);

orign_num=[x for x in range(1,10)];

result = pool.map(scrapy,orign_num);

csv

之前我们是用txt保存的，阅读起来非常不方便，这次我们用csv的格式保存，阅读时可以用excel打开，排版就好看多了。

一起看下在python中怎么使用吧！

with open('lamyoung_title_multi_xpath_out.csv', 'w', newline='') as csvfile:

fieldnames = ['title', 'link']

writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

#写入头

writer.writeheader()

for write_content in result:

for _content in write_content:

#写入内容

writer.writerow(_content);

一起看看最后的结果吧。

小结

这次主要介绍了xpath的基本用法(有没有比正则简单一点？)和csv保存。如有错误，欢迎斧正！如果我又学到好东西，会第一时间分享给大家的！欢迎关注获取最新更新哦！

我是白玉无冰，游戏开发小赤佬，也玩python和shellpython爬虫入门实战(三)不会正则怎么办？xpath分分钟搞定！​mp.weixin.qq.com