用CSS方法提取网页内容

昨天用xpath提取了网页内容，今天用CSS方法重新提取一遍。
随便在伯乐在线找一篇文章，网址：http://blog.jobbole.com/113555/

 #通过CSS选择器提取网页的字段#标题title = response.css(".entry-header h1::text").extract_first()#发布日期create_data = response.css(".entry-meta-hide-on-mobile::text").extract()[0].strip()#标签tag_list = response.css(".entry-meta-hide-on-mobile a::text").extract()tag_list = [element for element in tag_list if not element.strip().endswith("评论")]tags = ",".join(tag_list)#点赞数praise_nums = response.css(".vote-post-up h10::text").extract_first()#收藏数fav_nums = response.css("span.btn-bluet-bigger:nth-child(2)::text").extract_first()match_re = re.match(".*?(\d+).*", fav_nums)if match_re:fav_nums = match_re.group(1)# 评论数comment_nums = response.css("a[href='#article-comment'] span::text").extract_first()match_re = re.match(".*?(\d+).*", comment_nums)if match_re:comment_nums = match_re.group(1)#正文content = response.css("div .entry").extract()[0]

通过debug调试，可以实现。

提取的内容保存为json格式，上一篇博文已经写到。
http://blog.csdn.net/shengshengshiwo/article/details/79248421

用CSS方法提取网页内容相关推荐

Scrapy定向爬虫教程(二)——提取网页内容
本节内容在这一小结,我将介绍如何使用Scrapy通过Selector选择器从网页中提取出我们想要的内容,并将这些内容存放到本地文件. 我们的目标网页是http://www.heartsong.top ...
为什么要将html页面和样式表分离,0031 如何使用css文件对网页内容和样式进行分离...
原标题:0031 如何使用css文件对网页内容和样式进行分离上节课,学习了针对文字可以设置很多种样式. 这节课,学习如何将内容和样式进行分离. 上节课的课后练习 1.将斜体字体效果去除 2.将工作经 ...
【Python爬虫】用CSS 选择器提取网页数据
使用 pip 安装 requests_html 库 pip install requests_html 根据你的网络情况,通常需要几分钟时间. 在你的电脑任意位置,新建一个 crawler.py 文件 ...
如何用提取网页内容的工具快速提取网站内容
随着社会的不断的进步,我们已经进入一个效率时代,相信每个人在互联网上下载或者复制粘贴过内容.特别是整理行业的数据,以及收集资料.今天小编就教大家如何用提取网页内容的工具快速提取到你想要的信息,只需要点 ...
JQuery：JQuery 中的CSS()方法
JQuery:CSS()方法 jQuery css()方法:css()方法设置或返回被选元素的一个或多个样式属性. 1.返回 CSS 属性如需返回指定的 CSS 属性的值,请使用如下语法: css( ...
文本超出显示省略号/数字英文字母折行有关css 属性/显示两行，第二行省略号显示css方法...
文本超出显示省略号: 定容器宽度 overflow: hidden; text-overflow: ellipsis; 文本超出显示省略号 white-space:nowrap; 强制文本不换行折 ...
jQuery CSS 操作 - css() 方法
实例设置 <p> 元素的颜色: $(".btn1").click(function(){$("p").css("color", ...
jQuery 样式操作||操作 css 方法/设置类样式方法
操作 css 方法 <!DOCTYPE html> <html lang="en"><head><meta charset="U ...
Jquery中css()方法获取边框长度
1. JQuery中可以使用css()方法获取块元素的边框宽度,如下: $("divMode").css("border-left-width");//左边框长 ...

用CSS方法提取网页内容

用CSS方法提取网页内容相关推荐

最新文章

热门文章