Python爬虫抓取页面内容
博客园示例:Ctrl+Alt+L格式化代码
#coding:utf-8
import requests
from lxml import etreedef gettitle(url):html=requests.get(url)selector=etree.HTML(html.text)title=selector.xpath('//a[@id="cb_post_title_url"]/text()')return title[0]def getcontent(url):html=requests.get(url)selector=etree.HTML(html.text)contentlist=selector.xpath('//div[@class="postBody"]/div/p/text()')contents=''for i in contentlist:contents=contents+"\n"+ireturn contents
print("请输入博客园文章的链接:")
url=input("")
print(gettitle(url))
print(getcontent(url))
Python爬虫抓取页面内容相关推荐
- 爬虫抓取页面数据原理(php爬虫框架有很多 )
爬虫抓取页面数据原理(php爬虫框架有很多 ) 一.总结 1.php爬虫框架有很多,包括很多傻瓜式的软件 2.照以前写过java爬虫的例子来看,真的非常简单,就是一个获取网页数据的类或者方法(这里的话 ...
- python爬虫招聘-Python爬虫抓取智联招聘(基础版)
原标题:Python爬虫抓取智联招聘(基础版) 作者:C与Python实战 「若你有原创文章想与大家分享,欢迎投稿.」 对于每个上班族来说,总要经历几次换工作,如何在网上挑到心仪的工作?如何提前为心仪 ...
- Python学习教程:Python爬虫抓取技术的门道
Python学习教程:Python爬虫抓取技术的门道 web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展.然而,正所谓成也萧何败也萧何,开放的特性.搜索引擎以及简单 ...
- 如何用python爬股票数据_python爬虫股票数据,如何用python 爬虫抓取金融数据
Q1:如何用python 爬虫抓取金融数据 获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇使用的版本为 ...
- Python爬虫抓取考试试题
Python爬虫抓取考试试题 今天做了个小玩意,但觉得挺有意思的,分享给大家.主要是这样的,因为帮妹子寻找考试资料,发现同一本书不同的章节分别在不同的链接中,复制起来实在要命,所以就在想能不能用爬虫实 ...
- 如何使用Python爬虫抓取数据?
Python爬虫应用十分广泛,无论是各类搜索引擎,还是日常数据采集,都需要爬虫的参与.其实爬虫的基本原理很简单,今天小编就教大家如何使用Python爬虫抓取数据,感兴趣的小伙伴赶紧看下去吧! 工具安装 ...
- 【python教程入门学习】Python爬虫抓取猫眼电影排行榜
本节使用 Python 爬虫抓取猫眼电影网 TOP100 排行榜(https://maoyan.com/board/4)影片信息,包括电影名称.上映时间.主演信息. 在开始编写程序之前,首先要确定页面 ...
- python 爬虫抓取心得分享
/** author: insun title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/11215795620 ...
- 编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法
这篇文章主要介绍了编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法,用到了Python的urllib和urllib2模块,需要的朋友可以参考下 抓取豆瓣电影TOP100 一.分析豆瓣top ...
最新文章
- win10装linux分区格式化硬盘,windows10 下硬盘安装centos7.0 – MBR硬盘分区格式
- 【重构】 代码的坏味道总结 Bad Smell (一) (重复代码 | 过长函数 | 过大的类 | 过长参数列 | 发散式变化 | 霰弹式修改)
- uvalive5092(找规律)
- Teddy's Knowledge Base--基于.Net 2.0 (C# 2.0, ASP.NET 2.0)的快速开发框架设计NBear V2.0.0 [开源]...
- shell学习(12)- jq
- 俄罗斯博士用树莓派自制灭蚊武器!
- HTML section元素
- JavaScript图片 向下闪缩放的效果
- C# 搭建一个简单的WebApi项目
- Intel i5-7200U (3100MHZ),1*8GB(DDR4 2666) 在 Aida64 V5.97.4600 的测试结果
- 如何玩转互联网金融大数据——征信
- 网页删除mysql数据库_网站数据库被删除了
- [VT虚拟化驱动]利用EPT实现无痕HOOK
- linux 下lzma压缩可以达到63倍的压缩率
- 初识swipe.js
- 第二次作业助教博客 —— 撰写第三周课程总结及实验报告(一)
- 电源模块电路中电容的作用
- AXI总线的DMA数据高速传输
- (九:2020.08.27)CVPR 2019 追踪之论文纲要(译)
- CentOS6.6 NTP配置详解
热门文章
- postgresql数据库导入导出
- 15-07-06 定闹钟
- 【BZOJ】【1015】 【JSOI2008】星球大战starwar
- 从实验室搬到宿舍后可以上QQ但打不开网页
- 【LeetCode】15.Longest Common Prefix
- 5个很好用的.net 分析工具
- Qt4访问sqlite数据库
- MFC、OpenCV初探 —— PictureControl中图片的缩放
- 大数据之-Hadoop之HDFS_合并FsImage和Edits文件_之CheckPoint时间设置---大数据之hadoop工作笔记0072
- 大数据之-Hadoop之HDFS的API操作_定位读取文件_只读取某个block的内容_案例---大数据之hadoop工作笔记0065