python 网络爬虫第一天

1 安装：
（1）安装 resquests
（2）安装 BeautifulSoup4
（3）安装jupyter

打开jupyter选择python3

以下代码是在jupyter下执行的

import requests
res = requests.get('http://news.sina.com.cn/china/')
res.encoding = "utf-8"
#print(res.text)

获取页面的内容

res3 = requests.get('http://news.sina.com.cn/c/nd/2017-03-16/doc-ifycnpit2047114.shtml')
res3.encoding = "utf-8"
html3 = res3.text
soup3 = BeautifulSoup(html3,"html.parser")
timesource = soup3.select(".time-source")[0].contents[0].strip()
print(timesource)

处理时间

from datetime import datetime
#字串转时间
dt = datetime.strptime(timesource,"%Y年%m月%d日%H:%M")
#时间转字串
#dt = dt.strftime("%Y-%m-%d")
print(dt)

链接

alink = soup3.select(".time-source span span a")[0]
print(alink)
print(alink["href"])
print(alink.text)

文章内容处理

pss = soup3.select("#artibody p")[:-1]
article=[]
for p in pss:article.append(p.text.strip())
' '.join(article)
print(article)

简化处理

' '.join([p.text.strip() for p in soup3.select("#artibody p")[:-1]])

编辑名称

editor = soup3.select(".article-editor")[0].text.lstrip("责任编辑：")
print(editor)

转载于:https://www.cnblogs.com/mneuu/p/6562292.html

python 网络爬虫第一天相关推荐

Python网络爬虫第一课----Python网络爬虫基础《http和https协议》
Python网络爬虫第一课----Python网络爬虫基础<http和https协议> 一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protoc ...
爬虫书籍-Python网络爬虫权威指南OCR库 NLTK 数据清洗 BeautifulSoup Lambda表达式 Scrapy 马尔可夫模型
Python网络爬虫权威指南编辑推荐适读人群 :需要抓取Web 数据的相关软件开发人员和研究人员作为一种采集和理解网络上海量信息的方式,网页抓取技术变得越来越重要.而编写简单的自动化程序(网络爬 ...
python商业爬虫教程_廖雪峰老师的Python商业爬虫课程 Python网络爬虫实战教程体会不一样的Python爬虫课程...
廖雪峰老师的Python商业爬虫课程 Python网络爬虫实战教程体会不一样的Python爬虫课程 1.JPG (53.51 KB, 下载次数: 1) 2019-8-9 08:15 上传 2.JPG ...
python爬虫教程视频下载-利用Python网络爬虫获取电影天堂视频下载链接【详细教程】...
相信大家都有一种头疼的体验,要下载电影特别费劲,对吧?要一部一部的下载,而且不能直观的知道最近电影更新的状态. 今天以电影天堂为例,带大家更直观的去看自己喜欢的电影,并且下载下来. [二.项目准备] ...
python网络爬虫权威指南百度云-分析《Python网络爬虫权威指南第2版》PDF及代码...
对那些没有学过编程的人来说,计算机编程看着就像变魔术.如果编程是魔术(magic),那么网页抓取(Web scraping)就是巫术(wizardry),也就是运用"魔术"来实现精 ...
python爬虫文件代码大全-Python网络爬虫实战项目代码大全（长期更新，欢迎补充）...
WechatSogou[1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典.[1]: https://github ...
精通python网络爬虫-精通python网络爬虫
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 作者:韦玮转载请注明出处随着大数据时代的到来,人们对数据资源的需求越来越多, ...
精通python网络爬虫-精通Python网络爬虫 PDF 高清版
给大家带来的一篇关于Python爬虫相关的电子书资源,介绍了关于Python.网络爬虫.核心技术.框架.项目实战方面的内容,本书是由机械工业出版社出版,格式为PDF,资源大小108.6 MB,韦玮编写 ...
python编程入门到实践百度云-python网络爬虫从入门到实践pdf
python网络爬虫从入门到实践pdf是一本非常热门的编程教学.这本书籍详细讲解了Python以及网络爬虫相关知识,非常适合新手阅读,需要的用户自行下载吧. Python网络爬虫从入门到实践电子书介绍 ...

python 网络爬虫第一天

python 网络爬虫第一天相关推荐

最新文章

热门文章

python 网络爬虫 第一天

python 网络爬虫 第一天相关推荐

最新文章

热门文章

python 网络爬虫第一天

python 网络爬虫第一天相关推荐