python数据收集系统_玩玩Python数据采集

from urllib.request import urlopen

from urllib.error import HTTPError, URLError

from bs4 import BeautifulSoup

import time

def get_html():

try:

html = urlopen("http://news.sina.com.cn/hotnews/")

except (HTTPError, URLError) as e: # 如果遇到 http exceptions 或者 url exceptions return -> None

return None

try:

bsObj = BeautifulSoup(html) # t=bsObj.find_all(text="一起了解 .Net Foundation 项目 No.16")

news_list=bsObj.find_all(target="_blank") # 指定查询具体对应的新闻咨询标签属性值

for new in news_list:

new_title=new.get_text() # 获取新闻资讯的Title

new_url=new["href"] # 获取新闻资讯的Url

if new_url != "": # 去除空连接的新闻资讯

res = (time.strftime("%Y-%m-%d") + "标题为: {},如需阅读请点击该链接: {}").format(new_title,new_url) #加个时间,点缀一下

f=open('news_log','a',encoding="UTF-8")

f.write(res) # 写入新闻资讯

f.write("\n")

f.close() # 关闭文件

else:

pass

except AttributeError as e: # 如果在当前页面找不到对应标签或者属性值 return -> None

return None

get_html()

python数据收集系统_玩玩Python数据采集_001相关推荐

python 数据透视表_使用Python数据透视表探索幸福数据
python 数据透视表 One of the biggest challenges when facing a new data set is knowing where to start and ...
python课表查询系统_使用python抓取广西科技大学教务系统课程表
因学校教务系统课程表查询功能累赘,服务器经常挂,同时也不适合手机端查询,所以用python开发爬虫抓取所有课程表,放到我的服务器上面. 本文仅供学习. 特性中途退出程序再次运行不会抓取到重复课程表 ...
python数据可视化代码_用Python代码实现5种最好的、简单的数据可视化！
数据可视化是数据科学家工作的重要组成部分.在项目的早期阶段,您通常会进行探索性数据分析(EDA)以获得对数据的一些见解.创建可视化确实有助于使事情更清晰.更容易理解,尤其是对于更大.更高维度的数据集. ...
python数据整理高一_关于Python爬虫的最全知识梳理，项目经理花了三天总结出来的经验...
作爲零基础小白,大体上可分爲三个阶段去完成,第一阶段是入门,掌握必备基础知识,比如Python基础.网络央求的基本原理等,第二阶段是模仿,跟着别人的爬虫代码学,弄懂每一行代码,熟习主流的爬虫工具,第三 ...
python 成绩分析系统_用Python编写成绩管理分析系统（故事升级版）
目录项目总览生活小故事引入项目思路项目实现功能改善代码展示效果演示项目后期项目适用每文一语项目总览生活小故事引入微风和煦,散乱在办公桌上的测验小试卷还有几分"热度& ...
python数据可视化创建_【Python数据可视化】创建3D可视化图表
创建3D柱状图 import random import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt mp ...
python股票查询系统_使用python获取股票的上市日期等基本信息
之前介绍过一个Baostock的python证券数据平台,如今又增加了新的功能,提供了股票上市日期目,上市状态等信息的获取,也可以查询退市股票的信息. 还是按照之前的惯例,上代码: import ba ...
python登录教务系统_记python登陆学校教务系统踩过的坑
最近开发关于学校服务类小程序,小程序后台需要从学校的系统获取到各同学的信息,所以语言优先选择了python,并用了Django框架.之前也有写过一些爬虫,但都是用其他语言写的.对python并不熟悉, ...
python条形码识别系统_基于Python与Zbar的无人机盘点条形码识别研究
2018 年第 6 期第 4 0 卷总第 2 8 8 期物流工程与管理 LOGISTICS ENGINEERING AND MANAGEMENT 物流技术 doi :10.3969/ j . ...

python数据收集系统_玩玩Python数据采集_001

python数据收集系统_玩玩Python数据采集_001相关推荐

最新文章

热门文章