python爬虫-使用BeautifulSoup爬取新浪新闻标题
**
python爬虫-使用BeautifulSoup爬取新浪新闻标题
**
最近在学习爬虫的技巧,首先学习的是较为简单的BeautifulSoup,应用于新浪新闻上。
import requests
from bs4 import BeautifulSoup
import time#使用BeautifulSoup方法得到url的内容
def get_news(url):request = requests.get(url)request.encoding = 'UTF-8'soup = BeautifulSoup(request.text, 'html.parser')return soup#将get到的内容保存至本地
def write_news(soup,t_n):i = 0for news in soup.select('li'):#对新浪新闻网页源码分析,找到的标题所在位置,各种网页不尽相同i += 1t = news.select("a")[0].textwith open(t_n,'a',encoding='utf-8') as data: print(i," ",t,file = data)#获取当前时间
def get_time():d = time.localtime( time.time()) dd = "现在是{}年{}月{}日{}时{}分".format(d[0],d[1],d[2],d[3],d[4])return dd#在保存的txt中写入当前时间
def write_time(t_n):t = get_time()with open(t_n,'a',encoding='utf-8') as data: print(t,file = data)#对txt文件根据时间命名
def txt_name():d = time.localtime( time.time()) t_n = 'D:/python/workspace/sinanews/'+'newstitle_{}.{}.txt'.format(d[1],d[2])return t_n#运行
url = 'http://news.sina.com.cn/china/'
t_n = txt_name()
write_time(t_n)
soup = get_news(url)
write_news(soup,t_n)
python爬虫-使用BeautifulSoup爬取新浪新闻标题相关推荐
- 19Python爬虫--爬取新浪新闻标题并保存到数据库
一.爬取新浪新闻思路 1.创建scrapy项目 2.分析新浪新闻网站静态页面代码 3.编写对应的xpath公式 4.写代码 二.项目代码 步骤1.创建scrapy项目 创建爬虫文件 scrapy st ...
- python爬虫scrapy爬取新闻标题及链接_18Python爬虫---CrawlSpider自动爬取新浪新闻网页标题和链接...
一.爬取新浪新闻思路 1.创建scrapy项目 2.分析新浪新闻网站静态页面代码 3.编写对应的xpath公式 4.写代码 二.项目代码 步骤1.创建scrapy项目 scrapy startproj ...
- 使用python网络爬虫爬取新浪新闻(一)
使用python网络爬虫爬取新浪新闻 第一次写博客,感觉有点不太习惯!不知道怎么突然就想学学爬虫了,然后就用了一天的时间,跟着教程写了这个爬虫,!不说废话了,我将我从教程上学习的东西整个写下来吧,从头 ...
- 从入门到入土:Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
- 网络爬虫-----python爬取新浪新闻
思路:先爬取首页,然后通过正则筛选出所有文章url,然后通过循环分别爬取这些url到本地 #python新闻爬虫实战 import urllib.request import re url = 'ht ...
- Python网络爬虫爬取新浪新闻
笔者最近由于需要研究互联网新闻,于是基于邱老师的网络爬虫实战,写了一个爬取新浪新闻的爬虫,爬取的信息有: 新闻标题 来源url 发布时间 正文 编辑者 与邱老师的爬虫相比有以下几点不同: 没有爬取新闻 ...
- python爬取新浪新闻
最近公司项目比较少,楼主闲了好长时间了,作为一个刚毕业几个月的新人,心里很烦躁,只能自己找点新东西去学了.看到周围好多人都接触了爬虫,再加上楼主最近沉迷吴宣仪不可自拔,每天投票投票,投票的同时需要监控 ...
- requests, Beautifusoup 爬取新浪新闻资讯
###1.爬取新浪新闻首页的新闻标题时间和链接 1 import requests 2 from bs4 import BeautifulSoup 3 4 res = requests.get('ht ...
- python爬虫:Selenium爬取B站视频标题、播放量、发布时间
上次尝试了利用Ajax机制爬取B站视频播放量等数据(链接在下方),但是发现响应的JSON数据中没有发布时间的数据,这次决定用Selenium试一下. python爬虫:Ajax爬取B站视频标题.播放量 ...
最新文章
- angular2 学习笔记 ( Rxjs, Promise, Async/Await 的区别 )
- 优秀!广州“土博士”刚毕业,即获海外名校终身教职!
- chakra linux安装教程,Chakra Linux 安装指南(二):Chakra Linux 安装
- linux c 命令行参数处理函数 getopt()和getopt_long()
- 关于自动驾驶的思考以及我准备做的事情
- 微信和Python之间,还能这样玩,你所不知道的骚操作!
- Linux select/poll机制原理分析
- 一流企业都在做数据治理,还用百万年薪招人,想做的无非这10点
- C++_类和对象_对象特性_友元_成员函数做友元---C++语言工作笔记054
- 当前网络存在的安全问题
- python中 是什么运算_“是”运算符在Python中做了什么?
- linux容器安装crontab
- 绝地求生主播御用手机雷达分屏
- 3串口多串口双串口以及2串口转WiFi多跳路由通讯实现一
- Neo4j 示例:三国志人物关系图谱
- java在上海就业_叩丁狼教育上海Java一期就业报道
- 64位CPU,64位操作系统,和64位应用程序三者之间的关系
- Java Security(JCE基本概念)
- YOLOv3代码阅读笔记之utils.py(第六篇)
- 北京2021年初雪即为暴雪
热门文章
- matlab 麻将,麻将AI开发计划正式启动!
- html怎么把图片做成一条花纹,html5 canvas生成精美网页花纹背景图像js插件
- linux 看硬盘运行时间长,Linux/CentOS下怎么查看硬盘使用时间
- 10个JS精简代码无形装逼集合,最为致命
- 今年最火的拼团玩法,全民拼购模式,这个点子你可以看看
- 从QC学数据分析——数据分析方法论
- android MotionEvent.ACTION_CANCEL情景分析
- 单场淘汰制场次计算方法_怎样计算用淘汰制进行的比赛场数
- Unity 制造moba英雄联盟战争迷雾1
- 优秀有价值的博客收藏列表