使用xpath爬取学院新闻

xpath代码：

import requests
from lxml import etreeurl = 'https://www.jhc.cn/4548/list.htm'
data = requests.get(url)
data.encoding = 'utf-8'
s = etree.HTML(data.text)
print(data.text)
titlelist= s.xpath('//span[@class="Article_Title"]/a/text()')
hreflist=s.xpath('//span[@class="Article_Title"]/a/@href')
for i in range(len(hreflist)):title=titlelist[i]href=hreflist[i]print("标题：",title,"网址：","https://www.jhc.cn"+href)
for n in range(len(hreflist)):print("\n")turl='https://www.jhc.cn/'+hreflist[n]tdata = requests.get(turl)tdata.encoding = 'utf-8'x= etree.HTML(tdata.text)ttitle=x.xpath('//h1[@class="arti-title"]/text()')author=x.xpath('//p[@class="arti-metas"]/span/text()')zhengwen=x.xpath('//span[@style]/text()')print("标题：",ttitle)print(author)zhengwen.remove(zhengwen[0])# print(zhengwen)for n in range(len(zhengwen)):zhengwen=''.join(zhengwen)print("正文： ",zhengwen)

使用xpath爬取学院新闻相关推荐

python+Xpath爬取英文新闻并生成文档词频矩阵
详情见我的github:https://github.com/Snowing-ST/Statistical-Case-Studies/tree/master/Lab3%20English%20Text ...
爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题.链接.正文. url = "http://news.gzcc.cn/html/xiaoyuanxinwe ...
scrapy获取a标签的连接_python爬虫——基于scrapy框架爬取网易新闻内容
python爬虫--基于scrapy框架爬取网易新闻内容 1.需求[前期准备] 2.分析及代码实现(1)获取五大板块详情页url(2)解析每个板块(3)解析每个模块里的标题中详情页信息点击此处,获取 ...
【python 爬虫】 scrapy 入门--爬取百度新闻排行榜
scrapy 入门–爬取百度新闻排行榜环境要求:python2/3(anaconda)scrapy库开发环境:sublime text + windows cmd 下载scrapy(需要pytho ...
爬虫（爬取36kr新闻）（未完成）
爬取36kr网站的经历虽然之前老是听同学提起网络爬虫,但是自己一直没有尝试过.这次因为项目需要,我也开始了爬虫之旅.跌跌撞撞,特此记录,希望能够帮助到一些人,也是对自己的一个总结提高. 设计到的知识 ...
python 爬取财经新闻_金融财经新闻的文本爬取
大家一定还记得<金融数据的获取--一个爬虫的简单例子>这篇文章中介绍的爬虫思想和方法吧.看过之后,大多数人都会有这样的感受,虽然爬虫的原理比较简单,但是正则表达式却很难写.对于每个页面内容 ...
【Java爬虫】HttpClient+Jsoup实现爬取校内新闻
介绍接上一篇博客,本篇主要讲如何利用上一篇的HttpUtil工具类实现爬取校内新闻上篇地址: https://blog.csdn.net/m0_64261982/article/details/1 ...
19. python爬虫——基于scrapy框架爬取网易新闻内容
python爬虫--基于scrapy框架爬取网易新闻内容 1.需求 [前期准备] 2.分析及代码实现 (1)获取五大板块详情页url (2)解析每个板块 (3)解析每个模块里的标题中详情页信息 1.需 ...
爬取央视新闻国内版块新闻
爬取央视新闻国内版块一个练习项目,爬取央视新闻的国内新闻板块,保存为txt文件.格式未经仔细排版. import requests import re from lxml import etree ...

使用xpath爬取学院新闻

使用xpath爬取学院新闻相关推荐

最新文章

热门文章