Python网络爬虫爬取携程网中的游记标题及内容
最近在自学Python爬虫,会自己练习一些网站然后记录下来供大家参考,如有不对之处希望大佬多多指正
此处以爬取携程网上带有“非遗”关键词的游记为例:
首先找到需要爬取的网站的url:https://you.ctrip.com/searchsite/travels/?query=%e9%9d%9e%e9%81%97&isAnswered=&isRecommended=&publishDate=&PageNo=1
可以发现不同页码转换时只改变最后的数字,这样我们爬取不同页面时就非常方便了
利用requests库和BeautifulSoup库对页面的html进行抓取
def getHTMLText(url):try:r = requests.get(url)r.raise_for_status()r.encoding = 'utf-8'return r.textexcept:return""
通过对页面html的观察我们发现标题内容存在<dt>标签下,于是进行遍历
for items in soup.select('dt'):if items.a != None:print(items.a.text, file=data)
再寻找每个标题下对应的具体内容的href
nxt = 'https://you.ctrip.com' + items.a['href']html2 = getHTMLText(nxt)
同理可以爬取具体内容
完整代码已上传GitHub
ps:第一次发csdn可能写得不太好(doge)
Python网络爬虫爬取携程网中的游记标题及内容相关推荐
- 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
- Python:网络爬虫爬取某表情包网站
Python:网络爬虫爬取某表情包网站 参考: 爬虫基础知识点汇总(html文件基础和4个常用库 超级详细长文预警) [爬虫教程]吐血整理,最详细的爬虫入门教程~ HTML的简单介绍 HTML的全称为 ...
- 使用python网络爬虫爬取新浪新闻(一)
使用python网络爬虫爬取新浪新闻 第一次写博客,感觉有点不太习惯!不知道怎么突然就想学学爬虫了,然后就用了一天的时间,跟着教程写了这个爬虫,!不说废话了,我将我从教程上学习的东西整个写下来吧,从头 ...
- Python网络爬虫爬取虎扑步行街爆照区话题
Python网络爬虫爬取虎扑步行街爆照区话题 作者:郜科科 最近的任务挺多的,但是心情很烦躁,想做一些自己喜欢的东西,前些时候感觉Python爬虫很好玩,就自学了一下.本人比较喜欢逛街--虎扑步行街, ...
- 用python网络爬虫爬取英雄联盟英雄图片
用python爬虫爬取lol皮肤. 这也用python网络爬虫爬取lol英雄皮肤,忘了是看哪个大神的博客(由于当时学了下就一直放在这儿,现在又才拿出来,再加上马上要考二级挺忙的.),代码基本上是没改, ...
- python如何爬虫网页数据-python网络爬虫爬取网页内容
1.什么是网络爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自 ...
- python网络爬虫——爬取嗅事百科
网络爬虫 - 爬取嗅事百科 爬取过程分三大步: 一,请求,获取网页源码 url为:url =' https : //www.qiushibaike.com/8hr/page/'+ str(page)先 ...
最新文章
- NAPI技术--在Linux 网络驱动上的应用和完善(二)
- android framework,GitHub - zhaozepeng/Android_framework: android framework 用来快速开发的android框架...
- 【转】C++ Vector用法深入剖析
- 如何使用 stack?- 每天5分钟玩转 Docker 容器技术(112)
- Error: Cannot find module 'chalk' 或Cannot find module 'semver'报错
- 关于GPS数据跳动问题的解决方案
- f1c100s uboot调试记录
- SitePoint / Flippa Hack Day:入侵我们的第一个物联网项目
- php 获取服务器端口,PHP获取当前服务器详细信息
- 西安电子科技大学计算机学院评论,西电高琳教授团队在Science子刊及领域著名期刊发表成果...
- 计算机网络基础之数据交换技术
- python搜索pdf内容所在页码_用python合并多个pdf文件并标页码
- SAP ABAP 取物料号的采购订单文本内容
- larval-admin
- pikachu漏洞练习平台XSS
- 【金融项目】尚融宝项目(十)
- 最热网友收藏:深入理解C语言指针的奥秘((2007年第3周)
- SRS源码阅读(一)
- WiFi以及WLAN技术介绍
- mysql_query('set names gbk')_mysql_query(SET NAMES 'GBK');SET NAMES 'GBK'是干什么的?什么意思?...
热门文章
- 伺服电机控制转速与干扰防御措施
- 912 计算机考研专业课,清华912计算机专业基础综合考研高分经验
- 字符串之子字符串查找
- 如何用行列式求解椭圆的面积
- 恶搞礼物“七夕青蛙”,有人靠这个叫唤服务盈利10w+
- SpringBoot整合Mybatis-Plus,代码生成器Generator以及Swagger(附源码、图文学习、Postman、ApiPost第三方工具的使用)
- Jmeter实现并发测试
- 听力训练方法(转自普特英语听力论坛 )
- html怎么把图片做成一条花纹,html5 canvas生成精美网页花纹背景图像js插件
- linux 网路测速服务器,Linux下3种常用的网络测速工具