手把手教你使用Python+scrapy爬取山东各城市天气预报
1、在命令提示符环境使用pip install scrapy命令安装Python扩展库scrapy,详见Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文
2、使用下图中的命令创建爬虫项目
3、进入爬虫项目文件夹,执行下面的命令创建爬虫
现在,爬虫项目的文件夹结构如下图所示
4、使用浏览器打开网址http://www.weather.com.cn/shandong/index.shtml,然后下拉,找到“城市预报列表”
5、在页面上单击鼠标右键,选择“查看网页源代码”,然后找到与“城市预报列表”对应的位置
6、选择并打开山东省内任意城市的天气预报页面,此处以烟台为例
7、在页面上单击鼠标右键,选择“查看网页源代码”,找到与上图中天气预报相对应的位置
8、修改items.py文件,定义要爬取的内容,红色方框内是自己写的代码
9、修改爬虫文件everyCityinSD.py,定义如何爬取内容,其中用到的规则参考前面对页面的分析
10、修改pipelines.py文件,把爬取到的数据写入文件weather.txt,红色方框内是自己写的代码
11、修改settings.py文件,分派任务,指定处理数据的程序,红色方框内是自己写的代码
12、切换到命令提示符环境,执行下面的命令运行爬虫程序
稍等几秒钟,生成包含各城市天气预报数据的文件weather.txt
其中内容为
----------喜大普奔----------
1、董付国老师Python系列教材,亚马逊、京东、当当、天猫均有销售:
1)《Python程序设计(第2版)》(2018年5月第6次印刷)
出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.18.24a52226hIi8Bj&id=534581929248&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
2)《Python可以这样学》(2018年2月第5次印刷)(本书已发行繁体版)
出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.16.24a52226hIi8Bj&id=544817105410&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
3)《Python程序设计开发宝典》(2018年2月第3次印刷)
出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.52.24a52226hIi8Bj&id=556093887133&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
4)《中学生可以这样学Python》2018年5月第2次印刷)
出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.20.24a52226hIi8Bj&id=560808221053&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
5)《Python程序设计基础(第2版)》(2018年5月第2次印刷)
出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.24.24a52226hIi8Bj&id=565581275846&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
6)《玩转Python轻松过二级》(2018年5月隆重上架)
出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.84.24a52226hIi8Bj&id=569250004069&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
董付国老师6本Python系列图书阅读指南
董付国老师6本Python系列教材被北大、复旦等近百所高校选作教材
热烈庆祝《Python可以这样学》在台湾发行繁体版
2、董老师120课免费视频地址: https://pan.baidu.com/s/1jJeAs8Q 密码: px59
----------相关阅读----------
教学课件
1900页Python系列PPT分享一:基础知识(106页)
1900页Python系列PPT分享二:Python序列(列表、元组、字典、集合)(154页)
1900页Python系列PPT分享三:选择与循环结构语法及案例(96页)
1900页Python系列PPT分享四:字符串与正则表达式(109页)
1900页Python系列PPT分享五:函数设计与应用(134页)
1900页Python系列PPT分享六:面向对象程序设计(86页)
1900页Python系列PPT分享七:文件操作(132页)
1900页Python系列PPT分享八:异常处理结构与程序调试、测试(70页)
报告PPT(163页):基于Python语言的课程群建设探讨与实践
非计算机专业《Python程序设计基础》教学参考大纲
计算机相关专业“Python程序设计”教学大纲(参考)
系列题库分享
1000道Python题库系列分享一(17道)
1000道Python题库系列分享二(48道)
1000道Python题库系列分享三(30道)
1000道Python题库系列分享四(40道)
1000道Python题库系列分享五(40道)
1000道Python题库系列分享六(40道)
1000道Python题库系列分享七(30道)
1000道Python题库系列分享八(29道)
1000道Python题库系列分享九(31道)
1000道Python题库系列分享十(37道)
1000道Python题库系列分享十一(9道)
相关阅读
Python爬虫系列:使用selenium+Edge查询指定城市天气情况
Python爬虫系列:判断目标网页编码的几种方法
BeautifulSoup解析库select方法实例——获取企业信息
Python批量爬取微信公众号文章中的图片
Python裸奔也疯狂:批量爬取中国工程院院士信息
Python爬虫扩展库scrapy选择器用法入门(一)
Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文
Python不使用scrapy框架而编写的网页爬虫程序
Python爬虫扩展库BeautifulSoup4用法精要
手把手教你使用Python+scrapy爬取山东各城市天气预报相关推荐
- Python入门(安装)——第一个爬虫程序(爬取山东各城市天气信息)
Python爬虫原来可以这么简单,前两天有个朋友让我帮她看一下爬取天气的一段程序有什么问题,这段程序是用Python写的,只是以前听说Python爬虫很厉害,但是不知道自己怎么会没有时间开始.刚好我也 ...
- 使用scrapy框架爬取中国各城市天气预报 实验
使用scrapy框架爬取山东各城市天气预报 实验 实验目的: 熟练安装 Python 扩展库 scrapy. 熟悉常见 HTML 标签的用法. 理解网页源代码结构. 理解 scrapy 框架工作原理. ...
- Python scrapy爬取京东,百度百科出现乱码,解决方案
Python scrapy爬取京东 百度百科出现乱码 解决方案 十分想念顺店杂可... 抓取百度百科,出现乱码 把页面源码下载下来之后,发现全是乱码,浏览器打开 但是浏览器链接打开就没有乱码 以下是浏 ...
- python爬表情包_教你用Python来爬取表情包网站的所有表情图片
教你用Python来爬取表情包网站的所有表情图片 配置环境 安装Python 开发环境 3X系列 win + R 打开运行,输入cmd,输入python,进行验证是否安装Python win + R ...
- Python+scrapy爬取36氪网
Python+Scrapy爬取36氪网新闻 一.准备工作: ①安装python3 ②安装scrapy ③安装docker,用来运行splash,splash是用来提供js渲染服务(pyth ...
- 手把手教-网络时空大数据爬取与分析DAS系统(瓦片地图获取)
手把手教 | 网络时空大数据爬取与分析DAS系统(瓦片地图获取) 原创 DAS Team 双评价DAS 地理计算语言,为大众赋能地理智慧. --DAS Team 爬取分析DAS系统下载 地址: htt ...
- 如何用 Python + Scrapy 爬取视频?
今天将带大家简单了解Scrapy爬虫框架,并用一个真实案例来演示代码的编写和爬取过程. 一.scrapy简介 1. 什么是Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框 ...
- python scrapy爬取HBS 汉堡南美航运公司柜号信息
下面分享个scrapy的例子 利用scrapy爬取HBS 船公司柜号信息 1.前期准备 查询提单号下的柜号有哪些,主要是在下面的网站上,输入提单号,然后点击查询 https://www.hamburg ...
- Python之手把手教你用JS逆向爬取网易云40万+评论并用stylecloud炫酷词云进行情感分析
本文借鉴了@平胸小仙女的知乎回复 https://www.zhihu.com/question/36081767 写在前面: 文章有点长,操作有点复杂,需要代码的直接去文末即可.想要学习的需要有点耐心 ...
最新文章
- HC-05与HC-06的AT指令的区别
- 请详细描述listview与gridview的异同点_三种聚类分析的异同
- linux c之通过popen和pclose函数创建管道执行shell 运行命令使用总结
- UI_布局_总体思路
- 海思3159A运行yolov3(一)——安装caffe(Bug汇总篇)
- 正则表达式五分钟快速复习
- 分布式系统架构简单介绍
- python凹多边形分割_凹多边形拆分
- 关于查找、搜集市场调查报告的一些网站收集
- 代码质量保证体系(上)
- 怎么更改网络中的计算机名字,计算机名称如何更改?电脑的计算机名修改方法...
- win10内存满载测试软件,高手亲自解决win10内存检测工具的详尽处理步骤
- python笔记:猜大小,随机数
- 高精度加法(C++,高精度)
- Android源码分析工具及方法
- 2021高考仙桃中学成绩查询,仙桃2020高考最高分出炉!汇总仙桃各大中学喜报
- Python 博客园快速备份脚本
- 【anaconda创建虚拟环境】
- 2023最新完整版python安装教程
- http://stamen.iteye.com/blog/1462899
热门文章
- golang 包含 数组_在 Golang 中如何快速判断字符串是否在一个数组中
- ckpt下载 deeplabv3_OpenCV4 部署DeepLabv3+模型
- Java乘法计算错误,Java JRE致命错误:乘法过多
- 华为客户端优化建议(应用保活相关)
- android sudio提示快捷键冲突解决
- 所有controller interceptor_阿里二面:filter、interceptor、aspect应如何选择?很多人中招...
- android对错图标,Android Studio Gradle图标错误,清单合并
- 关于SQL server事务
- django分页的东西, 不详细, 但是也足够了。
- python函数参数类型及其顺序