如何写一个简单的爬虫程序

1.首先给爬虫程序找到储存路径

2.按住shift和右键，选择在此处打开Powershell窗口(s)

3.在窗口内输入scrapy（杀毒软件可能会阻止程序运行，不要选择阻止！！！如果不小心选择了阻止，把杀毒软件退掉，重新从第二步开始）

4.在窗口内输入scrapy startproject movie 其中movie是文件的名字，可以自己取
如下图所示即表示成功

5.同时也可以看到第一步打开的储存路径下多了movie这个文件夹

6.打开pycharm，点击左上角，打开刚刚新建的项目（就是movie这个文件夹）
记得选中外面的那个movie文件夹，不要选中里面的那个！！！

7.打开pycharm下面的terminal工具

8.在terminal窗口内输入scrapy

9.确定要爬取的网站，我爬取的是https://www.1905.com/vod/
10.在terminal窗口内输入scrapy genspider movi1e www.1905.com
movi1e是文件名字可以自取，不要和项目名称一样即可，www.1905.com是要爬取网站的域名
当左边显示了movi1e.py 即表示成功

11.到这里就完成了创建项目
12.在parse下输入response.xpath()
这个里面是填写爬虫规则的

13.打开要爬取的网页，把光标放在要爬取数据内容的地方，右边查看源代码
然后右边会出现你选中的内容的源代码

14.对那部分的源代码进行copy，记得选择 copy xpath！！！
15.把复制的规则写入response.xpath()，记得加上单引号

16.然后把要爬取的网站的整个地址复制到start_urls

17.在terminal窗口内输入scrapy crawl movi1e

18.跳出来的就是爬取的内容，只不过这是没有转义过的
19.打开scrapy的官网（https://scrapy.org/），对之前的爬虫代码进行修改

20.修改如下：（因为电影网站不好爬，所以爬取网站改成了https://book.qidian.com/info/1014973218#Catalog）

21.在terminal窗口内输入scrapy crawl movi1e
如图所示，即表示成功

如何写一个简单的爬虫程序相关推荐

python写一个简单的爬虫程序（爬取快手）（附源码）
快手是一个有意思的视频应用,但是它有一些视频不让下载,我们今天就用爬虫来实现爬取不让下载的视频: 首先右键点击检查,我们可以看见找到了视频的src,访问这个src就可以得到视频的下载网址,如下: 右键 ...
用java做一个简单记事本_用记事本写一个简单的java程序
用记事本写一个简单的java程序第一步: 安装好jdk,并设置好环境变量. 桌面-计算机(右键)-属性-高级系统设置-环境变量-path-在变量值后加上:和jdk安装路径加上(路径即为C:\Prog ...
python123程序设计题说句心里话_用c++写一个简单的计算器程序
// 050305.cpp : 定义控制台应用程序的入口点. // // 050304.cpp : 定义控制台应用程序的入口点. // //四则运算 #include "stdafx.h&q ...
Java 百度AI 写一个简单的手势识别程序
教程地址:请关注我的https://edu.csdn.net/course/detail/23001 Java写一个简单的手势识别程序,这里采用百度是AI,视觉技术中的人体分析中的手势识别,识别图片中 ...
DuiVision开发教程(2)-如何写一个简单的界面程序
基于DuiVision界面库开发的界面程序主要包括如下几部分内容: 1.资源定义,包括图片资源.各个窗口界面的xml定义文件 2.事件处理类代码,用于处理界面响应消息 3.其他业务逻辑代码下面举例说 ...
java递归怎么写_什么是递归?用Java写一个简单的递归程序
什么是递归?用Java写一个简单的递归程序递归的定义递归(recursion):以此类推是递归的基本思想,将规模大的问题转化为规模小的问题来解决. 递归的要素自定义递归函数,并确定函数的基本功能 ...
写一个简单的打谱程序（1）
陪儿子上围棋课时我希望有一个能在freerunner手机上运行的打谱程序,用来记录儿子和同学的对局.我开始以为随便找一个打谱程序,在freerunner手机环境编译一下就可以了.但我找来cgoban. ...
用python写一个简单的爬虫_Python实现简易Web爬虫详解
编辑推荐: 本文主要介绍了Python实现简易Web爬虫详解,希望对大家有帮助. 本文来自于脚本之家 ,由火龙果软件Alice编辑,推荐. 简介: 网络爬虫(又被称为网页蜘蛛),网络机器人,是一种按照 ...
Python爬虫不会？戳一下，小编一步步教你写一个简单的爬虫
写在前面网络爬虫又称网络蜘蛛,是指按照某种规则在网络上爬取所需内容的脚本程序.众所周知,每个网页通常包含其他网页的入口,网络爬虫则通过一个网址依次进入其他网址获取所需内容. 优先申明:我们使用的py ...
用python写一个简单的爬虫_用Python编写一个简单的爬虫
作者信息: Author : 黄志成(小黄) 博客地址: 博客呐,这是一篇福利教程.为什么这么说呢.我们要爬取的内容是美图网站(嘿嘿,老司机都懂的) 废话不多说.开始今天的表演. 这个图集网站不要问 ...

如何写一个简单的爬虫程序

如何写一个简单的爬虫程序相关推荐

最新文章

热门文章