python3 + Scrapy爬虫学习之创建项目

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤

pycharm是无法创建一个scrapy项目的

因此，我们需要用命令行的方法新建一个scrapy项目

请确保已经安装了scrapy，twisted，pypiwin32

一：进入你所需要的路径，这个路径存储你创建的项目

我的将放在E盘的Scrapy目录下

二：创建项目：scrapy startproject ***(这个是项目名)

这样就创建好了一个名为tencent的项目

三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com

这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名

这样，我们就新建了一个爬虫项目，打开文件夹查看

打开spiders

然后我们用pycharm打开

点击File —>open，找到项目所在文件夹，打开即可

这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器

在File—>settings的标红的地方

另外推荐大家，在根目录下新建一个start.py的文件并写入

from scrapy import cmdlinecmdline.execute("scrapy crawl tencent_spider".split())

这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令

鼠标右键tencent，新建python文件，即可创建。

最近会把这个实战项目写下来并发上去。

python3 + Scrapy爬虫学习之创建项目相关推荐

python3 scrapy爬虫_Python3 Scrapy爬虫框架(Scrapy/scrapy-redis)
Python3 Scrapy爬虫框架(Scrapy/scrapy-redis) 本文由 Luzhuo 编写,转发请保留该信息. 原文: https://blog..net/Rozol/article/ ...
scrapy爬虫学习系列七：scrapy常见问题解决方案
scrapy爬虫学习系列七:scrapy常见问题解决方案参考文章: (1)scrapy爬虫学习系列七:scrapy常见问题解决方案 (2)https://www.cnblogs.com/zhaoji ...
【Python3.6爬虫学习记录】（十五）Scrapy爬虫框架的应用及马赛克拼图生成
目录目录前言 1.Scrapy框架应用 1.1.Scrapy准备 1.2.创建项目及配置 1.3.网页分析及代码实现 1.3.1 items.py 中定义存储的数据 1.3.2 spiders文件 ...
Python爬虫基础：安装Scrapy爬虫框架和创建Scrapy爬虫项目
首先为了避免国外镜像不稳定,我们使用了清华大学的python库镜像:https://pypi.tuna.tsinghua.edu.cn/simple 1.安装scrapy 1.1.安装pywin32( ...
Scrapy爬虫学习笔记
声明本文仅当学习交流爬虫技术,请读者在爬取相应网站时注意控制好频率,以免对目标网站造成不必要的影响,多谢合作! 创建项目 # 格式 scrapy startproject 项目名称# 范例 scra ...
python3+Scrapy爬虫入门
创建项目 scrapy startproject douban 红框中是指出创建一个新爬虫. 创建爬虫 cd douban scrapy genspider girls https://www.dou ...
#0 scrapy爬虫学习中遇到的坑记录
python 基础学习中对于scrapy的使用遇到了一些问题. 首先进行的是对Amazon.cn的检索结果页进行爬取,很顺利,无碍. 下一个目标是对baidu的搜索结果进行爬取 1,反爬虫 1.1 我 ...
【Python3.6爬虫学习记录】（十一）使用代理IP及用多线程测试IP可用性--刷访问量
前言:本来准备写一个刷空间留言的脚本,然而kb TX,无限循环空间验证码.上午还傻x的学验证码识别,后来才发现根本发不了留言,即使填的是对的,仍然继续弹出.无奈,睡了一觉,开始搞新玩意–代理IP!其实 ...
python3 scrapy 爬虫实战之爬取站长之家
爬取目标站长之家:http://top.chinaz.com/all/ 爬取工具 win10 python3 scrapy BeautifulSoup 爬取内容 1 网站缩略图 2 网站名称 3 网 ...

python3 + Scrapy爬虫学习之创建项目

python3 + Scrapy爬虫学习之创建项目相关推荐

最新文章

热门文章