1.scrapy项目创建——python scrapy 爬取新浪财经财经新闻

近期需要爬取一些关于银行的新闻，通过尚硅谷老师的讲课进行学习，然后应用到东方财富网和新浪财经，现在以新浪财经为例，记录一下学习成果（有一说一，尚硅谷老师教的真不错(>^ω<)喵）。此部分只讲操作，具体scrapy框架原理可以自行学习和了解。

1.首先是scrapy的安装
正常pip install scrapy就行，可能会遇到各种各样的报错，把错误复制到百度，一堆解决方案，这里就不赘述了。

2.scrapy项目创建
我想在E:\PythonProject\Crawl_Eastmoney_news下面创建，其中Crawl_Eastmoney_news是一个python工程

在终端中进入到E:\PythonProject\Crawl_Eastmoney_news路径，
然后输入命令 scrapy stratproject sinanews
这里sinanews是我项目的名字，大家可以根据需要改成自己项目的名字

回车运行一下，可以发现此时Crawl_Eastmoney_news项目下多了一个目录，就是我们刚刚新建的sinanews，sinanews下会出现一个spider目录、一个items.py文件、一个middlewares.py、一个pipelines.py文件和一个settings.py文件

3.创建爬虫文件
（1）首先在终端进入到spiders目录下

（2）终端输入 scrapy genspider sina_news finance.sina.com.cn

注意到sina_news是爬虫名称，不能跟爬虫项目名称sinanews一样

(3)结果
spiders下面会产生一个爬虫文件

爬虫文件的内容如下：

4.对网站进行简单测试
(1)修改parse

(2)运行scrapy crawl sina_news可以看到打印内容

如果不想看到这么多日志内容，可以在settings.py文件中加入：LOG_LEVEL = 'WARNING’

查看网页内容，则用response.text

可以在控制台或者终端查看到网页源码

1.scrapy项目创建——python scrapy 爬取新浪财经财经新闻相关推荐

python 爬取财经新闻股票_70行python代码爬取新浪财经中股票历史成交明细
70行python代码爬取新浪财经中股票历史成交明细发布时间:2018-07-28 01:55, 浏览次数:635 , 标签: python 最近在研究股票量化,想从每笔成交的明细着手,但历史数据的 ...
Python爬虫爬取懂球帝足球新闻（分类，分标签，多页，存数据库，去重）
爬虫目标网址:https://www.dongqiudi.com/news 打开网址后向下滑动看到我即将爬取的国际新闻板块咦?说好的五大联赛的呢?看不起法甲?好吧,将就一下,就爬取"欧洲四 ...
python指定爬取新浪新闻
目录前言 xpath工具和requests 步骤爬虫的四大步骤思路代码效果最终效果总结前言又是一个宁静的晚上,看到同学们聊的新闻如此的开心,有说有笑的,我仿佛像个空气一样找不到话题, ...
70行python代码爬取新浪财经中股票历史成交明细
最近在研究股票量化,想从每笔成交的明细着手,但历史数据的获取便是一个大问题,一些股票证券软件又不能批量导出成交数据.所以,我花了两天时间,成功的从新浪财经爬取了我要的数据下面开始新浪股票明细数据接 ...
python爬取路透社财经新闻
一.需求: 近期打算做一个财经事件分析预测的系统,需要爬取大量新闻作为数据集训练模型,于是写了爬虫去爬取路透社的财经新闻. 二.思路: 观察: i. 观察路透社财经新闻的网页源代码,发现该网页每页显示 ...
python爬虫爬取新浪网站新闻内容
我们以爬取sina时尚模块为例准备工作为进行爬虫爬取工作,我们需要进行相关库的准备以及对网页设置布局的了解相关库的准备 import os import re import urllib fro ...
Python爬虫爬取新浪新闻内容
首先感谢丘祐玮老师在网易云课堂的Python网络爬虫实战课程,接下来也都是根据课程内容而写.一来算是自己的学习笔记,二来分享给大家参考之用. 课程视频大概是在16年11月录制的,现在是18年2月.其中 ...
python 爬虫爬取腾讯新闻科技类的企鹅智酷系列（1）
废话不多说,直接贴代码,主要采用BeautifulSoup写的 #coding:utf8from bs4 import BeautifulSoup import urllib2 import urll ...
Python爬虫——爬取某网站新闻
文章目录前言一.基本目标二.使用步骤整体代码结果总结前言
用 Python selenium爬取股票新闻并存入mysql数据库中带翻页功能demo可下载
用 Python selenium爬取实时股票新闻并存入mysql数据库中 1.分析需求 2.创建表 3.分析需要爬取的网页内容 4.python里面selenium进行爬虫操作 1.添加包 2.连接 ...

1.scrapy项目创建——python scrapy 爬取新浪财经财经新闻

1.scrapy项目创建——python scrapy 爬取新浪财经财经新闻相关推荐

最新文章

热门文章