flask搭建及爬虫数据展示

本文主要介绍的是基于 [Scrapy爬虫数据存数据库]，数据已经入库，现在利用flask框架显示到页面上，代码仓库为 [martian-scrapy
]。

一、环境搭建

python 3.6.4
pip install virtualenv
pip install flask

二、flask扩展安装

pip install flask_bootstrap
pip install flask_sqlalchemy
pip install flask_script

三、数据库、表创建

#创建数据库
create database scrapy;#创建数据表CREATE TABLE `images` (`id` int(11) NOT NULL AUTO_INCREMENT,`title` varchar(64) DEFAULT '',`img_url` varchar(100) DEFAULT '',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

四、目录结构组织

1 image是爬虫目录，此处不多讲，请看之前的文章或留言
2 flask是web目录，存放显示爬虫数据的web文件
app 是主目录
main 是视图目录
templates 是html页面目录
statics 是css、js等静态文件目录
config.py 是全局配置文件
models.py 是orm定义文件
__init__.py 是web初始化文件
manage.py 是运行程序

#该命令会将xkcd.com网站上的图片title，url存入数据库
scrapy crawl image#在flask目录下执行，运行web服务器
python manage.py runserver

在浏览器地址栏输入127.0.0.1:5000即可看到页面数据，如下图所示。

五、主要代码说明

config.py中DB配置

SQLALCHEMY_DATABASE_URI = 'mysql+pymysql://root:root@localhost:3306/scrapy?charset=utf8'
SQLALCHEMY_TRACK_MODIFICATIONS = True

使用SQLAlchemy定义orm

from flask_sqlalchemy import SQLAlchemy
db = SQLAlchemy()class Image(db.Model):__tablename__ = 'images'id = db.Column(db.Integer, primary_key=True)title = db.Column(db.String(64))img_url = db.Column(db.String(100))def __repr__(self):return '<Images %r>' % self.title

视图路由定义

from . import main
from flask import render_template
from app.models import Image@main.route("/")
def index():image_list = Image.query.all()return render_template('image.html', images=image_list)

六、可能遇到的问题
1 pymysql.err.InterfaceError: (0, ‘’)解决办法
请参考 https://blog.csdn.net/okm6666/article/details/80618767
2 关闭pyc文件生成
请参考 https://blog.csdn.net/qq_28295425/article/details/82966343
3 ImportError: cannot import name db
请参考 https://stackoverflow.com/questions/48762191/why-do-i-keep-getting-importerror-cannot-import-name-db

欢迎留言讨论、学习！

flask搭建及爬虫数据展示相关推荐

手把手教你写带登录的NodeJS爬虫+数据展示
其实在早之前,就做过立马理财的销售额统计,只不过是用前端js写的,需要在首页的console调试面板里粘贴一段代码执行,点击这里.主要是通过定时爬取https://www.lmlc.com/s/web ...
python利用flask搭建接口中转数据给DLL文件
业务场景现需要与某局做业务数据接口,但对方的接口只能读取DLL文件调用,而我们这边的系统是运行在Linux的,对方的DLL文件是在windows上编译的,所以需要用一台windows服务器做为中转, ...
Hadoop+hive+flask+echarts大数据可视化项目之hive环境搭建与系统数据的分析思路
Hadoop+hive+flask+echarts大数据可视化项目(四) --------------hive环境搭建与系统数据的分析思路---------------- 关注过Hadoop+hive ...
基于爬虫爬取的数据，完成数据展示网站
文章目录前言一.列表分页二.注册登录三.查询支持布尔表达式四.图表五.入口创建总结前言学期进入尾声 web编程课程迎来了期末大作业作业要求如下: 基于第一个项目爬虫爬取的数据, ...
SpringBoot简单项目搭建，从数据读取数据展示到页面
springboot快速搭建web项目,无需繁琐xml配置,热部署,无需重启服务器,简单部署只需打jar包即可,有很多的优点! 刚接触到springboot花费了好几个小时,撸完一个又一个的配置坑,最 ...
scrapy爬取表情包使用flask搭建搜索网站
本文以doutula为演示站点,详细说明搭建一个自己的表情包搜索网站的过程.主要步骤如下: 1. scrapy爬取表情包并存入mysql 2. flask搭建搜索网站准备工作,anaconda py ...
tensorflow+python flask进行手写识别_python+flask搭建CNN在线识别手写中文网站！简直太屌了！...
原标题:python+flask搭建CNN在线识别手写中文网站!简直太屌了! 使用python+flask搭建的一个网站,然后从网页的写字板上获取鼠标手写的汉字经过转码后传回后台,并经过图片裁剪处理之 ...
【项目10】python+flask搭建CNN在线识别手写中文网站
使用python+flask搭建的一个网站,然后从网页的写字板上获取鼠标手写的汉字经过转码后传回后台,并经过图片裁剪处理之后传入CNN手写中文识别的模型中进行识别,最后通过PIL将识别结果生成图片,最 ...
python商品评论数据采集与分析可视化系统 Flask框架 requests爬虫 NLP情感分析毕业设计源码
一.项目介绍 python商品评论数据采集与分析可视化系统 Flask框架.MySQL数据库. requests爬虫.可抓取指定商品评论.Echarts可视化.评论多维度分析.NLP情感分析.LDA主 ...

flask搭建及爬虫数据展示

flask搭建及爬虫数据展示相关推荐

最新文章

热门文章