scrapy mysql django_scrapy漫画爬虫+django页面展示项目
comic
这里主要包括两大部分:
注意开发环境是python2.7
2019.6.4
这几天发现好像访问不了显示不了漫画了,我特地查了一下网易163的漫画确实访问不了,原因是图片地址加密访问的NOSAccessKeyId换了,所以据我观察,这个NOSAccessKeyId应该会定期更换,所以我也更新了一下,果然又好使了,有空再写教程吧,所以持续关注我,给我start哦~~~
2019.10.16
有几个漫画网站的域名变更了,相应的修改的部分代码
感觉还不错的请fork,star
配置mysql
DROP TABLE IF EXISTS `comic`;
CREATE TABLE `comic` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`author` varchar(50) NOT NULL,
`name` varchar(50) NOT NULL,
`intr` varchar(500) NOT NULL,
`cover` varchar(100) NOT NULL,
`comic_url` varchar(100) DEFAULT NULL,
`comic_type` varchar(20) NOT NULL,
`comic_type2` varchar(20) NOT NULL,
`collection` int(11) NOT NULL,
`recommend` int(11) NOT NULL,
`praise` bigint(20) DEFAULT NULL,
`roast` bigint(20) NOT NULL,
`last_update_chapter` varchar(50) NOT NULL,
`last_update_time` datetime NOT NULL,
`status` tinyint(1) NOT NULL DEFAULT '1',
`add_time` datetime NOT NULL,
`isDelete` tinyint(1) NOT NULL DEFAULT '0',
PRIMARY KEY (`id`),
UNIQUE KEY `unique_key` (`name`,`author`)
) ENGINE=InnoDB AUTO_INCREMENT=1837 DEFAULT CHARSET=utf8;
#MONGODB 主机名
MYSQL_HOST = "127.0.0.1"
#MONGODB 端口号
MYSQL_PORT = 3306
#数据库名称
MYSQL_DBNAME = "comic"
#存放数据的表名称
MYSQL_TABLENAME = "comic"
MYSQL_USER='root'
MYSQL_PASSWD='123456'
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'comic',
'USER': 'root',
'PASSWORD': '123456',
'HOST': 'localhost',
'PORT': '3306',
}
}
代码总览
comic
├── comicspider
│ ├── comicscrapy
│ │ ├── comicscrapy
│ │ │ ├── __init__.py
│ │ │ ├── items.py
│ │ │ ├── middlewares.py
│ │ │ ├── pipelines.py
│ │ │ ├── settings.py
│ │ │ └── spiders
│ │ │ ├── __init__.py
│ │ │ ├── manhua163.py
│ │ ├── scrapy.cfg
│ │ ├── scrapy.log
│ │ └── start.py
│ └── comicspider
│ ├── __init__.py
│ ├── settings.py
│ ├── spiderfactory.py
│ └── spiders.py
├── comicweb
│ ├── comic
│ │ ├── admin.py
│ │ ├── __init__.py
│ │ ├── migrations
│ │ │ ├── 0001_initial.py
│ │ │ ├── 0002_auto_20181204_1607.py
│ │ │ ├── 0003_auto_20181204_1818.py
│ │ │ ├── 0004_auto_20181204_1906.py
│ │ │ ├── 0005_auto_20181204_1909.py
│ │ │ ├── 0006_auto_20181204_2017.py
│ │ │ ├── __init__.py
│ │ ├── models.py
│ │ ├── tests.py
│ │ ├── urls.py
│ │ ├── views.py
│ ├── comicspider
│ │ ├── __init__.py
│ │ ├── settings.py
│ │ ├── spiderfactory.py
│ │ ├── spiders.py
│ ├── comicweb
│ │ ├── __init__.py
│ │ ├── settings.py
│ │ ├── urls.py
│ │ ├── wsgi.py
│ ├── manage.py
│ ├── start.py
│ ├── static
│ │ ├── comic
│ │ │ ├── chapterContent.html
│ │ │ ├── comicInfo.html
│ │ │ ├── css
│ │ │ │ ├── global.css
│ │ │ │ ├── ...
│ │ │ │ └── view.css
│ │ │ ├── images
│ │ │ │ ├── 039ac725a6d64215a61c3d8a9edf9faa.png
│ │ │ │ ├── 14927c3dd7844200b520e910b993769e.png
│ │ │ │ ├── ...
│ │ │ │ └── view-logo-read.png
│ │ │ ├── img
│ │ │ ├── script
│ │ │ │ ├── common.js
│ │ │ │ ├── jquery-1.9.1.min.js
│ │ │ │ ├── jquery.cookie.js
│ │ │ │ ├── jquery.min.js
│ │ │ │ ├── ...
│ │ │ │ └── TSB.js
│ │ │ └── test.html
│ │ └── test
│ │ ├── css
│ │ │ └── toPage.css
│ │ ├── index.html
│ │ └── script
│ │ ├── jquery.min.js
│ │ └── toPage.js
│ ├── templates
│ │ └── comic
│ │ ├── chapterContent.html
│ │ ├── comicInfo.html
│ │ ├── index.html
│ │ ├── search.html
│ │ └── test.html
│ └── uwsgi.ini
└── requirements.txt
scrapy mysql django_scrapy漫画爬虫+django页面展示项目相关推荐
- python网页爬虫漫画案例_comic: scrapy漫画爬虫+django页面展示项目,网易163漫画、腾讯漫画、神漫画在线爬取...
comic ├── comicspider │ ├── comicscrapy │ │ ├── comicscrapy │ │ │ ├── __init__.py │ │ ...
- scrapy mysql 豆瓣_Python爬虫之Scrapy+Mysql+Mongodb爬豆瓣top250电影
学习python时,爬虫是一种简单上手的方式,应该也是一个必经阶段.本项目用Scrapy框架实现了抓取豆瓣top250电影,并将图片及其它信息保存下来.爬取豆瓣top250电影不需要登录.没有JS解析 ...
- 基于Scrapy的交互式漫画爬虫
class BaseComicSpider(scrapy.Spider): """改写start_requests""" step = 'l ...
- php漂亮显示数据库页面,通过PHP读取mysql数据库数据,在页面展示
作者博客: 昨天实现了通过PHP向mysql中插入数据,今天咱们就实现通过php从mysql中将数据读出来展现在页面. 代码: 话不多说,直接上代码 小泊随記-留言板 table{ border: 1 ...
- django mysql开发_基于django框架web项目实战开发四 django+mysql实现增删查改功能
第一步:编写增删查改功能代码 打开项目myweb目录下view.py, 并编写以下代码 view.py from django.shortcuts import render, redirect fr ...
- Django博客系统(详情页面展示)
1. 页面展示 1.在home.views.py文件中定义视图 from django.views import Viewclass DetailView(View):def get(self,req ...
- Django博客系统(写博客页面展示)
1. 页面展示 1.在users.views.py文件中定义视图 from django.views import Viewclass WriteBlogView(LoginRequiredMixin ...
- 爬虫——scrapy框架爬取多个页面电影的二级子页面的详细信息
文章目录 需求: 总结: 代码: movieinfo.py items.py middleware.py pipelines.py 结果: 附加: crawlspider可以改进: 需求: scrap ...
- scrapy框架下pythom爬虫的数据库(MYSQL)
本次主要讲述在scrapy框架下pythom爬虫有关mysql数据库的相关内容. 首先在MySQL数据库中创建对应的表,注意字段的设计! 数据库的信息存在setting 里,数据信息host,data ...
最新文章
- C++11中std::lock_guard的使用
- 程序员新手第一个python web开发框架
- java jquery提交表单_Jquery ajax提交表单几种方法
- ocm名单 oracle_oracle_ocm
- sht20温湿度传感器原理图_温湿度传感器在孵化行业怎么应用
- jvm学习笔记(三)
- 软件测试面试的基础题目
- datatables每页显示数据刷新后不变_2019北京积分落户名单数据的一些分析
- ASP.NET架构分析
- 基于JAVA+SpringMVC+MYSQL的酒店客房管理系统
- 一、css样式(内部样式,外部样式,行内样式)
- Spark机器学习过程梳理
- MAXON RE40直流有刷电机在Elmo SimplIQ cello系列驱动器的增益调节
- win11怎么进安全模式,win11进入安全模式的方法
- The Client hold the Interface
- revo uninstaller pro 长期试用的正确姿势!!
- 微信图文中出现了腾讯视频时,教你弄到不能直接获取的视频原始地址的方法~
- 网页计算机谈音乐,如何用windows电脑录制网页上或电脑中自己的音乐
- 怪异盒模型和标准盒模型
- Nature子刊:教你零基础开展微生物组数据分析和可视化