comic

这里主要包括两大部分:

注意开发环境是python2.7

2019.6.4

这几天发现好像访问不了显示不了漫画了,我特地查了一下网易163的漫画确实访问不了,原因是图片地址加密访问的NOSAccessKeyId换了,所以据我观察,这个NOSAccessKeyId应该会定期更换,所以我也更新了一下,果然又好使了,有空再写教程吧,所以持续关注我,给我start哦~~~

2019.10.16

有几个漫画网站的域名变更了,相应的修改的部分代码

感觉还不错的请fork,star

配置mysql

DROP TABLE IF EXISTS `comic`;

CREATE TABLE `comic` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`author` varchar(50) NOT NULL,

`name` varchar(50) NOT NULL,

`intr` varchar(500) NOT NULL,

`cover` varchar(100) NOT NULL,

`comic_url` varchar(100) DEFAULT NULL,

`comic_type` varchar(20) NOT NULL,

`comic_type2` varchar(20) NOT NULL,

`collection` int(11) NOT NULL,

`recommend` int(11) NOT NULL,

`praise` bigint(20) DEFAULT NULL,

`roast` bigint(20) NOT NULL,

`last_update_chapter` varchar(50) NOT NULL,

`last_update_time` datetime NOT NULL,

`status` tinyint(1) NOT NULL DEFAULT '1',

`add_time` datetime NOT NULL,

`isDelete` tinyint(1) NOT NULL DEFAULT '0',

PRIMARY KEY (`id`),

UNIQUE KEY `unique_key` (`name`,`author`)

) ENGINE=InnoDB AUTO_INCREMENT=1837 DEFAULT CHARSET=utf8;

#MONGODB 主机名

MYSQL_HOST = "127.0.0.1"

#MONGODB 端口号

MYSQL_PORT = 3306

#数据库名称

MYSQL_DBNAME = "comic"

#存放数据的表名称

MYSQL_TABLENAME = "comic"

MYSQL_USER='root'

MYSQL_PASSWD='123456'

DATABASES = {

'default': {

'ENGINE': 'django.db.backends.mysql',

'NAME': 'comic',

'USER': 'root',

'PASSWORD': '123456',

'HOST': 'localhost',

'PORT': '3306',

}

}

代码总览

comic

├── comicspider

│   ├── comicscrapy

│   │   ├── comicscrapy

│   │   │   ├── __init__.py

│   │   │   ├── items.py

│   │   │   ├── middlewares.py

│   │   │   ├── pipelines.py

│   │   │   ├── settings.py

│   │   │   └── spiders

│   │   │   ├── __init__.py

│   │   │   ├── manhua163.py

│   │   ├── scrapy.cfg

│   │   ├── scrapy.log

│   │   └── start.py

│   └── comicspider

│      ├── __init__.py

│      ├── settings.py

│      ├── spiderfactory.py

│      └── spiders.py

├── comicweb

│   ├── comic

│   │   ├── admin.py

│   │   ├── __init__.py

│   │   ├── migrations

│   │   │   ├── 0001_initial.py

│   │   │   ├── 0002_auto_20181204_1607.py

│   │   │   ├── 0003_auto_20181204_1818.py

│   │   │   ├── 0004_auto_20181204_1906.py

│   │   │   ├── 0005_auto_20181204_1909.py

│   │   │   ├── 0006_auto_20181204_2017.py

│   │   │   ├── __init__.py

│   │   ├── models.py

│   │   ├── tests.py

│   │   ├── urls.py

│   │   ├── views.py

│   ├── comicspider

│   │   ├── __init__.py

│   │   ├── settings.py

│   │   ├── spiderfactory.py

│   │   ├── spiders.py

│   ├── comicweb

│   │   ├── __init__.py

│   │   ├── settings.py

│   │   ├── urls.py

│   │   ├── wsgi.py

│   ├── manage.py

│   ├── start.py

│   ├── static

│   │   ├── comic

│   │   │   ├── chapterContent.html

│   │   │   ├── comicInfo.html

│   │   │   ├── css

│   │   │   │   ├── global.css

│   │   │   │   ├── ...

│   │   │   │   └── view.css

│   │   │   ├── images

│   │   │   │   ├── 039ac725a6d64215a61c3d8a9edf9faa.png

│   │   │   │   ├── 14927c3dd7844200b520e910b993769e.png

│   │   │   │   ├── ...

│   │   │   │   └── view-logo-read.png

│   │   │   ├── img

│   │   │   ├── script

│   │   │   │   ├── common.js

│   │   │   │   ├── jquery-1.9.1.min.js

│   │   │   │   ├── jquery.cookie.js

│   │   │   │   ├── jquery.min.js

│   │   │   │   ├── ...

│   │   │   │   └── TSB.js

│   │   │   └── test.html

│   │   └── test

│   │   ├── css

│   │   │   └── toPage.css

│   │   ├── index.html

│   │   └── script

│   │   ├── jquery.min.js

│   │   └── toPage.js

│   ├── templates

│   │   └── comic

│   │   ├── chapterContent.html

│   │   ├── comicInfo.html

│   │   ├── index.html

│   │   ├── search.html

│   │   └── test.html

│   └── uwsgi.ini

└── requirements.txt

scrapy mysql django_scrapy漫画爬虫+django页面展示项目相关推荐

  1. python网页爬虫漫画案例_comic: scrapy漫画爬虫+django页面展示项目,网易163漫画、腾讯漫画、神漫画在线爬取...

    comic ├── comicspider │   ├── comicscrapy │   │   ├── comicscrapy │   │   │   ├── __init__.py │   │  ...

  2. scrapy mysql 豆瓣_Python爬虫之Scrapy+Mysql+Mongodb爬豆瓣top250电影

    学习python时,爬虫是一种简单上手的方式,应该也是一个必经阶段.本项目用Scrapy框架实现了抓取豆瓣top250电影,并将图片及其它信息保存下来.爬取豆瓣top250电影不需要登录.没有JS解析 ...

  3. 基于Scrapy的交互式漫画爬虫

    class BaseComicSpider(scrapy.Spider): """改写start_requests""" step = 'l ...

  4. php漂亮显示数据库页面,通过PHP读取mysql数据库数据,在页面展示

    作者博客: 昨天实现了通过PHP向mysql中插入数据,今天咱们就实现通过php从mysql中将数据读出来展现在页面. 代码: 话不多说,直接上代码 小泊随記-留言板 table{ border: 1 ...

  5. django mysql开发_基于django框架web项目实战开发四 django+mysql实现增删查改功能

    第一步:编写增删查改功能代码 打开项目myweb目录下view.py, 并编写以下代码 view.py from django.shortcuts import render, redirect fr ...

  6. Django博客系统(详情页面展示)

    1. 页面展示 1.在home.views.py文件中定义视图 from django.views import Viewclass DetailView(View):def get(self,req ...

  7. Django博客系统(写博客页面展示)

    1. 页面展示 1.在users.views.py文件中定义视图 from django.views import Viewclass WriteBlogView(LoginRequiredMixin ...

  8. 爬虫——scrapy框架爬取多个页面电影的二级子页面的详细信息

    文章目录 需求: 总结: 代码: movieinfo.py items.py middleware.py pipelines.py 结果: 附加: crawlspider可以改进: 需求: scrap ...

  9. scrapy框架下pythom爬虫的数据库(MYSQL)

    本次主要讲述在scrapy框架下pythom爬虫有关mysql数据库的相关内容. 首先在MySQL数据库中创建对应的表,注意字段的设计! 数据库的信息存在setting 里,数据信息host,data ...

最新文章

  1. C++11中std::lock_guard的使用
  2. 程序员新手第一个python web开发框架
  3. java jquery提交表单_Jquery ajax提交表单几种方法
  4. ocm名单 oracle_oracle_ocm
  5. sht20温湿度传感器原理图_温湿度传感器在孵化行业怎么应用
  6. jvm学习笔记(三)
  7. 软件测试面试的基础题目
  8. datatables每页显示数据刷新后不变_2019北京积分落户名单数据的一些分析
  9. ASP.NET架构分析
  10. 基于JAVA+SpringMVC+MYSQL的酒店客房管理系统
  11. 一、css样式(内部样式,外部样式,行内样式)
  12. Spark机器学习过程梳理
  13. MAXON RE40直流有刷电机在Elmo SimplIQ cello系列驱动器的增益调节
  14. win11怎么进安全模式,win11进入安全模式的方法
  15. The Client hold the Interface
  16. revo uninstaller pro 长期试用的正确姿势!!
  17. 微信图文中出现了腾讯视频时,教你弄到不能直接获取的视频原始地址的方法~
  18. 网页计算机谈音乐,如何用windows电脑录制网页上或电脑中自己的音乐
  19. 怪异盒模型和标准盒模型
  20. Nature子刊:教你零基础开展微生物组数据分析和可视化

热门文章

  1. 10句永远不要对任何人说的话!(终身受益)
  2. vi/vim 总结 | emacs evil 使用教程
  3. lol服务器维护2021,报; LOL2021年2月20日更新维护公告
  4. 1h-8学习(1):1h-8适配之int8直接量化+转.cambricon格式
  5. xp系统为什么停止服务器,xp系统停止服务怎么办
  6. 待人友善是教养 独来独往是性格
  7. TP5+PHPMailer 实现发送邮件功能
  8. MySQL去除字段的空白符
  9. jeecg-boot项目解决点击一下跳出来两个界面
  10. 反函数、复合函数、初等函数