爬取大麦网的演出数据

仅供个人学习，如有侵权联系删除
spider文件：

# -*- coding: utf-8 -*-
import scrapy
from pachong9.items import Pachong9Item
import re
import json
import timeclass DamaiSpider(scrapy.Spider):name = 'damai'allowed_domains = ['damai.cn']start_urls = ['https://damai.cn/']def start_requests(self):url = 'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage=1&tn='time.sleep(2)yield scrapy.Request(url)def parse(self, response):time.sleep(5)datas = json.loads(response.body)# print(datas)item = Pachong9Item()if datas:time.sleep(2)for data in datas['pageData']['resultData']:time.sleep(2)item['category'] = data['subcategoryname']item['name'] = data['name']item['address'] = data['venuecity'] + '-' + data['venue']item['time'] = data['showtime']item['price'] = data['price_str'] + '元'print(item['category'])print(item['name'])print(item['address'])print(item['time'])print(item['price'])yield item# 如果datas存在数据则对下一页进行采集# page_num = re.search(r'currPage=(\d+)', response.url).group(1)# page_num = 'currPage=' + str(int(page_num) + 1)# next_url = re.sub(r'currPage=\d+', page_num, response.url)# yield scrapy.Request(next_url)

结果：

爬取大麦网的演出数据相关推荐

《结对-爬取大麦网近期演唱会信息-结对项目总结》
1.项目名称: 爬取大麦网近期演唱会信息 2.主要功能: 爬取大麦网近期演唱会信息并显示 3.开发过程: 1)搭建环境: 下载Python 安装Python 下载PyCharm 安装PyCharm 启 ...
《结对-爬取大麦网演唱会信息-设计文档》
结对编程成员:阎大为,张跃馨搭建环境: 1.安装Python 网址:https://www.python.org/ 2.安装Pycharm 网址:http://www.jetbrains.c ...
结对-爬取大麦网演唱会信息-设计文档
结对编程成员:阎大为,张跃馨搭建环境: 1.安装python2.7 2.安装beautifulsoup4等相关模块编写程序阶段: 1.分析html代码以及了解相关参数 2.写代码,爬取网站 ...
python大乐透代码_scrapy框架爬取大乐透数据
上次做了一个双色球的数据爬取,其实大乐透的爬取也很简单,使用request就可以爬取,但是为了更好的进步,这次爬取大乐透采用了scrapy框架. scrapy框架的运行机制不介绍了,不懂的先去goog ...
ML之FE：对爬取的某平台二手房数据进行数据分析以及特征工程处理
ML之FE:对爬取的某平台二手房数据进行数据分析以及特征工程处理目录对爬取的某平台二手房数据进行数据分析以及特征工程处理 1.定义数据集 2.特征工程(数据分析+数据处理) 对爬取的某平台二手房数 ...
【爬虫+数据可视化】Python爬取CSDN博客访问量数据并绘制成柱状图
以下内容为本人原创,欢迎大家观看学习,禁止用于商业及非法用途,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/article/ ...
爬取东方财富网股票行情数据和资讯
爬取东方财富网股票行情数据和资讯这个需求源于我的一个练手项目本篇博客参考:https://zhuanlan.zhihu.com/p/50099084 该博客介绍的东西本博客不做论述使用技术: 语 ...
python + selenium多进程爬取淘宝搜索页数据
python + selenium多进程爬取淘宝搜索页数据 1. 功能描述按照给定的关键词,在淘宝搜索对应的产品,然后爬取搜索结果中产品的信息,包括:标题,价格,销量,产地等信息,存入mongodb ...
爬取淘女郎模特个人信息数据和写真
趁着国庆节有时间,帮人写了个爬取淘女郎模特动态加载的图片的爬虫,还有爬取模特们的个人信息数据,这个爬虫花了3天时间,因为图片是异步加载的所以爬取的复杂度有点大,最终我通过研究URL的变化,构造新的UR ...
6.9 用Python操控数据库（批量删除，百度新闻数据爬取与存储，写入数据时进行去重处理，pandas读取sql数据）
学习完MySQL数据库的基本操作后,下面来学习如何用Python连接数据库,并进行数据的插入.查找.删除等操作. 6.9.1 用PyMySQL库操控数据库上一节在phpMyAdmin 中创建了数据库 ...

爬取大麦网的演出数据

爬取大麦网的演出数据相关推荐

最新文章

热门文章