dytt 爬取磁力链接保存mysql

import requests,reimport pymysql# 连接数据库
class mysqlhelp():def __init__(self):self.db = pymysql.connect(host='127.0.0.1', user='root', password='123456', port=3306, database='py10',charset='utf8')self.cursor = self.db.cursor()def execute_modify_mysql(self,sql):self.cursor.execute(sql)self.db.commit()def __del__(self):self.cursor.close()self.db.close()dyttsql = mysqlhelp()aurl = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_%s.html'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}for k in range(1,178):url = aurl % kresponse = requests.get(url,headers=headers)html = response.textres = re.findall('<a href="(.*)" class="ulink">',html)# print(res)for x in res:url_xq = 'http://www.ygdy8.net'+ x                             #获取详情页# print(url)response_a = requests.get(url_xq,headers=headers)html_rl = response_a.content.decode('gbk')# print(html2)lianjie = re.search('bgcolor="#fdfddf"><a href="(.*)">',html_rl)              # 获取影片链接cili = lianjie.group(1)move= re.search('\d/(.*).m',lianjie.group(1))move_name = move.group(1)                                                      # 获取电影名sql = 'insert into dytt(move_name,cili) values("{}","{}")'.format(move_name,cili)dyttsql.execute_modify_mysql(sql)print(move_name)

dytt 爬取磁力链接保存mysql相关推荐

Python+scrapy+mysql实现爬取磁力链接
Python+scrapy+mysql实现爬取磁力链接作为老司机中的一员,所以试试爬取磁力链接,看看效果咋样. 直接上代码: class torrentSpider(scrapy.Spider):n ...
scrapy链接mysql_Python+scrapy+mysql实现爬取磁力链接
Python+scrapy+mysql实现爬取磁力链接作为老司机中的一员,所以试试爬取磁力链接,看看效果咋样. 直接上代码: class torrentSpider(scrapy.Spider): ...
scrapy mysql 豆瓣_Scrapy爬取豆瓣图书保存MySQL实验
一.任务描述本实验任务主要对Scrapy爬取进行一些基本操作,通过完成本实验任务,要求学生熟练掌握数据爬取保存MySQL的操作,并对数据保存至MySQL的基本操作进行整理并填写工作任务报告. 二.任 ...
安居客爬虫项目，爬取房源，保存mysql数据库，详细代码如下！！！
import time import requests import random import pymysql from lxml import etreeclass AnJuKe():# 初始化d ...
[python爬虫] 招聘信息定时系统 (一).BeautifulSoup爬取信息并存储MySQL
这系列文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为当前天的,同时将爬取的内容保存到数据库中,然后制作定时系统每天执行爬取,最后是Python调用相关库发送短信到手机. ...
python-scapy爬取mooc网保存在数据库中并下载图片
爬取的步骤 - 确定url地址; - 获取页面信息;(urllib, requests); - 解析页面提取需要的数据: (正则表达式, bs4, xpath) - 保存到本地(csv, json, ...
Java两种方式简单实现：爬取网页并且保存
注:如果代码中有冗余,错误或者不规范,欢迎指正. Java简单实现:爬取网页并且保存对于网络,我一直处于好奇的态度.以前一直想着写个爬虫,但是一拖再拖,懒得实现,感觉这是一个很麻烦的事情,出现个小错 ...
python 爬虫源码 selenium并存储数据库_使用pythonSelenium爬取内容并存储MySQL数据库的实例图解...
这篇文章主要介绍了python Selenium爬取内容并存储至MySQL数据库的实现代码,需要的朋友可以参考下前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息.通常,在使用Selenium ...
Python爬取数据并写入MySQL
关于爬虫爬取数据并存入MySQL数据库(以东方财富网上的股票数据为例,网页:深南电A(000037)资金流向 _ 数据中心 _ 东方财富网) 第一步,创建数据库中的数据表 import request ...
akshare批量爬取数据并保存为excel格式
作用:根据aa.txt内的代码,爬取数据,保存在以代码为名的xls文件中,注意"aa.txt"路径,路径中有"\"时,需用"\\"替代: 爬 ...

dytt 爬取磁力链接保存mysql

dytt 爬取磁力链接保存mysql相关推荐

最新文章

热门文章