python爬取网易云音乐歌单_【python】爬取并批量下载网易云歌单,嗨翻暑假!

[Python] 纯文本查看复制代码# 利用 Selenium 抓取淘宝商品并用 PyQuery 解析得到商品的图片、名称、价格、购买人数、

# 店铺名称、店铺所在地信息，并将其保存到MongoDB。以及数据库，csv格式等

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.common.by import By

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.wait import WebDriverWait

from urllib.parse import quote

browser = webdriver.Chrome()

wait = WebDriverWait(browser,10)

KEYWORD = input('请输入要检索的物品：')

def index_page(page):

"""

抓取索引页

:param page:页码

:return:

"""

print('正在爬取第',page,'页')

try:

url = 'https://s.taobao.com/search?q=' + quote(KEYWORD)

browser.get(url)

if page > 1:

input = wait.until(

EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager div.form > input'))

)

submit = wait.until(

EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager div.form > span.btn.J_Submit'))

)

input.clear()

input.send_keys(page)

submit.click()

wait.until(

EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#mainsrp-pager li.item.active > span'), str(page))

)

wait.until(

EC.presence_of_element_located((By.CSS_SELECTOR, '.m-itemlist .items .item'))

)

get_products()

except TimeoutException:

index_page(page)

from pyquery import PyQuery as pq

def get_products():

"""

提交商品数据

:return:

"""

html = browser.page_source

doc = pq(html)

items = doc('#mainsrp-itemlist .items .item').items()

for item in items:

product = {

'image':item.find('.pic .img').attr('data-src'),

'price':item.find('.price ').text(),

'deal':item.find('.deal-cnt').text(),

'title':item.find('.title').text(),

'shop':item.find('.shop').text(),

'location':item.find('.location').text(),

}

print(product)

write_txt(product)

save_mysql(product)

save_to_mongo(product)

save_image(product)

import os

from hashlib import md5

import requests

def save_image(item):

if not os.path.exists(item.get('shop')):

os.mkdir(item.get('shop'))

try:

local_image_url = item.get('image')

response = requests.get('http:' + local_image_url)

file_path = '{0}/{1}.{2}'.format(item.get('shop'),md5(response.content).hexdigest(),'jpg')

if not os.path.exists(file_path):

with open(file_path,'wb') as f:

f.write(response.content)

print('Success to Save image')

else:

print('Already Downloaded', file_path)

except requests.ConnectionError:

print('Failed to Save Image')

import pymongo

MONGO_URL = '127.0.0.1'

MONGO_DB = 'taobao'

MONGO_COLLECTION = 'products'

client = pymongo.MongoClient(MONGO_URL)

db = client[MONGO_DB]

def save_to_mongo(result):

"""

保存到Mongodb 名字淘宝

:return:结果

"""

try:

if db[MONGO_COLLECTION].insert(result):

print('存储到Mongodb成功')

except Exception:

print('存储到Mongodb失败')

def write_txt(content):

try:

with open('tao.csv','a',encoding='utf-8') as f:

f.write(str(content)+ '\n') #要存到txt，csv 字典格式不能直接写入转换成json 或者字符串

print('写入成功')

except Exception:

print('写入失败')

import pymysql

sql_db = pymysql.connect(host = 'localhost',user = 'root',password = 'root123',port = 3306,db = 'tao',charset='utf8')

cursor = sql_db.cursor()

def save_mysql(content):

table = 'ipad'

keys = ','.join(content.keys())

values = ','.join(['%s'] * len(content))

sql = 'insert into {table}({keys}) values ({values})'.format(table=table,keys=keys,values=values)

try:

if cursor.execute(sql,tuple(content.values())):

print('Successful')

sql_db.commit()

except:

print('Failed')

sql_db.rollback()

#sql_db.close()

def main():

"""

遍历每一页

:return:

"""

MAX_PAGE = input("MAX_PAGE:")

MAX_PAGE = int(MAX_PAGE)

for i in range(1,MAX_PAGE+1):

index_page(i)

browser.close()

if __name__ == '__main__':

main()

python爬取网易云音乐歌单_【python】爬取并批量下载网易云歌单,嗨翻暑假!相关推荐

python爬取并下载代码_python 爬取并批量下载网易云歌单源代码
#!/usr/bin/env python#!--*--coding:utf-8 --*-- #![url=home.php?mod=space&uid=238618]@Time[/url] ...
Python3批量下载网易云音乐热歌榜
Python3批量下载网易云音乐热歌榜可以批量下载网易云音乐热歌榜的歌曲,可以自己设定数量,速度非常快. https://music.163.com/#/discover/toplist?id=37 ...
python免费下载歌曲_实现python批量下载网易云音乐的免费音乐
python视频教程栏目介绍实现下载免费音乐相关免费学习推荐:python视频教程运行效果代码# -*- coding:utf-8 -*- import requests, hashlib, s ...
python下载歌曲教程视频_实现python批量下载网易云音乐的免费音乐
python视频教程栏目介绍实现下载免费音乐运行效果代码# -*- coding:utf-8 -*- import requests, hashlib, sys, click, re, base6 ...
怎么用python下载网易云_实现python批量下载网易云音乐的免费音乐
python视频教程栏目介绍实现下载免费音乐相关免费学习推荐:python视频教程运行效果代码# -*- coding:utf-8 -*- import requests, hashlib, s ...
python批量下载网易云音乐的免费音乐
python视频教程栏目介绍实现下载免费音乐相关免费学习推荐:python视频教程运行效果代码 # -*- coding:utf-8 -*-import requests, hashlib, s ...
Python批量下载网易云音乐飙升榜所有音乐文件
Python小屋刷题神器最近升级的新功能介绍推荐教材:<Python程序设计基础与应用>(ISBN:9787111606178),董付国,机械工业出版社,2018.8出版,2021.3第 ...
python 爬虫爬取下载网易云音乐歌单的歌曲(需要使用JS的加密方法得出params去获取下载地址)
要点:1.js加密就是麻烦,只能百度寻找了!设计的加密模块binascii.Crypto.base64 2.requests.Session的用法,可以指定headers.cookies 3.可以用s ...
小项目实现：下载网易云某个歌单的全部音乐
第一步:用歌曲地址先实现一首歌的下载利用: song_url (例如:https://m701.music.126.net/20190719164713/77733e070e7f9c68ac6ea2 ...

python爬取网易云音乐歌单_【python】爬取并批量下载网易云歌单,嗨翻暑假!

python爬取网易云音乐歌单_【python】爬取并批量下载网易云歌单,嗨翻暑假!相关推荐

最新文章

热门文章