python爬取酷狗音乐的mv地址_python爬取酷狗音乐排行榜

#coding=utf-8

from pymongo import MongoClient

import time

import requests

from lxml import etree

client = MongoClient() #连接mongo

hello = client.hello #连接数据库

user = hello.song #连接表

headers = {

'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)

AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'}

def get_info(url):

'''

get源码,encode,解析,xpath,保存

'''

response = requests.get(url, headers=headers)

response = response.text.encode('utf-8')

selector = etree.HTML(response)

soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()')

#保存到本地

# with open('aa.txt','a') as f:

# for i in soup:

# f.write(i.encode('utf-8') + 'n')

#存入数据库

for i in soup:

user.insert({'song': i})

if __name__ == '__main__':

urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] for url in urls:

print(url)

get_info(url)

python爬取酷狗音乐的mv地址_python爬取酷狗音乐排行榜相关推荐

python爬取酷狗音乐的mv地址_爬取酷狗音乐.py
import requests from selenium import webdriver from pyquery import PyQuery as pq #获取歌名 def Access_to ...
python爬取图片链接标签的src属性值_python爬取图片遇见src乱码： data:image/png;base64...
python爬取图片遇见src乱码: data:image/png;base64 向爬取自己喜欢的图片,但是在爬取下来的代码当中图片的src会出现乱码的情况:data:image/png;base64 ...
python爬取网易云评论最多的歌_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取地图地址_python爬取了高德地图一些地点的数据，爬出来数据大致情况如下：...
python爬取了高德地图一些地点的数据,爬出来数据大致情况如下: 下面是基本流程: 1.注册成为高德地图API开发者,网址http://lbs.amap.com/(主要是获取自己的keywords ...
python 爬取视频真实地址_python 爬取视频
一.概述爬取步骤第一步:获取视频所在的网页第二步:F12中找到视频真正所在的链接第三步:获取链接并转换成机械语言第四部:保存二.分析视频链接获取视频所在的网页以酷6网为例,随便点击一个 ...
python教程app下载地址_Python爬取APP下载链接的实现方法
首先是准备工作 Python 2.7.11:下载python 其中python2和python3目前同步发行,我这里使用的是python2作为环境.Pycharm是一款比较高效的Python IDE, ...
python爬虫获取图片无法打开或已损坏_Python爬取小姐姐图片
爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 2.下载并安装python环境 3.开始编码 python 全部代码如下 # requests 请求需要提前在Terminal中安装 p ...
python爬取地图地址_Python爬取百度地图poi数据 !
锵锵锵,我来啦.10天过的好快呀,4月份都已经过了三分之一,我的体重还居高不下,qwq.今天给大家分享python爬取百度地图小区的数据,希望大家看后,可以尝试自己编写爬取自己所在市的中学,公园,银行 ...
python爬取饿了么外卖商家数据_python爬饿了么外卖数据（1）
1.环境介绍: win10 64bit python 3.6.0 openpyxl 2.4.2(操作excel) 2.目的根据区域统计该区域附近的外卖商家总数.和所有商家的月销售情况 3.网页截 ...
如何用python爬取公众号文章搜狗微信搜索_python抓取搜狗微信公众号文章
初学python,抓取搜狗微信公众号文章存入mysql mysql表: 代码: import requests import json import re import pymysql # 创建连接 ...

python爬取酷狗音乐的mv地址_python爬取酷狗音乐排行榜

python爬取酷狗音乐的mv地址_python爬取酷狗音乐排行榜相关推荐

最新文章

热门文章