python如何爬取百度云_python如何爬取百度云连接方法指导
本篇文章主要介绍了python urllib爬取百度云连接的实例代码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
翻看自己以前写的程序,发现写过一个爬取盘多多百度云资源的东西,完全是当时想看变形金刚才自己写的,而且当时第一次接触python大概写了有2天才搞出来这个程序,学习python语言,可以看得出来那时候的代码写的真的low。虽然现在也不怎么样,哈哈,一直学习中,不做过多解释,上图上代码,因为变量的声明是什么我自己也忘了(手动傲娇),连写入文件当时都不会哈哈哈哈哈哈哈哈,也不知道class中可以通过init初始化,唉学习python原来我学到了这么多东西,感谢python
from bs4 import BeautifulSoup
import urllib
import requests
import re
adr =[]
''''对搜素资源名字进行url编码'''
search_text =raw_input('请输入搜索资源名:')
search_text = search_text.decode('gbk')
search_text = search_text.encode('utf-8')
search_text = urllib.quote(search_text)
''''获取文件地址'''
home = urllib.urlopen('http://www.panduoduo.net/s/name/'+search_text)
'''获取百度云地址'''
def getbaidu(adr):
for i in adr:
url = urllib.urlopen('http://www.panduoduo.net'+i)
bs = BeautifulSoup(url)
bs1 = bs.select('.dbutton2')
href = re.compile('http\%(\%|\d|\w|\/\/|\/|\.)*')
b = href.search(str(bs1))
name = str(bs.select('.center')).decode('utf-8')
text1 = re.compile('\
[\d|\w|\D|\W]*\
')
text2 = text1.search(name)
rag1 = re.compile('\>[\d|\w|\D|\W]*\
if text2:
text3 = rag1.search(text2.group())
if text3:
print text3.group()
if b:
text = urllib.unquote(str(b.group())).decode('utf-8')
print text
'''初始化'''
def init(adr):
soup = BeautifulSoup(home)
soup = soup.select('.row')
pattern = re.compile('\/r\/\d+')
for i in soup:
i = str(i)
adress = pattern.search(i)
adress = adress.group()
adr.append(adress)
print 'running---------'
init(adr)
getbaidu(adr)
python如何爬取百度云_python如何爬取百度云连接方法指导相关推荐
- python跑一亿次循环_python爬虫爬取微博评论
原标题:python爬虫爬取微博评论 python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无 ...
- python爬虫动态加载页面_Python+Selenium爬取动态加载页面(2)
注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所 ...
- python读取输入数据的第二行_Python读取键盘输入的2种方法
如何获取用户的输入 | 手把手教你入门Python之十六 上一篇:三种主要的输出 | 手把手教你入门Python之十五下一篇:进制转换 | 手把手教你入门Python之十七 本文来自于千锋教育在阿里云 ...
- python爬虫教学百度云_python爬虫爬取百度网盘-怎么做一个百度网盘搜索引擎
因为要做去转盘网,所以一定要爬取网盘资源,本来想自己写一个爬虫挺不容易的,不想分享出来,但最后还是决定了拿给大家一起看吧,毕竟有交流才有进步,有兴趣的朋友也可以看看我写的其他日志或者关注我,会发现去转 ...
- 如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
- python爬去百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
- python爬虫百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
- python爬取文字编程_Python怎么爬取人人网新鲜事
Python怎么爬取人人网新鲜事 发布时间:2020-08-24 18:10:44 来源:亿速云 阅读:113 这篇文章将为大家详细讲解有关Python怎么爬取人人网新鲜事,文章内容质量较高,因此小编 ...
- python爬取微博文本_Python爬虫爬取新浪微博内容示例【基于代理IP】
本文实例讲述了Python爬虫爬取新浪微博内容.分享给大家供大家参考,具体如下: 用Python编写爬虫,爬取微博大V的微博内容,本文以女神的微博为例(爬新浪m站:https://m.weibo.cn ...
最新文章
- 畸变的单目摄像机标定
- 黄聪: bootstrap 多模态框实现
- clion 查看内容窗口_CLion精华笔记
- Hystrix熔断器机制
- 一些新奇的玩意【php篇--持续更新】
- 零基础学Python-爬虫-1、网络请求Requests【网络操作理论基础与实践·请认真看看理论,理论基础决定后期高度】
- PCL:PCL1.9.0更新
- (6) 如何用Apache POI操作Excel文件-----POI-3.10的一个和注解(comment)相关的另外一个bug...
- mysql commit慢_MySQL慢日志中COMMIT事件
- 【React】状态管理仓库 原生\封装\第三方
- do.....while(0)让你虎躯一震的用法
- 关于开源框架GPUImage 的简单说明
- oracle连接工具 DBz,[Oracle] - 性能优化工具(3) - ADDM
- Adidas Alpha bounce阿尔法运动如此强大,功能跑鞋真让人佩服
- jQuery的隐藏显示hide(),show()方法
- 记canvas优化图片抠图历程
- 【沃顿商学院学习笔记】领导力——Business Impact:09 逻辑模型四 Logic Model4
- 常见对话框之一AlertDialog
- unity3d好学吗?
- 类的不同实例化使用一张虚函数表