用BeautifulSoup爬取豆瓣妹子的图片

用BeautifulSoup处理html文件

#!/usr/bin/env python
# coding=utf-8
import urllib2
import urllib
from bs4 import BeautifulSoup
import re
def getContent(url):content = urllib2.urlopen(url).read()soup=BeautifulSoup(content)global siteUrlssiteUrls = soup.findAll('li',attrs={'class':'span3'})for i in siteUrls:file=i.findAll('img')   for t in file:id=t.get('data-id')name=t.get('data-src')imgpath='H:\python_learn\photo/%s.jpg' % idurllib.urlretrieve(name,imgpath)
for i in xrange(1,7):url='http://www.dbmeizi.com/?p=%s' % igetContent(url)

用BeautifulSoup爬取豆瓣妹子的图片相关推荐

python BeautifulSoup爬取豆瓣电影top250信息并写入Excel表格
豆瓣是一个社区网站,创立于2005年3月6日.该网站以书影音起家,提供关于书籍,电影,音乐等作品信息,其描述和评论都是由用户提供的,是Web2.0网站中具有特色的一个网站. 豆瓣电影top250网址: ...
爬虫beautifulsoup爬取豆瓣读书数据
爬虫beautifulsoup爬取豆瓣读书数据:主要是爬取收集书的名字.类别.简介,用于接下来的聚类学习. 豆瓣链接:https://book.douban.com/tag/?view=type&am ...
BeautifulSoup爬取豆瓣电影数据
BeautifulSoup爬取豆瓣TOP250 豆瓣爬取地址 https://movie.douban.com/top250?format=text BeautifulSoup官网地址 https:/ ...
python爬虫豆瓣电影短评_【Python爬虫】BeautifulSoup爬取豆瓣电影短评
目的:爬取豆瓣[红海行动]电影的首页短评步骤: 1.使用BeautifulSoup解析网页 soup = BeautifulSoup(r, 'lxml') // lxml 库解析速度快,也能解析复杂 ...
requests 获取div_爬虫系列第五篇使用requests与BeautifulSoup爬取豆瓣图书Top250
上一篇我们学习了BeautifulSoup的基本用法,本节我们使用它来爬取豆瓣图书Top250. 一.网页分析我们爬取的网页的url是https://book.douban.com/top250?i ...
利用BeautifulSoup爬取豆瓣top250排行榜标题
利用BeautifulSoup爬取标题整体思想: 首先导入所需要的库声明一个方法 ,将过程包裹起来获取网页解析网页,找到我们所需要的东西保存内容 1.获取随机头部的库方法 from fake ...
BeautifulSoup爬取豆瓣电影排名
豆瓣电影排名网址:https://movie.douban.com/top250?start=0&filter= 在进去豆瓣电影排名后,打开浏览器的检查功能分析爬取页面源代码,在写请求代码之前 ...
requests库和beautifulsoup爬取豆瓣书本数据并存入excel
以下是所有的代码,如果想要改变爬取的书本类型可以在测试函数当中修改 # -*-coding:utf-8 -*-# 豆瓣网爬书参考代码日期:2018-08-19 参考代码 import sys imp ...
Python-urllib、BeautifulSoup爬取豆瓣数据
b站学习地址:urllib获取网页数据 https://www.bilibili.com/video/BV12E411A7ZQ?p=18 1.get请求 import urllib.request # ...
python爬虫爬取豆瓣top排行图片
爬虫是什么? "网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁 ...

用BeautifulSoup爬取豆瓣妹子的图片

用BeautifulSoup爬取豆瓣妹子的图片相关推荐

最新文章

热门文章