#!/usr/bin/env python
#encoding:UTF-8import re
import urllib
import threading
import time
import Queuedef getHtml(url):html_page=urllib.urlopen(url).read()return html_page#提取网页中图片的URL
def getUrl(html):pattern=r'http://.*?\.jpg!mid'   #正则表达式  .*?(匹配http://和\.jpg!mid之间所有字符串)imgre=re.compile(pattern)imglist=re.findall(imgre,html)   #re.findall(pattern,string)  在string中寻找所有匹配成功的字符串，以列表形式返回值return imglistclass getImg(threading.Thread):def __init__(self,queue):        #进程间通过队列通信，所以每个进程需要用到同一个队列初始化threading.Thread.__init__(self) self.queue=queue#self.setDaemon(True)         #守护线程self.start()                 #启动线程#使用队列实现进程间通信def run(self):global countwhile (True):imgurl = self.queue.get()# print self.getName()#urllib.urlretrieve(url,filname) 将url的内容提取出来，并存入filename中 urllib.urlretrieve(imgurl, '/home/dragonriver/图片/girls/%s.jpg' % count)# print "%s.jpg done"%countcount += 1if self.queue.empty():breakself.queue.task_done()  #当使用者线程调用 task_done() 以表示检索了该项目、并完成了所有的工作时，那么未完成的任务的总数就会减少。def main():global counturl="http://girl-atlas.com/a/10130205170100000231"  #要爬的网页地址 html=getHtml(url)imglist=getUrl(html)threads=[]count=0queue=Queue.Queue()#将所有任务加入队列for i in range(len(imglist)):queue.put(imglist[i])#多线程爬去图片for i in range(4):thread=getImg(queue)threads.append(thread)#合并进程，当子进程结束时，主进程才可以执行#for thread in threads:#  thread.join()#另一种保持主进程阻塞的方法，次方法和前面的self.queue.task_tone()相照应#两个要同时使用#queue.join()if __name__=='__main__':main()print "Down"