import requestsimport html5libimport refrom bs4 import BeautifulSoups = requests.Session()　　　　　　#这里要提一点，就是session的话就是对会话的一种维持，因为request缺乏持续性，仅限于2个相邻的页面url_login = 'http://accounts.douban.com/login'url_contacts = 'https://www.douban.com/people/****/contacts'formdata = {'redir':'https://www.douban.com',　　　　　　#重定向'form_email':'t.t.panda@hotmail.com','form_password':'xxxxxxxxxxxxxx'，'login':u'登陆'            }‘‘‘关于字符串前面的功能的补充1.r/R
表示非转义的原始字符串，比如在字符串中如果出现\n是换行，但是如果在字符串的前面添加r则表示\和n两个字符，一般常见于正则表达式中。2.b
Python3里默认的str是(Python2里的)unicode, bytes是(Python2)的str, b前缀代表的就是bytes。 Python2里, b前缀没什么具体意义， 只是为了兼容Python3的这种写法。3.u/U
表示unicode字符串 ，不是仅仅是针对中文, 可以针对任何的字符串，代表是对字符串进行unicode编码。 一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 否则一旦编码转换就会出现乱码。 建议所有编码方式采用UTF-8。’‘’headers = ' 这里自己打开开发者工具查看浏览器，复制粘贴就行了'r = requestys.post(url_login,data = formdata,headers= headers)content = r.textsoup = BeautifulSoup(content,'html5lib')captcha = soup.findall('img',id = 'captcha_image')        #查看是否有验证码if captcha:captcha_url  = captcha['src']re_captcha_id = r'<input type-"hidden"name="captcha-id" value = "(.*?)"/'captcha_id = re.findall(re_captcha_id,content)print(captcha_id)print(captcha_url)print(captcha_url)capycha_text = input('please input the captcha:')formdata['captacha-solution'] =captcha_textformdata['captacha-id'] =captcha_idr = requests.post(url_login,data = formdata,headers = headers)print(r.text)r = s.get(url_conteacts)with open('contacts.txt','w+',encoding = 'utf-8'') as f:
f.write(r.text)

import requests
headers = {........}
cookies = {...........}
url = 'xxxxxxxxxxxx'r= requests.get(url,cookies=cookies,headers = headers)
print(r.text)with open('sssss.txt','wb+') as f :f.write(r.content)

这其实就是最基本的一个爬虫套路模板了