很多网页浏览都需要首先登陆，比如说新浪微博。当然，这里有一个小技巧，用手机3G版登陆。电脑版会有各种加密，动态加载什么的。我们就耍一下小流氓，柿子拣软的捏么。

浏览器保持登陆是利用我们登陆时收到的cookies，发送给网站，这样网站就知道用户已经登陆过来。我们的思路是这样：首先提交账号密码登陆，接受cookies，然后才开始浏览微博。

但是很多网站不仅需要提交账号密码，为了防止爬虫，他们会在登录页面源代码里生成一些随机数据，浏览器会自动处理，post出去。所以我们也要找到它们。

这是我们的步骤：第一步要找出我们需要提交的数据，第二步在登录页面的网页代码里Ctrl +F寻找那些数据，第三步开始写代码，利用requests.get(登录页面)，抓取代码，re正则表达式提取出来，组成列表。第四步登陆，获取cookies。第五步开始抓取微博。

第一步：找出浏览器发送的数据

1，我们打开登陆网页： https://login.weibo.cn/login/

2，右键单击，查看元素，点击控制台，网络。

3，右键单击，查看源代码。(为了找到发送数据后回来看这些数据在源代码的位置)

4，填写账号密码，点击登陆。我们可以看见，浏览器发送了一个POST，我们点开看看

5，我们分析一下，可以看到，POST的请求网址不是原来的，即我们要提交数据的url。这是一个我们需要找的。

还有表单提交的内容：

vk，tryCount，submit，remember，password_8439，mobile，backURL，backTitle这几项。我们需要找的是vk，password_8439就行了。

第二步在登录页面的网页代码里Ctrl +F寻找那些数据

我们分别搜索rand，vk，password关键词，找到它们的位置，发现数值确实和发送的数值一致。

第三步requests.get(登录页面)，抓取代码，re正则表达式提取

第四步获取cookies

cookie=requests.session().post(new_url,data=data).cookies

第五步抓取微博

代码如下

#-*-coding:utf8-*-

import requests

from lxml import etree

import re

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

#防止编码错误

url_login = 'https://login.weibo.cn/login/'

html = requests.get(url_login).content

selector = etree.HTML(html)

password = selector.xpath('//input[@type="password"]/@name')[0]

vk = selector.xpath('//input[@name="vk"]/@value')[0]

action = selector.xpath('//form[@method="post"]/@action')[0]

print action

print password

print vk

print"

*************

"

newurl = url_login + action

data={

'mobile' : '登陆账号',

password : '登陆密码',

'remember' : 'on',

'backURL' : 'http://weibo.cn/',

'backTitle' : u'手机新浪网',

'tryCount' : '',

'vk' : vk,

'submit' : u'登录'

}

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36'}

cookie=requests.session().post(newurl,data=data，headers=headers).cookies

print cookie

page = []

for i in range(1,21):

newpage = 'http://weibo.cn/greatanny?page=' + str(i)

page.append(newpage)

for url in page:

html = requests.get(url,cookies = cookie,headers=headers).content

selector = etree.HTML(html)

content = selector.xpath('//span[@class="ctt"]')

for each in content:

text = each.xpath('string(.)')

print text