在极客学院中看了一个关于爬虫的视频，然后自己实现一遍，并做此记录。 视频链接：http://www.jikexueyuan.com/course/995_4.html?ss=1

该文中的登录方式已经失效。。，思路可以借鉴。

使用requests模块，post需要的表单数据来登录新浪微博手机端(手机端简单点。。)，并访问登录后的页面。该方法是定向页面的爬取，如果要批量爬取，使用框架会好一些。

确认登录所需的表单数据

chrome浏览器中访问http://weibo.cn/pub/,点击登录，会进入手机端登录页面。登录微博，并通过开发者工具抓包来分析提交的form信息。如下图：

图1：登录页面(有验证码)

微博登录页面

图2：打开开发者工具，输入账号密码登录，看需要提交的form信息

开发者工具

根据图2，发现需要提交的form信息有下边几个：

mobile:login_name #用户名

password_8891:login_password #密码(password_8891 这个每次都变)

code:fcjf #验证码

remember:on #是否记住登录状态，相当于图1中选中的’记住登录状态‘选项

backURL:http%3A%2F%2Fweibo.cn%2F #登录成功后返回的页面

backTitle:微博

tryCount: #尝试的登录次数

vk:8891_ea7c_2358890024 # vk(每次登录可能会不一样)

capId:2_5cb16cf8473df571 # capId

submit:登录

form表单中不固定，需要我们自己取的表单项有password_8891、code、vk、capId。这些值实际上是从图1中带过来的，使用浏览器打开图1的源码，会发现这些选项。如下图图3：

图3：图1登录页面的部分源码

登录页面源码

基本上我们可以从上图获取到form表单中所需的数据。使用lxml模块来分离出这些信息来。

处理验证码

在表单信息中，有一个code的表单项，是图1中的验证码，自动识别验证码现在还不会，只能用人肉识别，处理方式是在图1的源码中取得验证码的url地址，并保存到本地，然后手动输入。

登录login页面

使用requests模块登录页面，如果我们想访问一些登录后才能访问的页面，有两种方式。

方法一：一开始就访问目标页面，会跳转到登录页面，当我们成功登录后，会根据表单中的backURL自动跳转到目标页面，从而获取我们需要数据。

方法二：使用requests模块的session保持功能，直接请求登录页面，成功后，因为有cookies，所以我们可以直接访问我们需要的页面。这里使用这种方式。

程序代码

# 刚学不久，比较low

#!/usr/bin/env python

#coding=utf-8

import requests

from lxml import etree

import urllib

# 使用requests的会话方法

s = requests.session()

# 定义登录页面和最终要访问的页面(需要登录才能访问)

url_login = "http://login.weibo.cn/login/"

url_final = "http://weibo.cn/msg/"

# 定义自己微博的账户和密码

login_name = "..."

login_password = "..."

# 如果使用第一种方式，可以这样请求

#res = requests.get(url_final).content

# 请求登录页面，获取上面图3所示的源码

res = s.get(url_login).content

# 使用xpath的方式分离表单信息

html = etree.HTML(res)

password = html.xpath('//input[@type="password"]/@name')[0]

backURL = html.xpath('//input[@name="backURL"]/@value')[0]

vk = html.xpath('//input[@name="vk"]/@value')[0]

capID = html.xpath('//input[@name="capId"]/@value')[0]

codeurl = html.xpath('//img/@src')[0]

action = html.xpath('//form/@action')[0]

# 拼接 Request URL，用来提交表单，实现登录

post_url = url_login + action

# 下载验证码到当前目录，并手动输入验证码

def download_code(codeurl):

urllib.urlretrieve(codeurl,"code.jpg")

code = raw_input("please input the code: ")

return code

code = download_code(codeurl)

# 定义表单信息

post_data = {

"mobile" : login_name,

password : login_password,

"code" : code,

"remember" : "on",

"backURL" : backURL,

"backTitle" : u"微博",

"tryCount" : "",

"vk" : vk,

"capId" : capID,

"submit" : u"登录"

}

# 第一种方法，可以使用，返回的源码就是目标地址的源码

#do_post = requests.post(post_url,data=post_data).content

# 提交表单，完成登录

do_post = s.post(post_url,data=post_data).content

# 判断返回的页面是否是验证码错误的页面

if "验证码错误" in do_post:

print "验证码输入错误"

else:

# 请求最终页面

print s.get(url_final).content

# 后续可以写各种匹配规则，来匹配出需要的信息。