《python 爬虫教程 知乎》 怎样用Python设计一个爬虫模拟登陆知乎

python 爬虫教程 知乎2020-09-23 01:45:13人已围观

怎样用Python设计一个爬虫模拟登陆知乎？

两种方法：

1.带cookielib和urllib2

import urllib2

import urllib

import cookielib

def login():

email = raw_input("请输户:")

pwd = raw_input("请输入密码:") data={"email":email,"password":pwd}

post_data=urllib.urlencode(data) cj=cookielib.CookieJar()

opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))headers

={"User-agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1"}website =

raw_input('请输入网址:')req=urllib2.Request(website,post_data,headers)content=opener.open(req)print

content.read()

2.使用selenium

import selenium import webdriver

browser=webdriver.Firefox()

browser.get("Url")

browser.find_element_by_id(" ").sendkey("username")

browser.find_element_by_id(" ").sendkey("pass")

browser.find_element_by_id(" ").click()

其实我这个最简单了，用的python3,requests, 只需要一次，就会保存cookies,下次登录使用cookies登录。

第一步、打开首页获取_xref值，验证图片 第二步、输入账号密码 第三步、看是否需要验证、要则下载验证码图片，手动输入

第四步、判断是否登录成功、登录成功后获取页面值。

怎样用Python设计一个爬虫模拟登陆知乎

写爬虫的话，可以看看神箭手云爬虫开发文档，里面的教程很详细，各种基本爬虫基础和进阶开发知识都有介绍，而且上面还有不少爬虫源码分享。

如何从零基础开始写一个关于搜索知乎答案的python爬虫

首先来说爬

关于爬虫一个不太严谨的理是，以给爬虫程序设定初始的目标页面，然后程序返回目标页面的HTML文档后，从中提取页面中的超链接，然后继续爬到下一个页面中去。从这些页面的HTML文档中可以通过对标签的处理解析出你想要的具体内容。

所以我们可以这么来简单定义一个爬虫的工作过程：

抓取目标页面

解析页面文档获得目的信息

继续爬取下一个页面

存储结果

为了实现这些工作，你需要学习一些常用库的简单用法，包括但不限于：

urllib、urllib2、urllib.request、cookilib (Python的内置库，用来处理HTTP请求)

requests (第三方库，推荐使用requests来处理请求，比urllib方便一些)

re、beautifulsoup (正则表达式匹配内容、bs4解析html文档)

其次呢，因为你要跟网页的源码打交道，尤其是解析HTML文档，所以你最好对HTML和浏览器通信有点简单的了解，会使用Firebug查看源码定位信息在源码中的位置。

落实到题主给出的示例

http://www.zhihu.com/topic/19554091/questions?page=1

这是知乎数学话题全部问题的URL构成。可以看到我们只要修改最后的数字就可以访问到不同的页数。

数学话题下一共有1254页。所以你可以通过简单的对page做循环遍历获得所有问题。

(这种做法是直接构造了地址，或者你可以在爬取每一页以后从页面中得到下一页的链接，这样更像是一个爬虫)

如何使用python爬取知乎数据并做简单分析

一、使用的技术栈：

爬虫：python27 requests json bs4 time

分析工具： ELK套件

工具：pycharm

数据成果的可视化分析

1.性别分布

0 代表的是男性 ^ . ^

1 代表的是女性

-1 性别不确定

可见知乎的用户男性颇多。

二、粉丝最多的top30

粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。

三、写文章最多的top30

四、爬虫架构

爬虫架构图如下：

说明：

选择一个活跃的用户(比如李开复)的url作为入口url.并将已爬取的url存在set中。

抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。

解析该用户的个人信息，并存取到本地磁盘。

logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。

五、编码

爬取一个url:

解析内容：

存本地文件：

代码说明：

* 需要修改获取requests请求头的authorization。

* 需要修改你的文件存储路径。

源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization

打开chorme，打开https : // www. zhihu .com/，

登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方

可增加线程池，提高爬虫效率

存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。

存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。

对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。

八、关于ELK套件

关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：

从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。

java工程师一般用python做什么 知乎

#做网站后台

Python站后台这边有大量的成熟的框如django，flask，bottle，tornado，我曾经flask和django搭建了的两个网站已经上线

http://zhaduixueshe.com

http://aljun.me

#写网络爬虫

Python写爬虫非常简单，库很健全

以下是我写的一些爬虫教程和心得

http://aljun.me/post/17

http://aljun.me/post/18

#科学计算

Python有三大神器：numpy,scipy,matplotlib,其中numpy很多底层使用C语言实现的，所以速度很快，我曾经用它参加各种数学建模大赛，完全可以替代r语言和MATLAB

以下是我写的科学计算简单教程

http://aljun.me/post/16

#数据挖掘，机器学习

Python

的机器学习包很多，或者自己可以试着实现机器学习算法，因为Python的类似伪代码的语法，很容易快速实现自己的想法，另外主流的机器学习算法都有成熟

的包，加上谷歌开源的TensorFlow，常用的机器学习包：scikit-learn,pattern,jieba，pybrain等等

#数据科学

最近spark，Hadoop都开了Python的接口，所以使用Python做大数据的mapreduce也非常简单，加上py对数据库支持都很好，或者类似sqlalchemy的orm也非常强大好用

以及剩下的码算法，玩玩树莓派什么的我就不多说了，

py的强大其实在于他能迅速的实现想法

版权声明：本站所有文章皆为原创，欢迎转载或转发，请保留网站地址和作者信息。