python爬虫实验总结_python3爬虫总结(共4篇).docx

python3爬虫总结(共4篇)

学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写googlemusic的抓取脚本的，结果有了强大的gmbox，也就不用写了。　　-　　这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simplecd这个半爬虫半网站的项目，累积不少爬虫抓站的经验，在此总结一下，那么以后做东西也就不用重复劳动了。　　-　　1.最基本的抓站　　importurllib2　　content=('http://XXXX').read()　　-　　2.使用代理服务器　　这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。　　importurllib2　　proxy_support=　　({'http':'http://:XXXX'})　　opener=_opener(proxy_support,)_opener(opener)　　content=('http://XXXX').read()　　-　　3.需要登录的情况　　登录的情况比较麻烦我把问题拆分一下：　　-　　cookie的处理　　importurllib2,cookielib　　cookie_support=(())opener=_opener(cookie_support,)_opener(opener)　　content=('http://XXXX').read()　　是的没错，如果想同时用代理和cookie，那就加入proxy_support然后operner改为　　opener=_opener(proxy_support,cookie_support,)　　-　　表单的处理　　登录必要填表，表单怎么填？首先利用工具截取所要填表的内容　　比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包　　这个我就举个例子好了，以verycd为例，先找到自己发的POST请求，以及POST表单项：　　-　　可以看到verycd的话需要填　　username,password,continueURI,fk,login_submit这几项，其中fk是随机生成的，需要从网页获取，也就是说得先访问一次网页，用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写，login_submit是固定的，这从源码可以看出。还有username，password那就很显然了。　　-　　好的，有了要填写的数据，我们就要生成postdata　　importurllib　　postdata=({　　'username':'XXXXX',　　'password':'XXXXX',　　'continueURI':'/',　　'fk':fk,　　'login_submit':'登录'　　})　　-　　然后生成http请求，再发送请求：　　req=(　　url='http:///signin/*//',data=postdata　　)　　result=(req).read()　　-　　伪装成浏览器访问　　某些网站反感爬虫的到访，于是对爬虫一律拒绝请求　　这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现#…　　headers={　　'User-Agent':'Mozilla/(Windows;U;WindowsNT;en-US;rv:)Gecko/XX1201Firefox/'　　}　　req=(　　url='http:///signin/*//',data=postdata,　　headers=headers　　)　　#...　　-　　反”反盗链”　　某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像一样，把headers的referer改成该网站即可，以黑幕著称地cnbeta为例：　　#...　　headers={　　'Referer':'/articles'　　}　　#...　　headers是一个dict数据结构，你可以放入任何想要的header，来做一些伪装。例如，有些自作聪明的网站总喜欢窥人隐私，别人通过代理访问，他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP，没话说，那就直接把X-Forwarde-For改了吧，可以改成随便什么好玩的东东来欺负欺负他，呵呵。-　　终极绝招

python爬虫实验总结_python3爬虫总结(共4篇).docx相关推荐

python 反爬机制_python3爬虫--反爬虫应对机制
python3爬虫--反爬虫应对机制内容来源于: 前言: 反爬虫更多是一种攻防战,网络爬虫一般有网页爬虫和接口爬虫的方式:针对网站的反爬虫处理来采取对应的应对机制,一般需要考虑以下方面: ①访问终端 ...
西电计算机组装实验报告,西电模电实验报告(共7篇).docx
西电模电实验报告(共7篇) 姓名:学号: 生命科学技术学院实验报告小组成员: 实验名称: 实验报告内容基本要求: 一.实验目的:二.实验材料和仪器设备:三.实验基本原理及步骤:四.实验数据记录和结果分 ...
大学计算机实验报告虚拟机,安装虚拟机的实验报告(共10篇).docx
文档介绍: 安装虚拟机的实验报告(共10篇) 服务器配置与管理实验报告实验虚拟机的安装和使用专业网络工程班级XX级网5姓名吴越学号XX指导教师刘仁山 XX年11月1日一.实验目的本次实验的目的为了解虚 ...
c语言用指针分离字符串数字与字符,c语言实验报告,指针的应用分别输出字符串中的数字和其他字符(共10篇).docx...
c语言实验报告,指针的应用分别输出字符串中的数字和其他字符(共10篇) C语言程序设计实验报告 1实验目的 ⑴掌握指针的概念,会定义和使用指针变量: ⑵能正确使用变量的指针和指向变量的指针变量: ⑶能 ...
计算机组装与操作系统安装实验报告,操作系统安装实验报告(共10篇).docx
操作系统的安装实验报告(共10篇) 实验报告课程名称:网络操作系统实验项目名称:WindowsServerXX的操作系统的安装: RedHatLinux9的操作系统的安装学生姓名:胡廷专业:计算机 ...
plc实验报告流程图_中南大学plc实验报告(共6篇).docx
中南大学plc实验报告(共6篇) 中南大学 <电气控制及PLC应用技术> 设计报告设计题目邮件分拣机控制系统设计指导老师张涛吴同茂设计者张黎专业班级测控12级01班设计日期XX年7月目 ...
查看linux的计划任务日志,查看计划任务日志(共5篇).docx
查看计划任务日志(共5篇) 沈阳工程学院学生实验报告实验室名称:信息学院网络安全实验室实验课程名称:网络安全技术实验项目名称:实验六日志查看与清除实验班级:姓名:学号: 实验日期:XX年4月 ...
小学计算机第二课堂内容,小学生第二课堂活动计划(共10篇).docx
小学生第二课堂活动计划(共10篇) 小学第二课堂活动计划一.指导思想以<国家教育中长期发展纲要>为指南,围绕"和谐教育"办学模式的构建这一核心目标,进一步丰富和完善 ...
计算机组装与维护第二次作业,组装电脑心得(共9篇).docx
组装电脑心得(共9篇) 阳光学院计算机工程系计算机组装课程实验心得年级: 学号: 姓名: 指导教师: XX年5月8日虽然天气很闷,我们还是怀着开心.激动的心情来到了实验室,在第一次理论可上原本积极 ...

python爬虫实验总结_python3爬虫总结(共4篇).docx

python爬虫实验总结_python3爬虫总结(共4篇).docx相关推荐

最新文章

热门文章