Python爬虫及其它函数知识读记及简单用法,持续更新中...
Python爬虫相关函数知识读记及简单用法,持续更新中…
requests [riˈkwests] n. 请求,要求( request的名词复数 ); 需要; 所请求的事物; 申请书
函数或单词— 音标 | 中文意思-------用法及简单示例 |
---|---|
Response—[risˈpɔns] | n,反应,响应 |
requests.get(‘URL’) | 返回Response对像,例:res = requests.get(‘URL’)res为Response的对像 |
response(对像).status_code | status[ˈsteitəs] n.状况;地位;资格;身份;情形.,code[kəud]n.代码,代号;电码----检查请求是否成功,返回200为请求成功例:print(res.status_code) |
response(对像).content | content 读作:[ˈkɔntent]n.(pl.)内容;书报内容 ,— 把Response对象的内容以二进制数据的形式返回,例:pic = res.content |
response(对像).text | 把Response对象的内容以字符串的形式返回,例:res = requests.get(‘URL’) novel=res.text |
response(对像).encoding | 定义Response对象的编码,例: res = requests.get(‘URL’) res.encoding=‘utf-8’ 遇上乱码的时候,才考虑用res.encoding |
<! DOCTYPE html> | 是一个全局声明,目的是告诉浏览器,你现在处理的这个文档是HTML文档 |
BeautifulSoup(文件,‘html.parser’) | Soup [suːp]汤,parser[ˈpɑːsə]分析器、解析器----- 解析文件,括号中第0个参数必须是字符串类型,第1个参数是解析器,souty就是已经被解析过的BeautifulSoup对象 |
---|---|
find()与find_all() | 查找一个或全部符合要求的 |
openpyxl.Workbook() | 创建新的workbook(工作簿)对象,wb = openpyxl.Workbook() |
active----[ˈæktiv] | 活跃的------获取这个工作簿的活动表,通常就是第一个工作表,sheet = wb.active |
.title-----[ˈtaitl] | 标题;称号------ 给工作表重命名,sheet.title = ‘new title’ --(sheet为工作表的名称) |
save—[seiv] | 保存----保存文件并重命名,wb.save(‘Marvel.xlsx’)- |
openpyxl.load_workbook | wb = openpyxl.load_workbook(‘Marvel.xlsx’)调用函数,打开工作簿 |
load—[ləud] | 装载、载重量— |
sheetnames— | 片名—获取工作簿所有工作表的名字,sheetname = wb.sheetnames |
sheet—[ʃiːt] | 表— |
value—[ˈvælju:] | A1_cell = sheet[‘A1’] ,A1_value = A1_cell.value,print(A1_value),#把工作表中A1单元格赋值给A1_cell,再利用单元格value属性,就能打印出A1单元格的值 |
cookies | cookie的复数–[ˈkuki] 饼干,Headers–response下面参数,可以绑定登陆账号密码存在本地浏览器中,下次自动登陆 |
session—[ˈseʃən] | 会议,开会---- |
monkey—[ˈmʌŋki] | 猴子 |
patch—[pætʃ] | 补丁 |
monkey.patch_all() | gevent-库monkey模块—能把程序变成协作式运行,即可以帮助程序实现异步,协程 |
spawn—[spɔːn] | 产卵— |
gevent.spawn( ) | gevent.spawn()的参数应为要调用的函数名及该函数的参数 |
join-- [dʒɔin] | 加入----(joinall–联合) |
gevent.joinall( ) | 调用gevent库里的joinall方法,能启动执行所有的任务。 |
task-- [tɑːsk] | 任务 |
queue---- [kjuː] | 排队\队列– |
empty()— [ˈempti] | 空的—queuec对象中判断对列是否为空,例:work.empty() |
full()— [fʊl] | 满的— queuec对象中判断对列是否为满。 |
spiders— [ˈspaɪdəz] | 蜘蛛(spider的复数)—scrapy框架里默认存放爬虫代码的目录。 |
parse— [pɑːz] | 解析—Scrapy里默认处理response的一个方法,如:def parse(self, response): |
spider—[ˈspaɪdə®] | 蜘蛛— scrapy框架下定义爬虫类,并继承自scrapy.Spider类,如:class DoubanSpider(scrapy.Spider): |
items—[ˈaɪtəmz] | n,项目,账目(Item的复数)—scrapy框架下默认定义记录数据的文件:items.py |
scrapy.Item | class DoubanItem(scrapy.Item): 定义一个记录数据的类,继承自scrapy.Item类 |
Field—[fiːld] | 字段— 例:name = scrapy.Field() |
yield—[jiːld] | 产量—yield item即把获得的item传递给引擎 |
settings—[ˈsɛtɪŋz] | 设置 |
start- [stɑːt] | 开始– |
project-[ˈprɔdʒekt] | n,计划,设计,项目– |
callback— [ˈkɔːlbæk] | 回调— |
– | – |
– | – |
Python爬虫及其它函数知识读记及简单用法,持续更新中...相关推荐
- Effective C++边读边记主要内容梳理持续更新中...
Effective C++ 前言 第一章:让自己习惯C++ 条款01:视C++为一个语言联邦 总结: 条款02:尽量以const,enum,inline替换#define 总结: 条款03:尽可能使用 ...
- ble系统知识介绍(较为完整,持续更新中)
BLE学习 现在网上关于BLE系统的学习资料实在是太少了,因此本文希望能够聚集一些资料能够系统的入门BLE,本文翻译自Bluetooth_LE_Primer_Paper,还有一些网上的一些资料,如果侵 ...
- 手把手教你学Kotlin (2):task1-6 函数,Java to Kotlin Convert,(持续更新中)
文章目录 task1:函数 task2:Java to Kotlin Convert task3:Named arguments task1:函数 先看任务介绍: 这个任务的意思是修改代码,让函数返回 ...
- 记录基础数学知识(重温高中以及大学数学知识,列目录)(持续更新中)
希腊字母表及其读音 大写 小写 英文读音 国际音标 中文注音 意义 Α α alpha /ˈælfə/ 阿耳法 角度,系数,角加速度 Β β beta /'beitə/ 贝塔 磁通系数,角度,系数 Γ ...
- 【奋斗人生】看你能坚持读几本书?!——持续更新中
读书的好处不用说,坚持下来真不易!尝试过各种方式,收听喜马讲书,微信读书,购买读书课程.本篇不定时更新,记录读书摘要和心得感受,欢迎交流! 20181010 第九本 <腾讯传> 作者:吴晓 ...
- 英语(看到好的句子就记下来了,持续更新中)
Few things are impossible in themselves; and It's often for want of will, rather than of means, tha ...
- Python爬虫入门(8):Beautiful Soup的用法
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
- 【Python全栈开发从入门到实战】持续更新中......
本专栏为Python全栈开发系列文章,技术包括Python基础.函数.文件.面向对象.网络编程.并发编程.MySQL数据库.HTML.JavaScript.CSS.JQuery.bootstrap.W ...
- C语言图形函数代码~持续更新中
下面总结的是一些C语言图形函数代码~持续更新中 画三类圆 #include#include#include#include#includeint main(void) { initgraph(640, ...
最新文章
- 扇贝python课程打卡_Python爬虫:获取扇贝打卡信息
- Appium官网Introduction
- UVA 11255 Necklace
- openLDAP的编译安装以及配置
- mysql 隔离级别和锁相关
- win10+ubuntu双系统下,ubuntu不能访问windows的磁盘分区
- 物料Bapi默认采购价值代码
- Zabbix 3.2.6通过SNMP和iDRAC监控DELL服务器
- 竞赛准备篇---(一)抽签问题
- SpringMVC自动配置
- docker 启动成功但无法访问_docker nginx 运行后无法访问的问题解决
- 解决方案:IndentationError: unindent does not match any outer indentation level
- 2038年问题 linux内核5.6,Linux Kernel 5.6 开发者已准备好应对 2038 年问题
- 数据库访问的性能问题与瓶颈问题
- c++矩阵转置_线性代数(Gelbert)对称矩阵
- 如何利用导数推导向心加速度公式? + 开普勒 第三定律的推导过程
- 电子爱好者都应该至少有一台示波器
- 最新微信8.0.1抢红包神器-亲测2021年2月11日可用-安卓IOS
- 使用jquery实现快递单号查询
- RabbitMQ(四)远程连接RabbitMQ
热门文章
- 51信用卡两道编程题
- 存储器2-两种接口:LVTTL和STTL接口
- 用R语言分析詹姆斯的客场得分
- STM32单片机低功耗剖析
- CAN调谐器与SILICON调谐器(又称为铁壳调谐器和硅片调谐器)
- GUI 图形用户界面编程(七)-女友生气,你是选择亚索还是女友?
- ThinkPHP(5):数据库操作与模型
- storyboard搭建项目_Swift - 使用storyboard创建表格视图(TableViewController)
- android recocery模式,小米进入Recovery模式的两种方式
- android 学习笔记③