Python爬虫相关函数知识读记及简单用法,持续更新中…

requests [riˈkwests] n. 请求,要求( request的名词复数 ); 需要; 所请求的事物; 申请书

函数或单词— 音标 中文意思-------用法及简单示例
Response—[risˈpɔns] n,反应,响应
requests.get(‘URL’) 返回Response对像,例:res = requests.get(‘URL’)res为Response的对像
response(对像).status_code status[ˈsteitəs] n.状况;地位;资格;身份;情形.,code[kəud]n.代码,代号;电码----检查请求是否成功,返回200为请求成功例:print(res.status_code)
response(对像).content content 读作:[ˈkɔntent]n.(pl.)内容;书报内容 ,— 把Response对象的内容以二进制数据的形式返回,例:pic = res.content
response(对像).text 把Response对象的内容以字符串的形式返回,例:res = requests.get(‘URL’) novel=res.text
response(对像).encoding 定义Response对象的编码,例: res = requests.get(‘URL’) res.encoding=‘utf-8’ 遇上乱码的时候,才考虑用res.encoding
<! DOCTYPE html> 是一个全局声明,目的是告诉浏览器,你现在处理的这个文档是HTML文档

BeautifulSoup(文件,‘html.parser’) Soup [suːp]汤,parser[ˈpɑːsə]分析器、解析器----- 解析文件,括号中第0个参数必须是字符串类型,第1个参数是解析器,souty就是已经被解析过的BeautifulSoup对象
find()与find_all() 查找一个或全部符合要求的
openpyxl.Workbook() 创建新的workbook(工作簿)对象,wb = openpyxl.Workbook()
active----[ˈæktiv] 活跃的------获取这个工作簿的活动表,通常就是第一个工作表,sheet = wb.active
.title-----[ˈtaitl] 标题;称号------ 给工作表重命名,sheet.title = ‘new title’ --(sheet为工作表的名称)
save—[seiv] 保存----保存文件并重命名,wb.save(‘Marvel.xlsx’)-
openpyxl.load_workbook wb = openpyxl.load_workbook(‘Marvel.xlsx’)调用函数,打开工作簿
load—[ləud] 装载、载重量—
sheetnames— 片名—获取工作簿所有工作表的名字,sheetname = wb.sheetnames
sheet—[ʃiːt] 表—
value—[ˈvælju:] A1_cell = sheet[‘A1’] ,A1_value = A1_cell.value,print(A1_value),#把工作表中A1单元格赋值给A1_cell,再利用单元格value属性,就能打印出A1单元格的值
cookies cookie的复数–[ˈkuki] 饼干,Headers–response下面参数,可以绑定登陆账号密码存在本地浏览器中,下次自动登陆
session—[ˈseʃən] 会议,开会----
monkey—[ˈmʌŋki] 猴子
patch—[pætʃ] 补丁
monkey.patch_all() gevent-库monkey模块—能把程序变成协作式运行,即可以帮助程序实现异步,协程
spawn—[spɔːn] 产卵—
gevent.spawn( ) gevent.spawn()的参数应为要调用的函数名及该函数的参数
join-- [dʒɔin] 加入----(joinall–联合)
gevent.joinall( ) 调用gevent库里的joinall方法,能启动执行所有的任务。
task-- [tɑːsk] 任务
queue---- [kjuː] 排队\队列–
empty()— [ˈempti] 空的—queuec对象中判断对列是否为空,例:work.empty()
full()— [fʊl] 满的— queuec对象中判断对列是否为满。
spiders— [ˈspaɪdəz] 蜘蛛(spider的复数)—scrapy框架里默认存放爬虫代码的目录。
parse— [pɑːz] 解析—Scrapy里默认处理response的一个方法,如:def parse(self, response):
spider—[ˈspaɪdə®] 蜘蛛— scrapy框架下定义爬虫类,并继承自scrapy.Spider类,如:class DoubanSpider(scrapy.Spider):
items—[ˈaɪtəmz] n,项目,账目(Item的复数)—scrapy框架下默认定义记录数据的文件:items.py
scrapy.Item class DoubanItem(scrapy.Item): 定义一个记录数据的类,继承自scrapy.Item类
Field—[fiːld] 字段— 例:name = scrapy.Field()
yield—[jiːld] 产量—yield item即把获得的item传递给引擎
settings—[ˈsɛtɪŋz] 设置
start- [stɑːt] 开始–
project-[ˈprɔdʒekt] n,计划,设计,项目–
callback— [ˈkɔːlbæk] 回调—

Python爬虫及其它函数知识读记及简单用法,持续更新中...相关推荐

  1. Effective C++边读边记主要内容梳理持续更新中...

    Effective C++ 前言 第一章:让自己习惯C++ 条款01:视C++为一个语言联邦 总结: 条款02:尽量以const,enum,inline替换#define 总结: 条款03:尽可能使用 ...

  2. ble系统知识介绍(较为完整,持续更新中)

    BLE学习 现在网上关于BLE系统的学习资料实在是太少了,因此本文希望能够聚集一些资料能够系统的入门BLE,本文翻译自Bluetooth_LE_Primer_Paper,还有一些网上的一些资料,如果侵 ...

  3. 手把手教你学Kotlin (2):task1-6 函数,Java to Kotlin Convert,(持续更新中)

    文章目录 task1:函数 task2:Java to Kotlin Convert task3:Named arguments task1:函数 先看任务介绍: 这个任务的意思是修改代码,让函数返回 ...

  4. 记录基础数学知识(重温高中以及大学数学知识,列目录)(持续更新中)

    希腊字母表及其读音 大写 小写 英文读音 国际音标 中文注音 意义 Α α alpha /ˈælfə/ 阿耳法 角度,系数,角加速度 Β β beta /'beitə/ 贝塔 磁通系数,角度,系数 Γ ...

  5. 【奋斗人生】看你能坚持读几本书?!——持续更新中

    读书的好处不用说,坚持下来真不易!尝试过各种方式,收听喜马讲书,微信读书,购买读书课程.本篇不定时更新,记录读书摘要和心得感受,欢迎交流! 20181010 第九本 <腾讯传> 作者:吴晓 ...

  6. 英语(看到好的句子就记下来了,持续更新中)

    Few things are impossible in themselves; and It's often for  want of will, rather than of means, tha ...

  7. Python爬虫入门(8):Beautiful Soup的用法

    Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...

  8. 【Python全栈开发从入门到实战】持续更新中......

    本专栏为Python全栈开发系列文章,技术包括Python基础.函数.文件.面向对象.网络编程.并发编程.MySQL数据库.HTML.JavaScript.CSS.JQuery.bootstrap.W ...

  9. C语言图形函数代码~持续更新中

    下面总结的是一些C语言图形函数代码~持续更新中 画三类圆 #include#include#include#include#includeint main(void) { initgraph(640, ...

最新文章

  1. 扇贝python课程打卡_Python爬虫:获取扇贝打卡信息
  2. Appium官网Introduction
  3. UVA 11255 Necklace
  4. openLDAP的编译安装以及配置
  5. mysql 隔离级别和锁相关
  6. win10+ubuntu双系统下,ubuntu不能访问windows的磁盘分区
  7. 物料Bapi默认采购价值代码
  8. Zabbix 3.2.6通过SNMP和iDRAC监控DELL服务器
  9. 竞赛准备篇---(一)抽签问题
  10. SpringMVC自动配置
  11. docker 启动成功但无法访问_docker nginx 运行后无法访问的问题解决
  12. 解决方案:IndentationError: unindent does not match any outer indentation level
  13. 2038年问题 linux内核5.6,Linux Kernel 5.6 开发者已准备好应对 2038 年问题
  14. 数据库访问的性能问题与瓶颈问题
  15. c++矩阵转置_线性代数(Gelbert)对称矩阵
  16. 如何利用导数推导向心加速度公式? + 开普勒 第三定律的推导过程
  17. 电子爱好者都应该至少有一台示波器
  18. 最新微信8.0.1抢红包神器-亲测2021年2月11日可用-安卓IOS
  19. 使用jquery实现快递单号查询
  20. RabbitMQ(四)远程连接RabbitMQ

热门文章

  1. 51信用卡两道编程题
  2. 存储器2-两种接口:LVTTL和STTL接口
  3. 用R语言分析詹姆斯的客场得分
  4. STM32单片机低功耗剖析
  5. CAN调谐器与SILICON调谐器(又称为铁壳调谐器和硅片调谐器)
  6. GUI 图形用户界面编程(七)-女友生气,你是选择亚索还是女友?
  7. ThinkPHP(5):数据库操作与模型
  8. storyboard搭建项目_Swift - 使用storyboard创建表格视图(TableViewController)
  9. android recocery模式,小米进入Recovery模式的两种方式
  10. android 学习笔记③