#课后小结#“爬虫”开始爬不动了,看不懂啊#一爬虫原理#1.什么是互联网?#指的是由一堆网络设备,把一台台的计算机互联网到一起称之为互联网。#2.互联网建立的目的?#互联网建立的目的是为了数据的传递以及数据的共享,#3..上网的全过程:#一普通用户:#打开浏览器一>往目标站点发送请求一>获取响应数据一-> 渲染到浏览器中#-爬虫程序:#模拟浏览器一->往目标站点发送请求一>获取响应数据一>提取有价值的数据一> 持久化到数据中#4. .上网的全过程:#一普通用户:#打开浏览器一>往目标站点发送请求一>获取响应数据一>渲染到浏览器中#-爬虫程序:#模拟浏览器一>往目标站点发送请求一>获取响应数据一>提取有价值的数据一>持久化到数据中#5.浏览器发送的是什么请求?#http协议的请求。#-客户端:#浏览器是一个软件->客户端的IP和端口#一服务端#https : / /www. jd. com/#www.jd. com (京东域名) -> DNS解析->京东服务端的IP和端口#客户端的ip和端口- - - >服务端的 IP和端口发送请求可以建 立链接获取相应数据 。#6.爬虫的全过程#发送请求#获取响应数据 (只要往服务器发送请求,请求通过后会返回响应数据)-解析并提取数据(需要解析库: re、BeautifulSoup4、Xpath...)-保存到本地#(文件处理、数据库、MongoDB存储库)#import requests#response = requests.get(url='http://www.baidu.com/')#response.encoding = 'utf-8'#print(response.text)#with open('baidu.html', 'w', encoding='utf-8')as f:#f.write(response.text)#import requests#response = requests.get('https://video.pearvideo.com/head/20190625/cont-1570107-14056273.mp4')#print(response.content)#with open('视频.mp4', 'wb')as f:#f.write(response.content)

importrequestsimportre

response= requests.get('https://www.pearvideo.com/')print(response.text)

res_list=re.findall('

detail_url='https://www.pearvideo.com/video'+v_idprint(detail_url)

python实训目的意义_Python实训三相关推荐

  1. python实训目的意义_Python实训第二天--基础知识2

    '''''' ''' 列表: 定义: 在[]内,可以存放多个任意类型的值, 并以逗号隔开. 一般用于存放学生的爱好,课堂的周期等等... ''' # 定义一个学生列表,可存放多个学生 # list([ ...

  2. python实训目的意义_20193120 实验四 Python综合实践

    设计初衷: 程序设计来是面向实际使用过程的,不是为了程序而设计程序. 期末考试临近,最初记录平时作业成绩的时候,没有把每次分数统计的Excel表格整合在一起,最后老师需要课代表把所有的平时作业成绩汇总 ...

  3. python实训主要成果_Python实训周总结

    - 精品 -- Python 实训周总结 Python 的学习到现在已经有半个月了,通过讲解与企业化标准的培训,使我 加深了对 python 的认识.因为之前有学 Java 的基础,所以这次实训入门时 ...

  4. 通过python实现linux切换用户_Python实现在Linux系统下更改当前进程运行用户

    在上一篇文章中,我们讲了如何在linux上用python写一个守护进程.主要原理是利用linux的fork函数来创建一个进程,然后退出父进程运行,生成的子进程就会成为一个守护进程.细心观察的可能会发现 ...

  5. python可以操作word吗_python实现在windows下操作word的方法

    import win32com from win32com.client import Dispatch, constants w = win32com.client.Dispatch('Word.A ...

  6. python编程处理excel数据_python实现对excel进行数据剔除操作实例

    前言 学习Python的过程中,我们会遇到Excel的各种问题.下面这篇文章主要给大家介绍了关于python对excel进行数据剔除操作的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详 ...

  7. python人脸识别解锁电脑_Python 实现在 App 端的人脸识别!手机解锁人脸识别!

    最近闲来无事,研究研究在安卓上跑 Python,想起以前玩过的 kivy 技术,kivy 是一个跨平台的 UI 框架,当然对我们最有用的是,kivy 可以把 Python 代码打包成安卓应用. 但是由 ...

  8. [转载] python staticmethod有什么意义_Python 中的 classmethod 和 staticmethod 有什么具体用途

    参考链接: Python staticmethod() >>> type(a1) example 2: class a(object): @classmethod def cm(cl ...

  9. python枚举类的意义_python 枚举类型什么意思

    匿名用户 1级 2016-08-10 回答 枚举类型可以看作是一种标签或是一系列常量的集合,通常用于表示某些特定的有限集合,例如星期.月份.状态等.Python 的原生类型(Built-in type ...

  10. python抖音批量点赞_python抖音三百条,悠悠一笑乐逍遥

    抖音三百条,悠悠一笑乐逍遥,夜深忽醒窗外事,不知今夕是何年. 要从上个月说起,那天晚上准备睡觉了,然后朋友突然发来一个抖音热门视频. 一向一本正经苟于工作的我,竟然沉醉于小姐姐的甜蜜的笑容,加之想到抖 ...

最新文章

  1. 如何给前三条最新信息旁边加上一个红旗
  2. Linux 小知识翻译 - 「文件系统的种类」
  3. JavaScript高级应用(二)
  4. 大连海事学院计算机研究生多少分,大连海事大学计算机或软件工程研究生多少分能录取...
  5. 设计模式---代理模式
  6. 【对讲机的那点事】450MHz模拟无线列调的工作原理(连载五)
  7. jquery清除所有cookie
  8. 【Python】如何在Python项目中使用相对路径正确的导入模块/包
  9. 计算思维在计算机科学中的应用,计算思维在离散数学中的应用.pdf
  10. 关于高校房产管理系统中主要管理模块都有哪些
  11. 「超级右键」Mac上最强的右键菜单工具,让你效率飞起!
  12. 如何用 ISO 镜像制作 U 盘安装盘(通用方法、无需 WinPE)
  13. 使用富盛Sbo-Addon程序开发框架轻松开发模态单据选择查询功能实例
  14. 挑战华为社招:java工程师都要掌握哪些技术
  15. 数据仓库分层 (ODS、DWD、DWS)
  16. Iphone被刷机后用电信卡提示未激活,移动联通卡可以正常使用
  17. C语言练习题——函数
  18. 使用计算机能佩戴老花镜,近视镜?远视镜?还是老花镜?——揭秘渐变多焦点眼镜的奥秘...
  19. 【历史上的今天】8 月 25 日:Linux 诞生;我国第一个计算机科学技术研究所成立
  20. 美国军方又出黑科技,实现用意念控制无人机

热门文章

  1. 关于java模拟邮箱发送邮件的设计与实现
  2. AE 制作一个简单的动画
  3. Linux中Qt环境编译链接依赖opencv库时报错
  4. 创业基础(第六章:创业资源及其管理) 来自高校:全国大学生创新创业实践联盟 分类:创新创业 学习规则:按序学习
  5. Can‘t locate XXX/XXX.pm in @INC (you may need to install the XXX::XXX module)
  6. 第1关:MapReduce综合应用案例 — 电信数据清洗
  7. 王之泰201771010131《面向对象程序设计(java)》第十三周学习总结
  8. Ubuntu 更改环境变量 PATH
  9. 纯css三层侧边栏效果
  10. unity android录制视频教程,Unity移动端视频录制,Android和IOS都支持