Python 简单的爬虫爬取网页框架(爬取网页框架+实例)

Python 这是一个基础的爬虫网页框架

Python爬取网页内容，其实大部分爬取都是在其源代码中寻找代码规律。
举个例子吧:
如：小说名的章节节数，第1~100章，我们找的话就是找第[ ]章中的[ ]内容，然后根据章节网页链接寻找规律进行跳转，把有规律的数字部分进行研究。

当然，我这次举的例子是爬取的豆瓣的top 500，网页电影名，评分，评论。

爬取效果部分

下面是代码部分:

不懂的地方，可以自己进行测试来加深自己的映像，感觉到了就抓住这个点去死磕它，通过解决问题，这样你就可以学会自己去掌握它。

本次爬虫涉及几个知识点.

正则表达式
文件的写入
异常抛出处理

# 爬取豆瓣top 500
# 电影名，评分，评论
# 难易:⭐⭐
# 一.导入
# import re 导入re包
# import requests 导入正则表达式
#
# def aa():
#     rest = requests.get('https://movie.douban.com/top250') 二.访问链接#     s = rest.content.decode() 三.获取该网页源代码# 四.编写正则表达式,取到所需内容#     ss = re.findall(r'<span class="title">(.*)</span>',s) 爬取片名
#     ss1 =re.findall(r'<span class="rating_num" property="v:average">(.*)</span>',s)   爬取评分
#     ss2=re.findall(r'<span>(\d*)人评价</span>',s)    爬取评论# 五.去除无关信息
#     b = []
#     for i in range(len(ss)):
#         aa = re.findall(r'&nbsp.*', ss[i])
#         if aa == []:
#             b.append(ss[i]) 得到所需信息 b=ss#六.写入文件
#     for i in range(len(b)):
#         print(b[i], ss1[i], ss2[i])
#         with open(r"C:\Users\\陈嘉玉\Desktop\ex.txt",'a+') as ff:
#             ff.writelines(b[i]+' '+ss1[i]+' '+ss2[i]+'\n')#七.抛出异常
# try:
#     aa()
#     print("已爬取")
# # except Exception as c:##
# #     print("爬取失败，错误提示:"+c)##
# else:
#     print("爬取失败，错误提示:"+c)

Python 简单的爬虫爬取网页框架(爬取网页框架+实例)相关推荐

python简单网站爬虫-爬取北京7天最高、最低气温
python简单网站爬虫-爬取北京7天最高.最低气温前置操作: 1.待爬取网站: 北京天气的网址: http://www.weather.com.cn/weather1d/101010100.sht ...
212：Python学习之爬虫篇——用Json方法爬取某音乐网站任意歌手的歌单
引言人生苦短,我用Python.这两天在学爬虫的时候跟着做某音乐网站的歌单爬取,稍作修改,实现了对任意歌手的歌单进行爬取,这里只取前三页.这个项目比较简单,也没有对结果进行储存,稍作修改,可以实现更 ...
Python学习笔记——爬虫原理与Requests数据抓取
目录为什么要做网络爬虫? 通用爬虫和聚焦爬虫 HTTP和HTTPS 客户端HTTP请求请求方法 HTTP请求主要分为Get和Post两种方法常用的请求报头 1. Host (主机和端口号) 2. ...
python爬虫淘宝实例-python 淘宝爬虫示例源码（抓取天猫数据）
[实例简介]爬取淘宝天猫网站数据 [实例截图] [核心代码] # -*- coding: utf-8 -*- #!/usr/bin/env python import datetime import ...
Python之Scrapy爬虫（热门网站数据爬取）
第一关:猫眼电影排行TOP100信息爬取代码: item.py文件 import scrapy class MaoyanItem(scrapy.Item):#********** Begin *** ...
简单的爬虫从营养健康网爬取食物热量和营养成分等信息
最近所做课题需要获得大量的食物信息,但很难找到相关匹配的数据库.由于本人的专业不是偏算法的,所以对于爬虫这方面的知识是一片空白.在结合拜读了一些博主有关于爬虫的文章,以及自己实际的测试爬虫过程遇到的一 ...
python简单的爬虫教程中召唤小海龟_Python练习，网络小爬虫（初级）
标签: 最近还在看Python版的rcnn代码,附带练习Python编程写一个小的网络爬虫程序. 抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的.比如说你在浏览器的地址栏中输入 ...
python简单的爬虫教程中召唤小海龟_Python爬虫入门小练习之简单的50行（一）
HI 最近得空,小看了一下python爬虫方面的资料,于是就打算把笔记和代码练习整理成文章分享给大家. 一.先来认识一下啥玩意叫爬虫吧爬虫的目的:数据 1.企业内部数据由企业内部服务器产生的数据 ...
python简单网络爬虫_【Python】简单的网络爬虫
完整代码 # encoding:UTF-8 # from bs4 import BeautifulSoup import urlparse import urllib2 import re impor ...
Python简单图片爬虫
经常在逛知乎,有时候希望把一些问题的图片集中保存起来.于是就有了这个程序.这是一个非常简单的图片爬虫程序,只能爬取已经刷出来的部分的图片.由于对这一部分内容不太熟悉,所以只是简单说几句然后记录代码,不 ...

Python 简单的爬虫爬取网页框架(爬取网页框架+实例)

Python 这是一个基础的爬虫网页框架

爬取效果部分

下面是代码部分:

Python 简单的爬虫爬取网页框架(爬取网页框架+实例)相关推荐

最新文章

热门文章