python爬取学校题库_利用Python网络爬虫爬取学校官网十条标题

#__author : "J"#date : 2018-03-06

#导入需要用到的库文件

importurllib.requestimportreimportpymysql#创建一个类用于获取学校官网的十条标题

classGetNewsTitle:#构造函数初始化

def __init__(self):

self.request= urllib.request.Request("http://www.sict.edu.cn/") #需要爬取的网址

#利用正则表达式筛选数据

self.my_re =re.compile(

r'学校要闻.*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'"a2" >(.*?).*?' +r'院部简讯')#创建一个方法

defget_html(self):try:

response=urllib.request.urlopen(self.request)#获取目标网页源码

my_html = response.read().decode('GB2312').replace("\r\n", "")returnmy_htmlexcepturllib.request.HTTPError as e:print(e.code)print(e.reason)return

#创建一个函数，利用正则获取指定标题

defget_titles(self, my_html):

news_titles=re.findall(self.my_re, my_html)returnnews_titles#创建一个方法，把获取到的标题存入mysql数据库

definto_mysql(self, titles):for num in range(10):

connection= pymysql.connect(host='127.0.0.1', port=3306, user='root', password='******', db='school',

charset='utf8')

cursor=connection.cursor()

sql= "INSERT INTO `newsTitles` (`title`) VALUES ('" + titles[0][num] + "')"cursor.execute(sql)

connection.commit()

cursor.close()

connection.close()#执行函数的入口

defstart(self):

self.into_mysql(self.get_titles(self.get_html()))print("存储成功！")#实例化类

s =GetNewsTitle()#调用方法开始执行

s.start()

python爬取学校题库_利用Python网络爬虫爬取学校官网十条标题相关推荐

python爬取学校题库_利用Python轻松爬取网页题库答案！教孩子不怕尴尬了！
大家有没有遇到这种令人尴尬的情况:"好不容易在网上找到需要的资源数据,可是不容易下载下来!"如果是通过一页一页的粘贴复制来下载,真的让人难以忍受,特别是像我这种急性子,真得会让人窒 ...
python爬取学校题库_如何使用 Python 爬虫爬取牛客网 Java 题库？
[原文链接]http://www.changxuan.top/?p=146 由于"打怪"失败,最近一直在牛客网上刷题复习备战春招.其中有个 Java专题复习题库,我刷着刷着就想把它 ...
Python 数据采集-爬取学校官网新闻标题与链接（基础）
Python 爬虫爬取学校官网新闻标题与链接一.前言二.扩展库简要介绍 01 urllib 库 (1)urllib.request.urlopen() 02 BeautifulSoup 库 (1) ...
Python 数据采集-爬取学校官网新闻标题与链接（进阶）
Python 爬虫爬取学校官网新闻标题与链接(进阶) 前言一.拼接路径二.存储三.读取翻页数据四.完整代码展示五.小结前言 ⭐ 本文基于学校的课程内容进行总结,所爬取的数据均为学习使用,请 ...
python爬取学校题库_Python爬虫实战-获取某网站题库
爬取*网站题库 import requests import re import time import html headers = { 'User-Agent':'Mozilla/5.0 (Win ...
python爬取电脑本地数据_利用python爬取丁香医生上新型肺炎数据，并下载到本地，附带经纬度信息...
原标题:利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息新型肺炎肆虐全国,可以预知,最近一两年地理学中会有一部分论文研究新型肺炎的空间分布及与其他指标的关联分析.获取其患病人 ...
python爬取大众点评数据_利用Node.js制作爬取大众点评的爬虫
前言 Node.js天生支持并发,但是对于习惯了顺序编程的人,一开始会对Node.js不适应,比如,变量作用域是函数块式的(与C.Java不一样):for循环体({})内引用i的值实际上是循环结束之后 ...
python爬取外文文献翻译_利用Python爬取翻译网站的翻译功能
现在我想分享一个利用Python技术,爬取一个翻译网站的翻译功能的小代码. 首先隆重介绍我们今天将要爬取的网站:http://fy.iciba.com/ 咱们用Python中的urllib模块的功能进 ...
python爬取百度翻译视频_利用python爬取百度翻译内容
利用python可以实现对百度翻译内容的爬取,具体过程如下: 前期工作本程序的测试环境为python3.5,Chrome浏览器.进入百度翻译的页面,点开F12进入开发者调试工具,点击network, ...
Python爬取网站用户手机号_利用python爬取慕课网站上面课程
1.抓取网站情况介绍抓取网站:http://www.imooc.com/course/list 抓取内容:要抓取的内容是全部的课程名称,课程简介,课程URL ,课程图片URL,课程人数(由于动态渲染 ...

python爬取学校题库_利用Python网络爬虫爬取学校官网十条标题

python爬取学校题库_利用Python网络爬虫爬取学校官网十条标题相关推荐

最新文章

热门文章