一个获取w3school上面SQL教程的Python爬虫

from bs4 import BeautifulSoup
import urllib.requestprint ('Hello world')header='http://www.w3school.com.cn'
follower='/sql/index.asp'
url=header+follower
end='http://www.w3school.com.cn/sql/sql_summary.asp'
title='教程'#while url!=end :
print(url)
response = urllib.request.urlopen(url)
html=response.read()
soup=BeautifulSoup(html,'lxml')
fileHandle=open((title+'.html'),'w')
fileHandle.write(soup.prettify())
fileHandle.close()
#print(soup.prettify())
for link in soup.find_all('a'):follower = link.get('href')if follower.startswith('/sql'):print(follower)title=link.get('title')url=header+followerresponse = urllib.request.urlopen(url)html=response.read()fileHandle=open((title+'.html'),'wb')fileHandle.write(html)fileHandle.close()#提取下一页的后缀，更新url，更新title#fileHandle=open('sql_update.html','w')
#fileHandle.write(soup.prettify())
#fileHandle.close()
#html=html.decode('UTF-8')
#print(html)#html=html.decode('UTF-8')#print(soup.prettify())
'''print(soup.title)
for x in soup.find_all('a'):if x.get('title')!= None:print (x.get('title'))
'''#if x.get('class')==
#print(soup.get_text())
#print(response)
#print(html)

自己写来抓所有的SQL相关内容的东西，用了beautifulSoup，感觉不错。确实可以开始学Python了，好玩=。=

应该再把html文件前面一段没什么用的东西截掉。然后是想办法把经过JS处理的html网页再扒下来，现在扒下来的都是原始的html网页只是刚好够用。

from bs4 import BeautifulSoup
import urllib.requestprint ('Hello world')header='http://www.w3school.com.cn'
follower='/sql/index.asp'
url=header+follower
end='http://www.w3school.com.cn/sql/sql_summary.asp'
title='教程'print(url)
response = urllib.request.urlopen(url)
html=response.read()
soup=BeautifulSoup(html,'lxml')
#print(soup.prettify())
'''for link in soup.find_all('div'):if link.get('id') =='maincontent':print (link.prettify())str=link.prettify('gbk')fileHandle=open((title+'.html'),'wb')fileHandle.write(str)fileHandle.close()
'''
for link in soup.find_all('a'):follower = link.get('href')if follower.startswith('/sql'):print(follower)title=link.get('title')url=header+followerresponse = urllib.request.urlopen(url)html=response.read()tempSoup=BeautifulSoup(html,'lxml')for tempLink in tempSoup.find_all('div'):if tempLink.get('id')== 'maincontent':str=tempLink.prettify('gbk')#坑在这里fileHandle=open((title+'.html'),'wb')fileHandle.write(str)fileHandle.close()

改了一下内容，获取了所有网址主要的那部分。其中比较坑的是编码方式。BeautifulSoup会自动把html解析成Unicode编码,直接输出到文件里再用浏览器打开就是乱码

用prettify改成原来的编码方式就好了。

一个获取w3school上面SQL教程的Python爬虫相关推荐

Python学习教程：Python爬虫抓取技术的门道
Python学习教程:Python爬虫抓取技术的门道 web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展.然而,正所谓成也萧何败也萧何,开放的特性.搜索引擎以及简单 ...
python爬虫教程下载-Python爬虫文件下载图文教程
而今天我们要说的内容是:如果在网页中存在文件资源,如:图片,电影,文档等.怎样通过Python爬虫把这些资源下载下来. 1.怎样在网上找资源: 就是百度图片为例,当你如下图在百度图片里搜索一个主题时, ...
python爬虫教程视频-python爬虫（入门教程、视频教程）
python的版本经过了python2.x和python3.x等版本,无论哪种版本,关于python爬虫相关的知识是融会贯通的,脚本之家关于爬虫这个方便整理过很多有价值的教程,小编通过本文章给大家做一 ...
python爬虫教程书籍-python爬虫有哪些书(python爬虫教程知乎)
python爬虫有哪些书 python有哪?下面给大家介绍6本有关爬书: 更多Python书籍推荐,可以参考这篇文<想学python看哪些书> 1.Python网络爬虫实战本书从Pyth ...
python爬取图片教程-推荐|Python 爬虫系列教程一爬取批量百度图片
Python 爬虫系列教程一爬取批量百度图片https://blog.csdn.net/qq_40774175/article/details/81273198# -*- coding: utf-8 ...
python爬虫教程入门-Python爬虫系列 - 入门教学
本文来源于公众号[程序猿声],作者周云猛启大家好,我是新来的小编小周.今天给大家带来的是python爬虫入门,文章以简为要,引导初学者快速上手爬虫.话不多说,我们开始今天的内容.在初步学习爬虫之前 ...
python爬取换页_一个可识别翻页的简易Python爬虫程序
同学拿出一个需求:从某课程教学网站上爬取所有课程的主页面,以及课程简介栏目内容. 于是在之前做的那个练手级的Python爬虫程序中进行修改,最终实现了该功能.与之前那个爬虫不同,这里每一个大类的课程下 ...
实时获取股票数据，免费！——Python爬虫Sina Stock实战
数量技术宅团队在CSDN学院推出了量化投资系列课程欢迎有兴趣系统学习量化投资的同学,点击下方链接报名: 量化投资速成营(入门课程) Python股票量化投资 Python期货量化投资 Pyth ...
python爬虫教程下载-Python爬虫视频教程全集下载
原标题:Python爬虫视频教程全集下载 Python作为一门高级编程语言,在编程中应用得非常广泛.随着人工智能的发展,python人才的需求更大.当然,这也吸引了很多同学选择自学Python爬虫.P ...
python爬虫开发环境_python爬虫开发教程下载|Python爬虫开发与项目实战(范传辉著)pdf 完整版_ - 极光下载站...
Python爬虫开发与项目实战pdf扫描版下载.Python爬虫开发是一个Pthyon编程语言与HTML基础知识引领读者入门知识,重点讲述了云计算的相关内容及其在爬虫中的应用,进而介绍如何设计自己的爬 ...

一个获取w3school上面SQL教程的Python爬虫

一个获取w3school上面SQL教程的Python爬虫相关推荐

最新文章

热门文章