网络爬虫，python和数据分析学习--part1

# -- coding: utf-8 --
“””
Created on Tue Oct 10 08:38:20 2017
本段程序为科大王澎老师《网络爬虫，python和数据分析》中P8，针对spyder3做了微调
主要任务：简单的网页抓取
@author:
“””
import re
import urllib.request#urllib2用在python2.7中，在python3中用urllib.request替代之
import pymysql #需要在anaconda3下安装pymysql
from bs4 import BeautifulSoup#注意这里是from bs4
#设置url
url=’http://bbs.ustc.edu.cn/cgi/bbstdoc?board=PieBridge&start=3558’
#打开url
fp=urllib.request.urlopen(url)
#读取结果
s=fp.read()
#用BeautifulSoup分析读取结果s
soup=BeautifulSoup(s)
#找到所有tag的内容
polist=soup.findAll(‘span’)
#显示第一个tag中间的内容
print (polist[0].contents[0])

网络爬虫，python和数据分析学习--part1相关推荐

python爬取地图地址_网络爬虫-python爬取高德地图地点
python爬取你想要的数据,近期由于业务需求,用python爬取了高德地图一些地点的数据,爬出来数据大致情况如下: image 下面是基本流程: 2.安装网络爬取第三方库,主要是下面三个(pip i ...
java爬取网页数据_Python网络爬虫实战(二)数据解析
Python网络爬虫实战 (二)数据解析本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站 ...
网络爬虫——票房网数据抓取及存储
网络爬虫--票房网数据抓取及存储实验内容目标网站:电影票房网目标网址:http://58921.com/daily/wangpiao 任务要求目标数据:(1)名次(2)电影名称 (3)日期(4 ...
基于Thinkphp5+phpQuery 网络爬虫抓取数据接口,统一输出接口数据api
TP5_Splider 一个基于Thinkphp5+phpQuery 网络爬虫抓取数据接口统一输出接口数据api.适合正在学习Vue,AngularJs框架学习开发demo,需要接口并保证接口不跨 ...
网络爬虫，python和数据分析学习--part2
Created on Tue Oct 10 10:47:31 2017 本段程序为科大王澎老师<网络爬虫,python和数据分析>中P15,针对spyder3做了微调主要任务:实现了自动 ...
python爬虫程序详解_Python网络爬虫之三种数据解析方式
指定url 基于requests模块发起请求获取响应对象中的数据进行持久化存储其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析.因为大多数情况下的需求,我们都会指 ...
实战|手把手教你利用Python网络爬虫获取新房数据
一.项目背景大家好,我是J哥. 新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. 今天J哥以惠民之家 ...
python爬虫解析数据包_Python网络爬虫之三种数据解析方式
引入回顾requests实现数据爬取的流程指定url 基于requests模块发起请求获取响应对象中的数据进行持久化存储其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...
python网络爬虫：股票数据定向爬取
百度股票(https://gupiao.baidu.com/stock/)属于静态网页数据,适合定向数据爬取:新浪股票(http://finance.sina.com.cn/stock/)数据存取在j ...

网络爬虫，python和数据分析学习--part1

网络爬虫，python和数据分析学习--part1相关推荐

最新文章

热门文章