Python网络爬虫 - 一个简单的爬虫例子

下面我们创建一个真正的爬虫例子

爬取我的博客园个人主页首页的推荐文章列表和地址

scrape_home_articles.py

from urllib.request import urlopen
from bs4 import BeautifulSoup
import rehtml = urlopen("http://www.cnblogs.com/davidgu")
bsObj = BeautifulSoup(html, "html.parser")
for link in bsObj.find("div", {"id":"main_container"}).findAll("a", href=re.compile("^http://www.cnblogs.com/davidgu/p")):if 'href' in link.attrs and not('class' in link.attrs):print(link.string)print(link.attrs['href'])print("--------------------------------------------------------------")

运行结果：
[置顶]解决adb server端口被占用的问题
http://www.cnblogs.com/davidgu/p/4515236.html
--------------------------------------------------------------
[置顶]解决Eclipse下不自动拷贝apk到模拟器问题( The connection to adb is down, and a sever
http://www.cnblogs.com/davidgu/p/4390661.html
--------------------------------------------------------------
常用的正则表达式一览
http://www.cnblogs.com/davidgu/p/4831357.html
--------------------------------------------------------------
C++ 11 - STL - 函数对象(Function Object) (上)
http://www.cnblogs.com/davidgu/p/4829097.html
--------------------------------------------------------------

...

转载于:https://www.cnblogs.com/davidgu/p/4831754.html

Python网络爬虫 - 一个简单的爬虫例子相关推荐

python网页爬虫例子_Python网络爬虫 - 一个简单的爬虫例子
下面我们创建一个真正的爬虫例子爬取我的博客园个人主页首页的推荐文章列表和地址 scrape_home_articles.py from urllib.request importurlopenfro ...
python爬虫入门教程(二)：开始一个简单的爬虫
2019/10/28更新使用Python3,而不再是Python2 转载请注明出处:https://blog.csdn.net/aaronjny/article/details/77945329 爬 ...
$python爬虫系列（1）——一个简单的爬虫实例
本文主要实现一个简单的爬虫,目的是从一个百度贴吧页面下载图片. 1. 概述本文主要实现一个简单的爬虫,目的是从一个百度贴吧页面下载图片.下载图片的步骤如下: 获取网页html文本内容: 分析html ...
网络爬虫笔记：一个简单的爬虫框架
学了两节课的 Python 爬虫,也算是入门了吧.敲了两天的案例代码之后,我突然发现,这些代码虽然功能不同,写法各异,但是终归是有章可循的,整体框架是一致的.所以我自己整理了一个简单的爬虫框架,适合初 ...
四句话让你学会一个简单的爬虫【python】
首先我们先导入request库,这样才能调用requests里面的函数 os库是为了存放我们爬过来的文件 import requests import os 如何四句话实现一个简单的爬虫 pic = ...
python scrapy 框架的简单使用爬虫苏宁易购图书信息
python scrapy 框架的简单使用&&爬虫苏宁易购图书信息前言第一步: 分析网页 1.1 找到要爬取的数据位置分类信息图书信息价格信息 1.2 分析如何获取数据正则 ...
使用Multiplayer Networking做一个简单的多人游戏例子-1/3（Unity3D开发之二十五）
猴子原创,欢迎转载.转载请注明: 转载自Cocos2Der-CSDN,谢谢! 原文地址: http://blog.csdn.net/cocos2der/article/details/51006463 ...
mvc登录实例 mysql_spring mvc + mybatis + mysql 调整的一个简单的登录例子
spring mvc + mybatis + mysql 整合的一个简单的登录例子今天用spring跟mybatis整合写了一个简单的登录例子,第一次整合,给自己做个笔记,可能注释写的有点少,做的不 ...
boost::log模块实现一个简单日志的例子
boost::log模块实现一个简单日志的例子实现功能 C++实现代码实现功能 boost::log模块实现一个简单日志的例子 C++实现代码 #include <boost/log/tri ...

Python网络爬虫 - 一个简单的爬虫例子

Python网络爬虫 - 一个简单的爬虫例子相关推荐

最新文章

热门文章