一支python教学_第一只python爬虫

经过了好久终于又开始续学Python，每天工作压力很大就算有时间感觉也没有多余精力学习。

这两天在网易云课堂买了一份Excel Power Pivot的教程给竞价岗位学，顺便看见了Python爬虫的教程就看了看，感觉之前的书是没有白看的。

学程序实操视频带来的教学比较适合我，除了能学到实际的教程外，可以看到高手们的编程思路，输写过程，很舒服。

这个是针对新浪的页面写的，原来BeautifulSoup能识别css和html标签，和之前玩的火车头及织梦采集相比，高明太多，怪不得是神器。

import requests

from bs4 import BeautifulSoup

def getNewsDetail(newsurl):

result = {}

res = requests.get(newsurl)

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text, 'html.parser')

result['title'] = soup.select('#artibodyTitle')[0].text

result['newssource'] = soup.select('.time-source span a')[0].text

timesource = soup.select('.time-source')[0].contents[0].strip()

result['dt'] = datetime.strptime(timesource, '%Y年%m月%d日%H:%M')

result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])

result['editor'] = soup.select('.article-editor')[0].text.strip('责任编辑：')

result['comments'] = getCommentCounts(newsurl)

return result

一支python教学_第一只python爬虫相关推荐

嵩天python笔记_第一篇python笔记
缩进: 它属于语法的一部分体现代码之间的层次和所属关系,也是唯一的表示形式一般用四个空格注释: 单行注释:以 # 开头,其后内容为注释多行注释:以=='''== (三个单引号),开头和结尾中 ...
趣味python教学_《趣味python》学习笔记,好玩,的,记录,贴
<好玩的python>学习记录贴1 安装好python pip install ipython pip install pillow 安装三方库加载图片 from PIL import ...
第一只python小爬虫
前言: 互联网就像一张无形的蜘蛛网,网站就相当于在这张网的交叉结点.而网络爬虫就是这张网上的蜘蛛,它是一种程序,能够利用url链接在各网站之间自动穿梭并抓取所需数据. 学了python的正则表达式之后 ...
geany搭建python环境_第一章：搭建Python的开发环境
第一步: 我们在Python的官网上下载Python的安装包,此安装包内含有Python解释器.Python运行的基础库,以及交互式运行工具--Python Shell 第二步: 安装时弹出下面对话框 ...
python中文编程教学_中谷python中文视频教程（全38集）
python在线教学视频教程共40节,中谷教育录制,主要介绍了python编程方面的知识. python在线教学-01-走进python python在线教学-02-开始编程吧 python在线教学- ...
python 教学_「Python基础」一次就装好Python手把手装到好
一.前言: 安装Python有两个主要的方法,视情况而定我两个都会用: (1)安装 Anaconda Anaconda像一个懒人包,安装它等于把Python安装好连同把Python大部分的套件也下载好 ...
2018年python薪资_最好的Python：2017和2018年至今我最喜欢的文章集
2018年python薪资我打算发布此收藏集 (My intention with publishing this collection) Last year I only used Medium ...
python 切片_全面解读Python高级特性切片
大家好,欢迎来到Crossin的编程教室! 众所周知,我们可以通过索引值(或称下标)来查找序列类型(如字符串.列表.元组-)中的单个元素,那么,如果要获取一个索引区间的元素该怎么办呢? 切片(slic ...
学习python课程_想学习Python吗？这是我们的免费4小时互动课程
学习python课程 Python is a popular, versatile and easy-to-learn language. It's the go-to language for AI ...

一支python教学_第一只python爬虫

一支python教学_第一只python爬虫相关推荐

最新文章

热门文章