python爬取百度搜索答案题目和摘要

url就自行构造吧

# coding:utf-8
import urllib2
import re
from bs4 import BeautifulSoup

url = 'http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=johnkey&oq=john&rsv_pq=88bbfd770000beed&rsv_t=be24xj7KYq9tbjeRa7Fu10sW1dFF0GNZI1%2FW31Bq8OsZWZIwSpuRZxdcfQo&rqlang=cn&rsv_enter=1&inputT=787&rsv_sug3=12&rsv_sug1=7&rsv_sug7=100&rsv_sug2=0&rsv_sug4=787'

request = urllib2.Request(url)
request.add_header('User-Agent','Mozilla/5.0')
response = urllib2.urlopen(request)

html = response.read()

soup = BeautifulSoup(html,'html.parser',from_encoding='utf-8')
links = soup.find_all('div',id=re.compile(r'\d+'))
for link in links:
print link.name,link['id'],link.get_text()

python爬取百度搜索答案题目和摘要相关推荐

python爬取百度搜索_使用Python + requests爬取百度搜索页面
想学一下怎样用python爬取百度搜索页面,因为是第一次接触爬虫,遇到一些问题,把解决过程与大家分享一下 1.使用requests爬取网页首先爬取百度主页www.baidu.com import r ...
Python 爬取百度搜索风云榜新闻并自动推送到邮箱
本文将使用Python爬取百度新闻搜索指数排名前50的新闻,并通过服务器运行,每天定时发送到指定邮箱. 先上代码: # -*- coding:utf-8 -*- import requests,os, ...
Python爬取百度搜索的标题和真实URL的代码和详细解析
网页爬取主要的是对网页内容进行分析,这是进行数据爬取的先决条件,因此博客主要对爬取思路进行下解析,自学的小伙伴们可以一起来学习,有什么不足也可以指出,都是在自学Ing,回归正题今天我们要来爬取百度搜索 ...
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
抓取智联招聘和百度搜索的数据并进行分析,使用visual studio编写代码mongodb和SQLServer存储数据.使用scrapy框架结合 selenium爬取百度搜索数据,并进行简要的数据的 ...
python 爬取百度搜索结果url
简单的爬取百度搜索结果url 先用了requests库来访问百度,再通过xpath来提取搜索后的结果 import requests from lxml import etreefor i in ra ...
Python爬取百度搜索风云榜实时热点.
Python爬虫实战源码合集(持续更新) 百度搜索风云榜:http://top.baidu.com/ 源码: import os import json from datetime import da ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
【爬虫】爬取百度搜索结果页面
今日看了一下爬虫,写了一个爬取百度搜索页面的小程序.可以在代码中改动搜索词,代码如下: #coding=utf-8 #python version:2.7 #author:sharpdeepimpor ...
【Python】python爬取百度云网盘资源-源码
今天测试用了一下python爬取百度云网盘资源. 标签: <无> 代码片段 [代码][Python]代码 import urllib import urllib.request impor ...

python爬取百度搜索答案题目和摘要

python爬取百度搜索答案题目和摘要相关推荐

最新文章

热门文章