Python爬虫之百度/360搜索关键字自动提交

一、百度

代码：

import requests
from bs4 import BeautifulSoup
import re
import jsondef getKeywordResult(keyword):url = 'http://www.baidu.com/s?wd=' + keywordtry:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = 'utf-8'return r.textexcept:return ""def parserLinks(html):soup = BeautifulSoup(html, "html.parser")links = []for div in soup.find_all('div', {'data-tools': re.compile('title')}):data = div.attrs['data-tools']  # 获得属性值d = json.loads(data)  # 将属性值转换成字典links.append(d['title'])  # 将返回链接的题目返回return linksdef main():html = getKeywordResult('python')ls = parserLinks(html)count = 1for i in ls:print("[{:^3}]{}".format(count, i))count += 1main()

运行结果:

二、360

代码：

import requests
from bs4 import BeautifulSoup
import redef getKeywordResult(keyword):url = 'http://www.so.com/s?q=' + keywordtry:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = 'utf-8'return r.textexcept:return ""def parserLinks(html):soup = BeautifulSoup(html, "html.parser")links = []for h3 in soup.find_all('h3', {'class': re.compile('res-title')}):links.append(h3.text.strip('\n'))return linksdef main():html = getKeywordResult('python')ls = parserLinks(html)count = 1for i in ls:print("[{:^3}]{}".format(count, i))count += 1main()

运行结果：

Python爬虫之百度/360搜索关键字自动提交相关推荐

百度360搜索关键字
#百度360搜索关键词 import requests url = "http://www.baidu.com/s" try:kv = {'wd':'Python'}r = req ...
python爬虫之采集360搜索的联想词
思路和部分代码引用迪艾姆python培训黄哥python爬虫联想词视频,但是太罗嗦了,顺便整理下,而且到现在,360也不傻,已经进化了,采用原来的方式,多少有点bug,这个后面会说.正题如下: 语言: ...
python爬虫实战-豆瓣小组搜索关键字话题
又到了苦逼的换房季,饱受黑中介之苦的我听说豆瓣有租房话题,决定去看一看.打开豆瓣傻眼了,全都是租房话题,一条一条找我想要的目的地.决定写个小程序快速找一找先给一下最终代码: #coding=utf8 ...
python实例练习（15）搜索关键词自动提交
文章目录简介问题概述完整代码实现简介搜索引擎是日常需要使用的工具,也是访问互联网的门户.不管你是否愿意承认,尽管搜索一个新鲜玩意儿已经是各位读者的日常,但有时候忙到会希望能够自动向搜索引擎提 ...
python搜索关键词自动提交_简单爬虫：调用百度接口,实现关键词搜索（python_003)...
需求: 如何用python代码实现百度搜索关键词的功能? 比如输入关键词:"python爬虫",得到一个搜索结果的页面,并保存到本地. 这是经典的python爬虫教学案例之一,也是 ...
Python 爬虫 - 获取百度关键字搜索内容
Python 爬虫获取百度关键字搜索内容 https://www.cnblogs.com/w0000/p/bd_search_page.html Github headers内的参数,仅有UA时,返 ...
python练习--360搜索关键字采集
这个不算网络爬虫,只是简单的抓取360搜索的联想词汇,熟悉python的基本语法使用. 有一点体会很深刻,还是得多看python文档,虽然是全英文的,不可否认,那里有太多的BIF可以直接利用,方便~ ...
python爬虫获取百度贴吧内容
python爬虫获取百度贴吧内容 python爬虫获取百度贴吧内容 *声明:本文仅供学习交流使用,请勿用于商业用途,违者后果自负.* python爬虫获取百度贴吧内容博主是一个比较懒的人,不会按时更 ...
python爬虫案例——百度贴吧数据采集
全栈工程师开发手册 (作者:栾鹏) python教程全解 python爬虫案例--百度贴吧数据采集通过python实现百度贴吧页面的内容采集是相对来说比较容易的,因为百度贴吧不需要登陆,不需要coo ...

Python爬虫之百度/360搜索关键字自动提交

一、百度

二、360

Python爬虫之百度/360搜索关键字自动提交相关推荐

最新文章

热门文章