前言

近期有许多项目需要这个功能，由于Python实现起来比较简单就这么做了，代码贴下来觉得好点个赞吧~

代码

# coding: utf-8

import os

import time

import requests

import urllib.parse

from bs4 import BeautifulSoup

from urllib.parse import urlparse

from fake_useragent import UserAgent

from multiprocessing.pool import ThreadPool

LOCATIONS = {}

GLOBAL_THREAD = 500

GLOBAL_TIMEOUT = 50

def get_links(keyword, generator, pages):

links = []

for page in range(int(pages.split("-")[0]), int(pages.split("-")[1]) + 1):

for genera in range(int(generator.split("-")[0]), int(generator.split("-")[1]) + 1):

links.append(

"http://www.baidu.com.cn/s?wd=" + urllib.parse.quote(keyword + str(genera)) + "&pn=" + str(page * 10))

return links

def get_page(url):

headers = {"user-agent": UserAgent().chrome}

req = requests.get(url, headers=headers)

req.encoding = "utf-8"

soup = BeautifulSoup(req.text, "lxml")

for link in soup.select("div.result > h3.t > a"):

req = requests.get(link.get("href"), headers=headers, allow_redirects=False)

if "=" in req.headers["location"]:

root = urlparse(req.headers["location"]).netloc

LOCATIONS[root] = req.headers["location"]

def baidu_search():

try:

os.system("cls")

print("-" * 56 + "\n")

print("| BaiduSearch Engine By 美图博客[https://www.meitubk.com/] |\n")

print("-" * 56 + "\n")

keyword = input("Keyword: ")

generator = input("Generator(1-10): ")

pages = input("Pages(0-10): ")

start = time.time()

pool = ThreadPool(processes=GLOBAL_THREAD)

pool.map(get_page, get_links(keyword, generator, pages))

pool.close()

pool.join()

end = time.time()

path = r"D:\Desktop\result.txt"

save_result(path)

print("\nSava in %s" % path)

print("Result count: %d" % len(LOCATIONS.values()))

print("Running time: %ds" % (end - start))

except:

print("\nInput Error!")

exit(0)

def save_result(path):

with open(path, "w") as file:

for url in list(LOCATIONS.values()):

file.write(url + "\n")

baidu_search()

使用

【Python学习笔记六】获取百度搜索结果以及百度返回“百度安全验证”问题解决

1.获取百度搜索结果页面主要是修改百度搜索url中的参数实现,例如查询的关键字为wd: 举例:https://www.baidu.com/s?wd=python",这样就可以查询到‘pyth ...

python采集百度搜索结果带有特定URL的链接

#coding utf-8 import requests from bs4 import BeautifulSoup as bs import re from Queue import Queue ...

Python获取百度浏览记录

Python模拟百度登录实例详解 http://www.jb51.net/article/78406.htm Python实战计划学习作业2-1 http://blog.csdn.net/python ...

js 获取百度搜索关键词的代码

有可能有时候我们会用到在百度搜什么关键词进来我们的网站的,所有我们又想拿到用户搜索的关键词. 这是我研究了半天所得出的办法.话不多说直接贴代码

jsonp模拟获取百度搜索相关词汇

随便写了个jsonp模拟百度搜索相关词汇的小demo,帮助新手理解jsonp的用法. < ...

Python实现百度搜索并保存到本地示例，Python实现百度搜索

实现百度搜索并保存到本地 User_Agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko ...

解析百度搜索结果链接的url，获取真正的url

通常,在百度输入关键词搜索出现的列表页,点击目标链接,然而跳转的时候却是百度地址,经过百度解析,才真的跳到目标页面. 在SEO中,经常需要看下自己的网站排名,又不想手动每天手动去点,可用以下方法去得到 ...

Python 版百度站长平台链接主动推送脚本

如果自己的网站需要被百度收录,可以在搜索结果中找到,就需要将网站的链接提交给百度.依靠百度的爬虫可能无法检索到网站所有的内容,因此可以主动将链接提交给百度. 在百度的站长平台上介绍了链接提交方法,目前 ...

python 模拟百度搜索

import urllib.request def Url(url): flag = input("请输入要搜索的关键字:") headers_ = { "User-Ag ...

随机推荐

【前端积累】JavascriptUtil 字符串部分

//计算字符串长度 String.prototype.strLen = function() { var len = 0; for (var i = 0; i < this.length; i+ ...

【jq】c&num;零基础学习之路(5)自己编写简单的Mylist&lt&semi;T&gt&semi;

public class MyList where T : IComparable { private T[] array; private int count; public My ...

C&plus;&plus;STL算法函数总结

容器自己定义了的算法vector:swaplist:swap,merge,splice,remove,remove_if,reverse,uniquedeque:swapmap,set,multise ...

简单在android adb root方法

在有些android手机上使用adb root希望获取root权限时出现如下提示信息:adbd cannot run as root in production builds.此时提升root权限的方 ...

Faces&period;JavaServer Pages(JSP)

zhengly.cn atitit.Servlet2.5 Servlet 3.0 新特性 jsp2.0 jsp2.1 jsp2.2新特性 1.1. Servlet和JSP规范版本对应关系:1 1.2. ...

ASP&period;NET请求处理过程

当请求一个*.aspx文件的时候,这个请求会被inetinfo.exe进程截获,它判断文件的后缀(aspx)之后,将这个请求转交给Aspnet_isapi.dll,aspnet_isapi.dll会通 ...

Android NDK and OpenCV Development With Android Studio

Android NDK and OpenCV Development With Android Studio Hujiawei 172 2014年10月22日 发布 推荐 0 推荐 收藏 4 收藏,5 ...

谈谈java中遍历Map的几种方法

java中的map遍历有多种方法,从最早的Iterator,到java5支持的foreach,再到java8 Lambda,让我们一起来看下具体的用法以及各自的优缺点 先初始化一个map public ...

iOS10 越狱， openSSH

iOS 10 已经可以越狱, 不过比较蛋疼的是非完美越狱,每次重启都要从新越狱. 感兴趣的同学可以尝试一下,本人使用同步推上的教程,亲测可用. 越狱完后想安装OpenSSH, 在Cydia上搜索安装, ...

linux在线安装JDK(1&period;8版本)

在线下载JDK 命令: wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-sec ...