油猴天眼查公司链接获取（用油猴实现爬虫python版）

使用方法

1.先书写油猴脚本

// ==UserScript==
// @name         天眼查获取公司列表
// @namespace    http://tampermonkey.net/
// @version      1.1
// @description  try to take over the world!
// @author       You
// @match        https://www.tianyancha.com/search*
// @require      http://cdn.bootcss.com/jquery/1.11.2/jquery.js
// @grant        GM_xmlhttpRequest
// ==/UserScript==(function() {'use strict';# 发送的网址var monkey_url = 'http://127.0.0.1:8883/ajaxHook';var url_list = [];# 获取数据列表function getdataList(){// 获取列表每个公司var company_list = $('.result-list.sv-search-container').find('.search-item.sv-search-company');// 输出查看console.log(company_list);// dataList为存储数据的列表var dataList = [];// 做for循环获取公司链接及名称for(var i=0;i<company_list.length;i++){var company_link = $(company_list[i]).find('.name.select-none').attr('href');var company_name = $(company_list[i]).find('.name.select-none')[0].text;dataList.push({'company_link': company_link,'company_name':company_name,})console.log(company_link);}console.log(dataList);return dataList;//return [link_list[0]];}# 调用获取数据函数url_list = getdataList();# 发送数据到monkey_urlGM_xmlhttpRequest({method: "POST",url: monkey_url,data : JSON.stringify({'name':"爬虫",'address':url_list}),onload: function(response) {//这里写处理函数console.log(response);console.log(url_list);//window.close();}});// Your code here...
})();

2.在pycharm书写接收monkey_url发送的请求

from flask_cors import CORS
from flask import Flask, request
from redis import StrictRedisapp = Flask(__name__)
redisCli = StrictRedis(host='127.0.0.1',port=6379,db=0
)@app.route('/')
def index():return "<h1>天眼查</h1>"@app.route('/ajaxHook', methods=['POST'])
def ajaxHook():if request.method == 'POST':form_data = request.get_data()redisCli.rpush('listPage', form_data)  # 推到redis列表页print(form_data)return form_dataif __name__ == '__main__':CORS(app, supports_credentials=True)  # 允许跨域app.run(host='127.0.0.1', port=8883, debug=True)

实现效果如下

有不懂的欢迎和博主交流

油猴天眼查公司链接获取（用油猴实现爬虫python版）相关推荐

python爬取天眼查数据（未破解图片验证及ajax版）
import time import requests from bs4 import BeautifulSoup import lxml import json import copy import ...
python seo 外链_百度链接提交-主动推送程序Python版
百度目前提供自动提交链接和手动提交链接两种方式,其中自动提交又分为主动推送.自动推送和sitemap三种形式,按百度的说法,主动推送的效果最好,百度站长平台后台也提供了curl.php.ruby的推送 ...
获取美元人民币实时汇率-Python版
本文介绍如何使用Python获取美元人民币实时汇率 # -*- coding: utf-8 -*- # @Author: 比特量化 # @Date: 2017-08-26import re impor ...
Python 制作天眼查小程序
这是「进击的Coder」的第 788 篇技术分享作者:萝卜大杂烩来源:萝卜大杂烩 " 阅读本文大概需要 9 分钟. " 今天我们一起来制作一个天眼查 GUI 程序,开宗明义,我 ...
火狐Firefox浏览器安装使用油猴Tampermonkey插件
下面说下火狐安装油猴插件相比之下,火狐使用油猴插件更容易一些,因为安装可以直接到火狐浏览器拓展下载. 下载地址百度搜索火狐插件,或者从浏览器拓展中找到如下 chorme的插件国内是进不去的,火狐的官 ...
如何从天眼查获取海量公司信息
天眼查有一个高级搜索功能(需要VIP权限,淘宝购买1个7天试用约2元). 天眼查内的公司大约2.6亿. 高级搜索会限制输出,查询最大输出是10万条. 因此,需要通过限制条件查询的方式,让查询输出小于1 ...
想找一家好公司入职或者合作？那么这块天眼查GUI版本非常适合你。
前言天眼查是咱们都知道的一个网站了,就是可以通过这个网站来知道咱们想了解公司的一些情况,比如是不是濒临破产,有没有什么法律纠纷.所以今天在找合作公司的时候,就突发奇想的想着写一个天眼查的gui脚本, ...
企查查爬虫获取公司链接
import openpyxl import requests # 模拟请求 import pandas as pd # 清洗数据 from bs4 import BeautifulSoup#打开目标 ...
XPath2Doc，一个半自动采集网页生成Word Docx文件的工具，带企查查和天眼查模板...
原始出处:https://www.cnblogs.com/Charltsing/p/XPath2Doc.html 很多人需要从网站采集一些数据填写Word模板,手工操作费时费力还容易出错,所以我给朋友 ...
java对接天眼查接口，天眼查提供案例方法过期最新案例
java对接天眼查接口 1.先了解天眼查是用来做什么的 2.确定账号 3.登录账号,找到数据接口,找到token,调用示例 1.先了解天眼查是用来做什么的天眼查,是中国领先的商业查询平台 ,已收录全 ...

油猴天眼查公司链接获取（用油猴实现爬虫python版）

油猴天眼查公司链接获取（用油猴实现爬虫python版）相关推荐

最新文章

热门文章