python获取app信息的库_基于python3抓取pinpoint应用信息入库
这篇文章主要介绍了基于python3抓取pinpoint应用信息入库,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Pinpoint是用Java编写的大型分布式系统的APM(应用程序性能管理)工具。 受Dapper的启发,Pinpoint提供了一种解决方案,通过在分布式应用程序中跟踪事务来帮助分析系统的整体结构以及它们中的组件之间的相互关系.
pinpoint api:
/applications.pinpoint 获取applications基本信息
/getAgentList.pinpoint 获取对应application agent信息
/getServerMapData.pinpoint 获取对应app 基本数据流信息
db.py
import mysql.connector
class MyDB(object):
"""docstring for MyDB"""
def __init__(self, host, user, passwd , db):
self.host = host
self.user = user
self.passwd = passwd
self.db = db
self.connect = None
self.cursor = None
def db_connect(self):
"""数据库连接
"""
self.connect = mysql.connector.connect(host=self.host, user=self.user, passwd=self.passwd, database=self.db)
return self
def db_cursor(self):
if self.connect is None:
self.connect = self.db_connect()
if not self.connect.is_connected():
self.connect = self.db_connect()
self.cursor = self.connect.cursor()
return self
def get_rows(self , sql):
""" 查询数据库结果
:param sql: SQL语句
:param cursor: 数据库游标
"""
self.cursor.execute(sql)
return self.cursor.fetchall()
def db_execute(self, sql):
self.cursor.execute(sql)
self.connect.commit()
def db_close(self):
"""关闭数据库连接和游标
:param connect: 数据库连接实例
:param cursor: 数据库游标
"""
if self.connect:
self.connect.close()
if self.cursor:
self.cursor.close()
pinpoint.py:
# -*- coding: utf-8 -*-
'''
Copyright (c) 2018, mersap
All rights reserved.
摘 要: pinpoint.py
创 建 者: mersap
创建日期: 2019-01-17
'''
import sys
import requests
import time
import datetime
import json
sys.path.append('../Golf')
import db #db.py
PPURL = "https://pinpoint.*******.com"
From_Time = datetime.datetime.now() + datetime.timedelta(seconds=-60)
To_Time = datetime.datetime.now()
From_TimeStamp = int(time.mktime(From_Time.timetuple()))*1000
To_TimeStamp = int(time.mktime(datetime.datetime.now().timetuple()))*1000
class PinPoint(object):
"""docstring for PinPoint"""
def __init__(self, db):
self.db = db
super(PinPoint, self).__init__()
"""获取pinpoint中应用"""
def get_applications(self):
'''return application dict
'''
applicationListUrl = PPURL + "/applications.pinpoint"
res = requests.get(applicationListUrl)
if res.status_code != 200:
print("请求异常,请检查")
return
applicationLists = []
for app in res.json():
applicationLists.append(app)
applicationListDict={}
applicationListDict["applicationList"] = applicationLists
return applicationListDict
def getAgentList(self, appname):
AgentListUrl = PPURL + "/getAgentList.pinpoint"
param = {
'application':appname
}
res = requests.get(AgentListUrl, params=param)
if res.status_code != 200:
print("请求异常,请检查")
return
return len(res.json().keys()),json.dumps(list(res.json().keys()))
def update_servermap(self, appname , from_time=From_TimeStamp,
to_time=To_TimeStamp, serviceType='SPRING_BOOT'):
'''更新app上下游关系
:param appname: 应用名称
:param serviceType: 应用类型
:param from_time: 起始时间
:param to_time: 终止时间
:
'''
#https://pinpoint.*****.com/getServerMapData.pinpoint?applicationName=test-app&from=1547721493000&to=1547721553000&callerRange=1&calleeRange=1&serviceTypeName=TOMCAT&_=1547720614229
param = {
'applicationName':appname,
'from':from_time,
'to':to_time,
'callerRange':1,
'calleeRange':1,
'serviceTypeName':serviceType
}
# serverMapUrl = PPURL + "/getServerMapData.pinpoint"
serverMapUrl = "{}{}".format(PPURL, "/getServerMapData.pinpoint")
res = requests.get(serverMapUrl, params=param)
if res.status_code != 200:
print("请求异常,请检查")
return
update_time = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
links = res.json()["applicationMapData"]["linkDataArray"]
for link in links :
###排除test的应用
if link['sourceInfo']['applicationName'].startswith('test'):
continue
#应用名称、应用类型、下游应用名称、下游应用类型、应用节点数、下游应用节点数、总请求数、 错误请求数、慢请求数(本应用到下一个应用的数量)
application = link['sourceInfo']['applicationName']
serviceType = link['sourceInfo']['serviceType']
to_application = link['targetInfo']['applicationName']
to_serviceType = link['targetInfo']['serviceType']
agents = len(link.get('fromAgent',' '))
to_agents = len(link.get('toAgent',' '))
totalCount = link['totalCount']
errorCount = link['errorCount']
slowCount = link['slowCount']
sql = """
REPLACE into application_server_map (application, serviceType,
agents, to_application, to_serviceType, to_agents, totalCount,
errorCount,slowCount, update_time, from_time, to_time)
VALUES ("{}", "{}", {}, "{}", "{}", {}, {}, {}, {},"{}","{}",
"{}")""".format(
application, serviceType, agents, to_application,
to_serviceType, to_agents, totalCount, errorCount,
slowCount, update_time, From_Time, To_Time)
self.db.db_execute(sql)
def update_app(self):
"""更新application
"""
appdict = self.get_applications()
apps = appdict.get("applicationList")
update_time = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
for app in apps:
if app['applicationName'].startswith('test'):
continue
agents, agentlists = self.getAgentList(app['applicationName'])
sql = """
REPLACE into application_list( application_name,
service_type, code, agents, agentlists, update_time)
VALUES ("{}", "{}", {}, {}, '{}', "{}");""".format(
app['applicationName'], app['serviceType'],
app['code'], agents, agentlists, update_time)
self.db.db_execute(sql)
return True
def update_all_servermaps(self):
"""更新所有应用数
"""
appdict = self.get_applications()
apps = appdict.get("applicationList")
for app in apps:
self.update_servermap(app['applicationName'], serviceType=app['serviceType'])
###删除7天前数据
Del_Time = datetime.datetime.now() + datetime.timedelta(days=-7)
sql = """delete from application_server_map where update_time <= "{}"
""".format(Del_Time)
self.db.db_execute(sql)
return True
def connect_db():
""" 建立SQL连接
"""
mydb = db.MyDB(
host="rm-*****.mysql.rds.aliyuncs.com",
user="user",
passwd="passwd",
db="pinpoint"
)
mydb.db_connect()
mydb.db_cursor()
return mydb
def main():
db = connect_db()
pp = PinPoint(db)
pp.update_app()
pp.update_all_servermaps()
db.db_close()
if __name__ == '__main__':
main()
附sql语句
CREATE TABLE `application_list` (
`application_name` varchar(32) NOT NULL,
`service_type` varchar(32) DEFAULT NULL COMMENT '服务类型',
`code` int(11) DEFAULT NULL COMMENT '服务类型代码',
`agents` int(11) DEFAULT NULL COMMENT 'agent个数',
`agentlists` varchar(256) DEFAULT NULL COMMENT 'agent list',
`update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
PRIMARY KEY (`application_name`),
UNIQUE KEY `Unique_App` (`application_name`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='pinpoint app list'
CREATE TABLE `application_server_map` (
`application` varchar(32) NOT NULL COMMENT '应用名称',
`serviceType` varchar(8) NOT NULL,
`agents` int(2) NOT NULL COMMENT 'agent个数',
`to_application` varchar(32) NOT NULL COMMENT '下游服务名称',
`to_serviceType` varchar(32) DEFAULT NULL COMMENT '下游服务类型',
`to_agents` int(2) DEFAULT NULL COMMENT '下游服务agent数量',
`totalCount` int(8) DEFAULT NULL COMMENT '总请求数',
`errorCount` int(8) DEFAULT NULL,
`slowCount` int(8) DEFAULT NULL,
`update_time` datetime NOT NULL ON UPDATE CURRENT_TIMESTAMP,
`from_time` datetime DEFAULT NULL,
`to_time` datetime DEFAULT NULL,
PRIMARY KEY (`application`,`to_application`),
UNIQUE KEY `Unique_AppMap` (`application`,`to_application`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='应用链路数据'
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
python获取app信息的库_基于python3抓取pinpoint应用信息入库相关推荐
- python获取渲染之后的网页_使用Pyppeteer抓取渲染网页
Pyppeteer是Puppeteer的非官方Python支持,Puppeteer是一个无头JavaScript的基于Chrome/Chromium浏览器自动化库,可以用于对渲染网页的抓取. 比较了P ...
- Python爬虫技术干货,教你如何实现抓取京东店铺信息及下载图片
什么是Python爬虫开发 Python爬虫开发,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所 ...
- python获取app信息的库_基于Python的模拟登陆获取脉脉好友信息
代码已经上传到github上 简介: 这是一个基于python3而写的爬虫,爬取的网站的脉脉网(https://maimai.cn/),在搜索框中搜索"CHO",并切换到" ...
- python模拟浏览器请求的库_基于Python模拟浏览器发送http请求
1.使用 urllib2 实现 #! /usr/bin/env python # -*- coding=utf-8 -*- import urllib2 url="https://www.b ...
- python3web库_基于 Python3 写的极简版 webserver
基于 Python3 写的极简版 webserver.用于学习 HTTP协议,及 WEB服务器 工作原理.笔者对 WEB服务器 的工作原理理解的比较粗浅,仅是基于个人的理解来写的,存在很多不足和漏洞, ...
- python 安卓app开发环境搭建_基于react-native的APP开发环境配置
1. 首先要有jdk 版本1.8 环境变量必须要有 %JAVA_HOME%;%JAVA_HOME%\bin 2.python 版本2 必须是python2(官方文档这么写的,具体 ...
- python3抓取杭州房价信息
因为马上要去杭州,杭州房价去年涨的太厉害了,现在政策比较多看不清杭州房价的形式,所以想写个爬虫将杭州房产的交易信息做个记录. 准备阶段 自己的服务器用的CentOS,上面装了python3,因为要连接 ...
- Python爬虫实战之一 - 基于Requests爬取拉勾网招聘信息,并保存至本地csv文件
Python爬虫实战之二 - 基于Requests抓取拉勾网招聘信息 ---------------readme--------------- 简介:本人产品汪一枚,Python自学数月,对于小白,本 ...
- node抓取58同城信息_如何使用标准库和Node.js轻松抓取网站以获取信息
node抓取58同城信息 网络抓取工具是一种工具,可让我们选择网站的非结构化数据并将其转换为结构化数据库. 那么,网络刮板将在哪里派上用场呢? 我列出了我最喜欢的用例,以使您对启动自己的应用感到兴奋! ...
最新文章
- keras 的 example 文件 class_activation_maps.py 解析
- 1020. 月饼 (25)
- pytorch nan问题
- 从零开始学习python-新手学习python-从零开始学习
- 图像分割 | 训练集输入labe(mask)处理以及类别不均衡的处理-以segnet为例
- c mysql 中文字符_在C#和MySQL中存取中文字符时避免乱码的方法
- quantum theory
- 语言基础之description方法
- 以Linux系统(Ubuntu)开发生活(一)
- docker 设置 jvm 内存_是否值得付费?Oracle,Open JDK等四大JVM性能全面对比
- UI完美素材|(Watch展示篇)Mockups动态图提案模板
- 指针4-指针的运算和指针变量占几个字节
- ADB工具包下载及安装
- 【主动轮廓模型(一)】《Snakes: Active Contour Models》算法原理与OpenCV实现
- 计算机桌面的快捷方式怎么打开方式,桌面快捷方式打不开,教您桌面快捷方式打不开怎么解决...
- 2021-2025年中国DNA基因芯片行业市场供需与战略研究报告
- vue项目页面的打印和下载PDF加loading效果(加水印)
- 【Java】注解入门
- IoT DDoS警报系统是如何帮助我们预测网络攻击的?
- 总体标准差、样本标准差、标准误差
热门文章
- Linux:C GNU Obstack内存池
- ibm邮件怎么撤回_怎么申请邮箱?163邮箱如何注册使用?
- 操作系统ppt_华为车BU王军:华为三大汽车操作系统,及跨域集成软件框架(内含PPT)...
- laravel查询重复的数据_php – 使用Laravel Collection获取重复值
- 武汉linux内核好找吗,Linux内核入门
- Hadoop(四)hdfs基本操作
- lvds传输距离标准_如何正确看待POE交换机150米、长距离250米传输
- linux was8.5 配db2数据源配置,DataStage v8.5对于db2 v8数据库的支持问题
- (二)为自动化MLOps设置GitHub、Docker和Google Cloud Platform
- 设置ngxin服务器虚拟主机,详解Nginx 虚拟主机配置的三种方式(基于端口)