datadog 全观测性初体验

安装测试环境

我们使用Elastic在github上的项目apm-integration-testing，来生成对应的APM数据。我们使用这个项目的整个测试环境中包含了用于demo的前端，后端，数据库的实例，包含java、python、node.js、ruby、go、.net、php等不同语言编写的应用程序，也包含了数据库（postgres）、搜索引擎（elasticsearch）、缓存（redis），通过对这样一个环境进行可观测性的验证，我们可以充分了解datadog的功能。

通过以下命令下载该项目后：

git clone https://github.com/elastic/apm-integration-testing
cd apm-integration-testing

可以在docker环境下启动多个应用程序：

./scripts/compose.py start --release  \
--no-elasticsearch --no-kibana --with-opbeans-java \
--with-opbeans-go --with-opbeans-python --with-opbeans-node --with-opbeans-rum

当这个程序运行之后，我们可以立即停止，compose.py会在当前目录下生产一个docker-compose.yml文件。

在这个案例中，我打算在K8S上运行整个环境，因此，我使用了

kompose convert

将docker-compose.yml文件转成系列K8S的yaml文件

然后，创建相应 K8S 资源

kubectl create -f k8s-pgdata-persistentvolumeclaim.yaml
kubectl create -f postgres-claim0-persistentvolumeclaim.yaml
kubectl create -f postgres-deployment.yaml
kubectl create -f postgres-service.yaml
kubectl create -f redis-deployment.yaml
kubectl create -f redis-service.yaml
kubectl create -f opbeans-node-claim0-persistentvolumeclaim.yaml
kubectl create -f opbeans-node-deployment.yaml
kubectl create -f opbeans-node-service.yaml
kubectl create -f opbeans-java-deployment.yaml
kubectl create -f opbeans-java-service.yaml
kubectl create -f opbeans-python-deployment.yaml
kubectl create -f opbeans-python-service.yaml
kubectl create -f opbeans-go-deployment.yaml
kubectl create -f opbeans-go-service.yaml
kubectl create -f opbeans-load-generator-deployment.yaml

这里需要手动的将sql的数据写入到postgres里面:

kubectl exec -it postgres-589d45546c-hxr6z -- /bin/bashroot@postgres-589d45546c-hxr6z: cat <<EOF > data.sql
"*****"
EOFroot@postgres-589d45546c-hxr6z: psql -U postgres -d opbeans -a -f data.sql

最终，整个分布式应用程序跑在K8S上：

lexlideMacBook-Pro:k8s lex.li$ kubectl get pods
NAME                                      READY   STATUS    RESTARTS   AGE
opbeans-go-655677c5b7-6k2n4               1/1     Running   0          3h11m
opbeans-java-5bbd48f5d5-b6dxd             1/1     Running   0          3h11m
opbeans-load-generator-5fbc458d6b-lw4p2   1/1     Running   0          3h10m
opbeans-node-8457fdbb75-rnsmz             1/1     Running   0          3h11m
opbeans-python-7bb87db6fd-dwrn5           1/1     Running   0          3h11m
postgres-589d45546c-hxr6z                 1/1     Running   0          3h11m
redis-6f74b66cb6-gsszd                    1/1     Running   0          3h11m
lexlideMacBook-Pro:k8s lex.li$ kubectl get services
NAME             TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)          AGE
kubernetes       ClusterIP      10.80.80.1     <none>          443/TCP          450d
mysql-service    ClusterIP      10.80.94.52    <none>          3306/TCP         226d
opbeans-go       ClusterIP      10.80.80.7     <none>          3000/TCP         3h12m
opbeans-java     ClusterIP      10.80.81.50    <none>          3000/TCP         3h12m
opbeans-node     LoadBalancer   10.80.94.202   34.126.112.49   3000:31934/TCP   3h11m
opbeans-python   ClusterIP      10.80.83.33    <none>          3000/TCP         3h12m
postgres         ClusterIP      10.80.86.13    <none>          5432/TCP         3h12m
redis            ClusterIP      10.80.81.30    <none>          6379/TCP         3h12m

访问：http://34.126.112.49:3000，确认正常运行

安装datadog agent

参考datadog agent在K8S上的安装手册

我选择以DaemonSet的命令安装，先配置agent的权限：

kubectl apply -f "https://raw.githubusercontent.com/DataDog/datadog-agent/master/Dockerfiles/manifests/rbac/clusterrole.yaml"kubectl apply -f "https://raw.githubusercontent.com/DataDog/datadog-agent/master/Dockerfiles/manifests/rbac/serviceaccount.yaml"kubectl apply -f "https://raw.githubusercontent.com/DataDog/datadog-agent/master/Dockerfiles/manifests/rbac/clusterrolebinding.yaml"

创建K8S secret，包含Datadog API Key：


echo -n 'e094bed61947b1ad9ca25f266b8fe5de' | base64kubectl create secret generic datadog-agent --from-literal api-key="ZTA5NGJlZDYxOTQ3YjFhZDljYTI1ZjI2NmI4ZmU1ZGU=" --namespace="default"

按照剩余步骤配置：

然后检查:

体验datadog

进入控制UI，可以看到所有已安装和被监控的内容：

和Elastic类似，可以先从Infrastructure开始查看：

总结

这个产品从用户体验，易用性等方面算是同类产品里面做到极致了。。。功能上的槽点不多，而亮点颇多，值得大家学习