Prometheus java-client Collector 解析

一、Prometheus java-client Collector 解析

1、Prometheus是一款开源监控系统，用于采集时序数据。其架构及生态系统由多个组件组成，包括客户端库、服务器等。Prometheus提供了四个官方客户端库：go-client, java-client, python-client, ruby-client，以及第三方提供的各语言客户端库。本文主要分析java版本的客户端库。

2、Prometheus从根本上将所有数据存储为时间序列，即属于同一指标和同一组标记维度的带时间戳的值的流。样本表示在某一时刻，某一指标的采样，由类Collector.MetricFamilySamples.Sample表示。样本由时序名称、时序标签和值组成，此外，prometheus还附带exemplar字段用于存放样本点的额外信息，用于表示每一步的瞬时操作，这是指标的trace数据。注意，exemplar和timestampMs两个字段的信息是可选的，这里的timestampMs并不表示触发采集的时间戳，但exemplar中的timestampMs表示指标数据变动时的时间戳。

3、数据模型方面，MetricFamily表示一个指标族，这些指标具有相同的名称（或类似的名称），相同的标签名，但本身的标签值不同，分布在不同的时序流中。Collector.MetricFamilySamples结构用于打包时序样本点，根据OpenMetrics的定义，一个MetricFamily可能包含零个或多个Metric。每个Metric具有唯一LabelSet。

4、对于指标类型，Prometheus提供了Counter、Gauge、StateSet、INFO、Histogram和GaugeHistogram等类型。Counter是一个计数器，用于测量离散事件，如HTTP请求的接收数量或CPU时间的消耗等。Gauge是一个可增加和减少的仪表盘，表示当前的测量值，如内存使用量或队列中的项目数。StateSet用于表示一系列相关的布尔值，可以用来表示枚举类型的数据。INFO指标用于暴露在流程生命周期内不应更改的文本信息。Histogram用于统计离散事件的分布，如HTTP请求的延迟或函数运行时间。GAUGE_HISTOGRAM测量当前分布，如队列中等待时间的分布或请求大小的分布。SUMMARY指标也是用于测量离散事件的分布，引入了分位数的概念。

5、Collector的实现分为SimpleCollector，内置Collector的基类，实现了内置Collector的基本功能，以及Counter、Gauge、Summary、Histogram和Enumeration等具体的指标类型实现。Counter是一个递增计数器，用于统计事件的数量，如请求的数量或内存使用量等。Gauge是一个数值可增减的仪表盘，用于表示当前的信息，如请求处理中队列的长度或剩余内存等。Summary用于历史数据的分位数统计，如响应延迟或请求数据大小的统计。Histogram用于统计历史数据落在具体区间内的数量，如响应延迟或请求数据大小的统计。Enumeration是一个表示状态的指标，与OpenMetrics中定义的StateSet相对应。

6、关于注册操作，Collector通过CollectorRegistry进行注册，CollectorRegistry将Collector缓存在两个Map对象中。使用HTTPServer发送数据时，通过Collector采集数据，但Collector中的collect()方法一般是由HTTPServer被动调用。创建HTTP服务时，从HTTPServer.Builder中配置相关信息，创建服务后，可以通过三种资源路径对Prometheus数据进行访问。若请求不带请求参数，则获取所有当前时刻所有指标时序采样点；若带有请求参数，则获取过滤后的时序采样点。请求内容格式可以通过设置Accept请求头参数来指定，若不带或解析错误，则返回CONTENT_TYPE_004格式的数据；若带有application/openmetrics-text，则返回CONTENT_TYPE_OPENMETRICS_100格式的数据。

7、在某些情况下，Prometheus仅支持pull方式采集数据，但对于某些短生命周期的任务，指标变化的关键点可能由于pull的时间间隔太大而未被采集，此时可以使用PushGateway进行指标数据的推送。启动PushGateway，应用程序向其推送指标数据，PushGateway缓存数据后，Prometheus server定期拉取指标数据。向PushGateway推送数据时，需要使用job标签，并可选地附上groupingKey。指标的推送和删除通过向PushGateway发送POST, PUT, DELETE请求完成。推送数据格式为Prometheus通用的004格式。

二、Java项目开启JMX:Prometheus数据上报

1、开启Java项目中的JMX监控对于提升开发效率和问题定位至关重要。常规方法包括在启动脚本中添加特定参数，通常在指定端口如6543开启JMX，允许像JConsole这样的监控工具通过该端口连接。通常无需身份验证和SSL。

2、对于Java Spring Boot框架的应用，开启JMX监控可以通过在application.properties文件中配置相关项来实现。Spring Boot框架提供了自动配置，当`management.endpoints.jmx.enabled`属性设为`true`时，会自动开启JMX监控功能。这意味着无需显式配置`spring.jmx.enabled=true`，Spring Boot应用也会自动开启JMX监控。

3、在Spring Boot应用中，Apollo配置中心可以提供更便捷的JMX监控配置。通过加载Apollo配置，可以自动配置JMX监控相关参数。例如，可以保留`health`和`prometheus`断点，从而能够通过`/actuator/health`和`/actuator/prometheus`接口获取数据。

4、此外，在使用Prometheus监控时，可以通过服务暴露的`/actuator/prometheus`接口获取性能数据，并利用grafana进行数据呈现。服务注册在Consul中，通过`consul_sd_configs`简化Prometheus的配置。在Prometheus内置的Web页面中查询数据，可以直观地查看到JVM的采集情况，以便后续在grafana中进行配置展示。

5、针对JMX监控工具的常见选项，包括但不限于上述集成方式，更多工具细节可参考社区资源或官方文档。关注个人公众号以获取更多相关资讯和最新更新。

三、手把手教你使用 Prometheus 监控 JVM

1、使用 Prometheus监控 JVM是现代运维中的重要手段，尤其在容器化环境中。本文将手把手教你如何在 Kubernetes(K8S)上监控 Java应用的 JVM。首先，需要了解 JMX Exporter的作用。JMX Exporter是 Prometheus社区开发的一款工具，通过 Java的 JMX机制读取 JVM运行时的监控数据，并转换成 Prometheus可以理解的 metrics格式，便于使用 Prometheus进行监控数据的采集。

2、JMX，全称为 Java Management Extensions，是一个用于 Java管理的扩展框架。JMX Exporter正是基于 JMX来读取 JVM的运行时状态，并将其转换为 Prometheus可以使用的格式。

3、接下来，我们介绍如何通过 JMX Exporter暴露 Java应用的 JVM监控指标。JMX Exporter提供了两种使用方式，官方推荐使用第二种方式，因为它更简单且避免了额外的监控问题。第二种方式是将 JMX Exporter的 jar包和配置文件打包到业务容器镜像中。具体步骤如下：

4、准备制作镜像的目录，放入 JMX Exporter配置文件 `prometheus-jmx-config.yaml`。

5、下载 JMX Exporter的最新 jar包到当前目录。

6、编写 Dockerfile，以 tomcat为例，将 jar包和配置文件打包到镜像。

7、有了打包好的镜像后，部署 Java应用到 Kubernetes，关键在于修改 JVM启动参数以加载 JMX Exporter。通过设置环境变量 `JAVA_OPTS`，在部署应用时添加额外的启动参数。

8、配置 Prometheus以采集暴露的 JVM监控指标。这包括在 Prometheus中设置监控配置，以收集来自 JMX Exporter的数据。

9、最后，添加 Grafana监控面板以展示监控数据。这提供了可视化的界面，便于监控和分析。使用 Grafana可以根据指标设计所需的面板，社区也提供了现成的面板模板，尽管有些模板可能需要更新。

10、总结，通过使用 Prometheus结合 JMX Exporter，可以有效地监控 Java应用的 JVM性能，确保业务的稳定运行。本文详细介绍了从配置 JMX Exporter到集成 Prometheus和 Grafana的全过程，帮助你实现对 Java应用的全面监控。