Kubernetes 系统设计 Grafana Prometheus

概述

我一直在负责维护的PaaS平台引入了Kubernetes作为底层支持, 可以借助Kubernetes的生态做更多的事情, 这篇博客主要介绍如何为普通用户提供图表监控服务(承接上一篇提供dashboard支持). 默认读者有能力自己搭建Kubernetes集群以及初级的监控系统, 以及可以简单的使用PromQL, 因为博客主要想介绍的内容不在此.

我早于dashboard就增加了这个功能, 但是讲解起来实在复杂. 一直拖着没写, 今天有空, 正好来分享一下吧.

方案拓扑

这里我懒一下, 不想画图了.

图中是整个方案的左半边, 由采集工具采集机器以及容器信息, 上传至Prometheus中, 右下角的Grafana通过PromQL查询以及展示数据, 下面两个部分会简单介绍Prometheus以及Grafana, 但重点在后面哈.

朴素的收集与展示工具-Prometheus

这是一张Ingress的CPU利用率统计图:

朴素的原因主要是这个工具做作用是收集数据, 每次只能查询一条语句, 而且没有什么历史记录功能, 权限控制几乎没有, 这样基础的工具肯定不能直接提供给用户.

漂亮的展示工具-Grafana

相比上面简陋的图片, Grafana的功能就强大很多了, 可以展示多张图表, 而且有了权限控制, 非常适合建立大盘监控, 对于PaaS平台中的每个用户来讲, 看到自己应用的监控是多么美妙的一件事.

分界线 ———

如果仅仅是介绍到这里, 大家在自己的Kubernetes集群中鼓捣一下应该很快就可以用了, 我们既然作为PaaS平台的开发者, 自然要考虑多用户以及多应用的组织管理方式, 呈现给用户需要的资料的同时, 也要保证用户以及应用间不会相互影响. 没错这与上一篇dashboard支持方案类似, 也要进行权限设计以及控制.

权限同步策略

PaaS平台的权限系统

在PaaS平台中, 假设我们有一个用户A, 他拥有自己的一个或多个应用群组(G1, G2), 每个群组中部署了一系列应用程序(a1, a2…).

Grafana中的权限系统

在Grafana权限系统中, 有一些Teams, 用户可以属于一个或多个Team.

每个Folder可以拥有一个或多个dashboard.

映射

考虑到上述的关系, 我们的思路就很明确了, 我的设计方案是:

  1. 用户的每个群组对应一个Team, 该Team拥有一个Folder的访问权限
  2. 每个应用拥有一个dashboard

你也可以使用别的设计方案(比如说不要Folder, 每个Team拥有一些dashboard), 上述方案只是我想方便管理, 每个Team拥有自己的Folder.

Grafana相关类库及其使用(tl;dr)

我用的是Python定时同步权限以及图表信息, 当时也想过用Golang, 但我说真的, 这种代码用Python太适合了. 下面的部分太过于偏了, 建议不要去纠结, 你大概率用不上, 肯定要自己去读文档的.

1
2
grafana-api==1.0.3  # 用来与Grafana API通信
grafanalib==0.5.7   # 创建Grafana图表

User, Team, Folder创建

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 下面是一个team的创建, 其他类似
def ensure_team(g_api, team_name):
    team_id = -1
    try:
        # {'message': 'Team created', 'teamId': 121}
        g_team = g_api.teams.add_team({'name': team_name})
        team_id = g_team['teamId']
    except GrafanaClientError as e:
        if e.status_code == 409:
            # 'Client Error 409: Team name taken'
            g_team = g_api.teams.get_team_by_name(team_name)[0]
            team_id = g_team['id']
    assert team_id != -1
    return team_id

Folder与Team权限同步

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 下面是同步team以及其用户, 因为用户有可能增减, 需要对应的增减
def sync_user_team(g_api, team_id, user_ids):
    orig_members = g_api.teams.get_team_members(team_id)
    now_user_ids = set(user_ids)
    orig_user_ids = set([u['userId'] for u in orig_members])

    for user_id in now_user_ids - orig_user_ids:
        try:
            g_api.teams.add_team_member(team_id, user_id)
        except GrafanaBadInputError:
            pass

    for user_id in orig_user_ids - now_user_ids:
        g_api.teams.remove_team_member(team_id, user_id)

# 下面是同步folder以及team权限, 所有普通用户只有只读权限
def sync_folder_permission(folder, team_id=None):
    # https://grafana.com/docs/grafana/latest/http_api/folder_permissions/
    g_api = get_grafana_api()  # type: GrafanaFace
    permissions = []
    if team_id != None:
        permissions.append({
            "teamId": team_id,
            "permission": 1  # 只有查看权限
        })

    g_api.folder.update_folder_permissions(
        folder['uid'],
        {
            "items": permissions,
        }
    )

dashboard页面设计以及同步

这部分其实挺难的, 我想使用类似声名式的写法, 类似kubectl apply -f xxx.yaml, 不过Grafana的API太难用了, 一种解决方案是: 导入dashboard图表数据, 可以看到我这里的api都是手动加的.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def sync_dashboard_data(dashboard_uid, folder_id, dashboard_json_data, inputs=[]):
    """同步dashboard的组信息以及dashboard的pannel数据信息
    """
    g_api = get_grafana_api()  # type: GrafanaFace
    d = g_api.dashboard.get_dashboard(dashboard_uid)

    data = {
        'dashboard': dashboard_json_data,
        'folderId': folder_id,
        "inputs": inputs,
        'overwrite': True
    }
    put_dashboard_path = "/dashboards/import"
    r = g_api.api.POST(put_dashboard_path, json=data)

# 数据样式的生成请参考这里:
# https://github.com/weaveworks/grafanalib/blob/master/grafanalib/tests/examples/example-elasticsearch.dashboard.py

最终效果

针对我们系统中的每个应用, 基本都有这么一张图表:

常用的图表推荐

我平时作为管理员一般也不会看每个应用, 可能看个大概吧.

ingress

https://github.com/kubernetes/ingress-nginx/blob/master/deploy/grafana/dashboards/nginx.json

node_exporter

https://github.com/rfrail3/grafana-dashboards/blob/master/prometheus/node-exporter-full.json

总结

这篇文章我主要想介绍下我们的系统是如何设计的, 希望能够在大家设计系统接入方案时能有所参考, 也欢迎大家留言讨论.

顺便吐槽一下Grafana, 居然不能设置URL头像(为了改头像我都去读grafana代码了, 发现不能修改), 真是令人生气!!!