Prometheus时序数据库-内存中的存储结构

Prometheus时序数据库-内存中的存储结构

前言

笔者最近担起了公司监控的重任，而当前监控最流行的数据库即是Prometheus。按照笔者打破砂锅问到底的精神，自然要把这个开源组件源码搞明白才行。在经过一系列源码/资料的阅读以及各种Debug之后，对其内部机制有了一定的认识。今天，笔者就来介绍下Prometheus的存储结构。

由于篇幅较长，所以笔者分为两篇，本篇主要是描述Prometheus监控数据在内存中的存储结构。下一篇，主要描述的是监控数据在磁盘中的存储结构。

Gorilla

Prometheus的存储结构-TSDB是参考了Facebook的Gorilla之后，自行实现的。所以阅读

这篇文章《Gorilla: A Fast, Scalable, In-Memory Time Series Database》

，可以对Prometheus为何采用这样的存储结构有着清晰的理解。

监控数据点

type sample struct {
    t int64
    v float64
}

监控数据在内存中的表示形式

最近的数据保存在内存中

内存序列(memSeries)

接下来，我们看下具体的数据结构

type memSeries stuct {
    ......
    ref uint64 // 其id
    lst labels.Labels // 对应的标签集合
    chunks []*memChunk // 数据集合
    headChunk *memChunk // 正在被写入的chunk
    ......
}

寻址memSeries

如果通过一堆标签快速找到对应的memSeries。自然的,Prometheus就采用了hash。主要结构体为:

type stripeSeries struct {
    series [stripeSize]map[uint64]*memSeries // 记录refId到memSeries的映射
    hashes [stripeSize]seriesHashmap // 记录hash值到memSeries,hash冲突采用拉链法
    locks  [stripeSize]stripeLock // 分段锁
}
type seriesHashmap map[uint64][]*memSeries

数据点的存储

内存中的倒排索引

上面讨论的是标签全部给出的查询情况。那么我们怎么快速找到某个或某几个标签(非全部标签)的数据呢。这就需要引入以Label为key的倒排索引。我们先给出一组标签集合

{__name__:http_requests}{group:canary}{instance:0}{job:api-server}   
{__name__:http_requests}{group:canary}{instance:1}{job:api-server}
{__name__:http_requests}{group:production}{instance:1}{job,api-server}
{__name__:http_requests}{group:production}{instance:0}{job,api-server}

type intersectPostings struct {...}  // 交集
type mergedPostings struct {...} // 并集
type removedPostings struct {...} // 差集

倒排索引的插入组织即为Prometheus下面的代码

Add(labels,t,v) 
    |->getOrCreateWithID
        |->memPostings.Add

// Add a label set to the postings index.
func (p *MemPostings) Add(id uint64, lset labels.Labels) {
    p.mtx.Lock()
    // 将新创建的memSeries refId都加到对应的Label倒排里去
    for _, l := range lset {
        p.addFor(id, l)
    }
    p.addFor(id, allPostingsKey) // allPostingKey "","" every one都加进去

    p.mtx.Unlock()
}

正则支持

事实上，给定特定的Label:Value还是无法满足我们的需求。我们还需要对标签正则化，例如取出所有ip为1.1.*前缀的http_requests监控数据。为了这种正则，Prometheus还维护了一个标签所有可能的取值。对应代码为:

Add(labels,t,v) 
    |->getOrCreateWithID
        |->memPostings.Add
func (h *Head) getOrCreateWithID(id, hash uint64, lset labels.Labels){
    ...
    for _, l := range lset {
        valset, ok := h.values[l.Name]
        if !ok {
            valset = stringset{}
            h.values[l.Name] = valset
        }
        // 将可能取值塞入stringset中
        valset.set(l.Value)
        // 符号表的维护
        h.symbols[l.Name] = struct{}{}
        h.symbols[l.Value] = struct{}{}
    }
    ...
}

总结

Prometheus作为当今最流行的时序数据库，其中有非常多的值得我们借鉴的设计和机制。这一篇笔者主要描述了监控数据在内存中的存储结构。下一篇，将会阐述监控数据在磁盘中的存储结构，敬请期待！