本地缓存

针对使用非常频繁的表，如某些配置表，往往查询非常频繁并且是表非常小。这个时候可以采取缓存到内存中，定时的去reload 数据，刷新缓存。

核心结构体

type LoadDataFunc func(ctx context.Context, c *cache.Cache) (map[string]interface{}, error)type LocalCache struct {*cache.Cachename                    string // cache namelastUpdateTime          int64ctx                     context.ContextReloadIncrementInterval time.Duration // wait for reload dataloadFunc                LoadDataFunc // how to load, load whatsync.Mutex//flush bool
}

使用中还是主要依托于

 "github.com/patrickmn/go-cache"

已经帮忙实现个很大一部分功能，没有必要重复造轮子。
关键实现就在于

如何检测时间到达然后调用reload 方法去重新load 数据。这个reload的时间间隔和load数据的时间都是应该客户应该注意的点。
reload 方法的时间，返回全量数据，转为cache 的格式。

实现

package local_cacheimport ("context""fmt""github.com/patrickmn/go-cache""sync""time"
)type LoadDataFunc func(ctx context.Context, c *cache.Cache) (map[string]interface{}, error)type LocalCache struct {*cache.Cachename                    string // cache namelastUpdateTime          int64ctx                     context.ContextReloadIncrementInterval time.Duration // wait for reload dataloadFunc                LoadDataFunc // how to load, load whatsync.Mutex//flush bool
}func (lc *LocalCache) GetName() string {return lc.name
}func (lc *LocalCache) String() string {return fmt.Sprintf("name=%s lastUpdateTime:%s ReloadIncrementInterval:%d loadFunc:%s cache_len:%d", lc.name, utils.ConvertTimestampToString(lc.lastUpdateTime),lc.ReloadIncrementInterval, utils.GetFuncName(lc.loadFunc), lc.Cache.ItemCount())
}func (lc *LocalCache) run(ctx context.Context) {ticker := time.NewTicker(lc.ReloadIncrementInterval)for {select {case <-ticker.C:lc.Reload(ctx)}}
}func (lc *LocalCache) Run() {// in case panicdefer func() {if err := recover(); err != nil {go lc.run(lc.ctx)}}()// reload firstif err := lc.Reload(lc.ctx); err != nil {panic(err)}go lc.run(lc.ctx)
}func (lc *LocalCache) Clear() {lc.Cache.Flush()lc.lastUpdateTime = 0
}func (lc *LocalCache) AllKey() []string {//msg := "all key="strList := []string{}for k, _ := range lc.Cache.Items() {strList = append(strList, k)}return strList
}func (lc *LocalCache) Reload(ctx context.Context) error {// add lock for reloadlc.Lock()defer lc.Unlock()dataMap, e := lc.loadFunc(ctx, lc.Cache)if e != nil {return e}cacheItems := transformGoCacheItem(dataMap)lc.Cache = cache.NewFrom(-1, -1, cacheItems)lc.lastUpdateTime = time.Now().Unix()return nil
}func transformGoCacheItem(m map[string]interface{}) map[string]cache.Item {var ans = make(map[string]cache.Item)for k, v := range m {ans[k] = cache.Item{Object:     v,Expiration: -1,}}return ans
}func NewLocalCache(ctx context.Context, name string, incrementInterval time.Duration, fn LoadDataFunc) *LocalCache {c := &LocalCache{name:                    name,ctx:                     ctx,ReloadIncrementInterval: incrementInterval,loadFunc:                fn,//flush:             true,}// need to init or get string method may panic for cache was nilm := make(map[string]cache.Item)c.Cache = cache.NewFrom(cache.NoExpiration, cache.NoExpiration, m)return c
}

关键点主要就在于run 方法，开启协程，死循环去reload 数据到内存。在发生panic 时重新拉起。

使用

使用 New 方法返回实例。设置好loadFunc 以及检测时间间隔即可。再返回实例之后需要调用Run方法才算启动。

遇到的问题

这里注意加载的顺序问题，要等DB 连接后才能去做load 的操作，这是需要注意的地方。
时间间隔和load DB 时间的选择。

优化点

综合之前的检测db 更新机制。可以定时检测表结构的变化还决定reload 的时机。

golang 本地缓存相关推荐

Golang 本地缓存选型对比及原理总结
提到本地缓存大家都不陌生,只要是个有点经验的后台开发人员,都知道缓存的作用和弊端.本篇文章我们就来简单聊聊在 golang 做业务开发的过程中,本地缓存的一些可选的开源方案.分析它们的特点,以及内部的 ...
高性能本地缓存Ristretto(一)——存储策略
Ristretto是Dgraph基于golang实现的一个高性能的本地缓存库.特点是高命中率,高吞吐量,可自定义存储成本,支持一些自定义回调函数,并提供了较多的统计信息. 本文将主要讲述Ristret ...
微信小程序学习Course 8 本地缓存API
微信小程序学习Course 8 本地缓存API 本篇随笔主要介绍微信小程序本地缓存API函数,微信小程序可以在本地缓存一些关键词数据,每一条关键词对应一段字符串.微信小程序提供了以下API函数. 8. ...
php缓存数据到本地缓存,本地缓存localStorage的使用方法
本篇文章的使用方法来自于实际开发,详细介绍AppCan手机框架本地缓存localStorage的使用方法. 在手机应用中,存储本地数据是必不可少的功能,例如我们可以在手机中存储用户自定义设置.传递数据 ...
万字详解本地缓存之王 Caffeine
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 来自:r6d.cn/UXR4 概要 Caffeine[1] ...
教你设计一个超牛逼的本地缓存！
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章来源:ksfzhaohui juejin.im/post/5dd9 ...
如何设计一个牛逼的本地缓存
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章来源:ksfzhaohui juejin.im/post/5dd9 ...
如何设计一个本地缓存
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料来源:http://i7q.cn/4xPYgB 前言最近在看My ...
如何设计一个牛逼的本地缓存！
来源:ksfzhaohui | http://dwz.win/Ws4 最近在看Mybatis的源码,刚好看到缓存这一块,Mybatis提供了一级缓存和二级缓存:一级缓存相对来说比较简单,功能比较齐全的 ...

golang 本地缓存

本地缓存

核心结构体

实现

使用

遇到的问题

优化点

golang 本地缓存相关推荐

最新文章

热门文章