思路 这类题有套路,需要用到单调栈。 上图中绿色item想找到下一个比它大的值,只需要和红色item比较就行,而不需要和紫色的item比较。所以我们需要维护一个单调递增的栈,保存红色的值。 通过依次比较,得出,5对应的答案是6。 下一个数字4,来寻求下一个比它大的值。 同样的,2比5小,在这个数据结构中没有意义,他应该在5存入数据结构时抛出。也就是…
背景 kafka可以通过多个partition实现并发,但是针对单个partition,必须顺序提交。假如消息发送顺序为1,2,3,如果先提交3,会导致1,2被提交。所以不能并发执行后立即提交。 解决思路 记录接收消息的顺序到listA,然后并发执行,执行成功的消息,记录到setB。起个goroutine定时提交,顺序遍历listA,依次判断该消息…
client-go 架构图 Indexer原理 Indexer缓存k8s资源对象,并提供便捷的方式查询。例如获取某个namespace下的所有资源 indexer接口继承了store接口,所以indexer的实现类也是store的实现类。add方法被调用的地方和store一样,是reflector调用的。 type Indexer interfac…
300分钟吃透分布式缓存——陈波 分布式缓存 01 业务数据访问性能太低怎么办? 缓存的定义 狭义缓存 加速CPU数据交换的存储器。 广义缓存 数据高速交换的存储介质,加速数据访问。 缓存成本 时间局限性原理,即被获取过一次的数据在未来会被多次引用,比如一条微博被一个人感兴趣并阅读后,它大概率还会被更多人阅读。 以空间换时间,因为原始数据获取太慢,…
白丁云原生:k8s编程-operator篇【已完结】 clientgo架构 以前以为client-go只是通过restclient去调用api server,其实不然,它还具备controller的逻辑,以实现更强大的k8s操作。 RESTClient原理 创建了所有版本的client,例如corev1,体现k8s向后兼容,只要正式版发布的接口不会…
背景 我平时爱看一些高清电影,4k、HDR之类的,还有很多国内视频软件没有的电影。我媳妇也喜欢看剧,平时做饭的时候,都会用平板播放电视剧。所以我家对影音这块是有需求的。 之前觉得nas太重了,还调研过个人云存储:联想NAS A1调研,由于外网访问速度太低,最终没有入手。现在看来还好没有入手,那玩意没有docker,可玩性太低,特别是对于影音系统,需…
Leaf——美团点评分布式ID生成系统 https://github.com/Meituan-Dianping/Leaf 数据库号段发号 线程池设置线程编号 public static class UpdateThreadFactory implements ThreadFactory { private static int threadInit…
前言 数据库变更管理是软件发布必不可少的环节,理想状态是只需发布一个镜像,就能更新应用和数据库。我们项目使用gorm来操作数据库,gorm是具有数据库迁移功能的,但是没有SQL脚本直观。另外我们的应用是同库多服务的微服务,还有些服务存在多个实例的情况,这就需要考虑数据竞争问题了。经过调研,最终选择了Github 10k star 的golang-m…
Processes and Threads 进程 操作系统会为该应用程序创建一个进程。作为一个应用程序,它像一个为所有资源而运行的容器。这些资源包括内存地址空间、文件句柄(文件描述符)、设备和线程。 不同的应用程序使用的内存空间不同,在操作系统里,就是用进程来做的资源管理、隔离。 线程 线程是操作系统调度的一种执行路径,用于在处理器执行我们在函数中…
Singleflight 对于热门的主题,如果存在缓存穿透的情况,会导致大量的同进程、跨进程的数据回源到存储层,可能会引起存储过载的情况,如何只交给同进程内,一个人去做加载存储? 使用归并回源的思路:https://pkg.go.dev/golang.org/x/sync/singleflight,同一时间只有一个协程去拿数据,拿到数据前,相同任务…