背景 kafka可以通过多个partition实现并发，但是针对单个partition，必须顺序提交。假如消息发送顺序为1,2,3，如果先提交3，会导致1,2被提交。所以不能并发执行后立即提交。 解决思路 记录接收消息的顺序到listA，然后并发执行，执行成功的消息，记录到setB。起个goroutine定时提交，顺序遍历listA，依次判断该消息…
Kafka 并发消费单个 partition
【笔记】Operator课程(7-9)
client-go 架构图 Indexer原理 Indexer缓存k8s资源对象，并提供便捷的方式查询。例如获取某个namespace下的所有资源 indexer接口继承了store接口，所以indexer的实现类也是store的实现类。add方法被调用的地方和store一样，是reflector调用的。 type Indexer interfac…
【笔记】分布式缓存(1-2)
300分钟吃透分布式缓存——陈波 分布式缓存 01 业务数据访问性能太低怎么办？ 缓存的定义 狭义缓存 加速CPU数据交换的存储器。 广义缓存 数据高速交换的存储介质，加速数据访问。 缓存成本 时间局限性原理，即被获取过一次的数据在未来会被多次引用，比如一条微博被一个人感兴趣并阅读后，它大概率还会被更多人阅读。 以空间换时间，因为原始数据获取太慢，…
【笔记】Operator课程(1-6)
白丁云原生：k8s编程-operator篇【已完结】 clientgo架构 以前以为client-go只是通过restclient去调用api server，其实不然，它还具备controller的逻辑，以实现更强大的k8s操作。 RESTClient原理 创建了所有版本的client，例如corev1，体现k8s向后兼容，只要正式版发布的接口不会…
玩玩NAS、软路由，搭建家庭影音系统
背景 我平时爱看一些高清电影，4k、HDR之类的，还有很多国内视频软件没有的电影。我媳妇也喜欢看剧，平时做饭的时候，都会用平板播放电视剧。所以我家对影音这块是有需求的。 之前觉得nas太重了，还调研过个人云存储：联想NAS A1调研，由于外网访问速度太低，最终没有入手。现在看来还好没有入手，那玩意没有docker，可玩性太低，特别是对于影音系统，需…
Leaf——美团分布式ID生成系统
Leaf——美团点评分布式ID生成系统 https://github.com/Meituan-Dianping/Leaf 数据库号段发号 线程池设置线程编号 public static class UpdateThreadFactory implements ThreadFactory { private static int threadInit…
利用golang-migrate，实现 Golang 项目启动时自动维护数据库变更
前言 数据库变更管理是软件发布必不可少的环节，理想状态是只需发布一个镜像，就能更新应用和数据库。我们项目使用gorm来操作数据库，gorm是具有数据库迁移功能的，但是没有SQL脚本直观。另外我们的应用是同库多服务的微服务，还有些服务存在多个实例的情况，这就需要考虑数据竞争问题了。经过调研，最终选择了Github 10k star 的golang-m…