背景介绍 在论坛类型的数据中,特别是涉及到可能有大量营销号的时候,有个要面对的情况就是,要如何对数据进行"去重".这个去重并非真正的去重,而是说去掉人眼认为大量"相同的"数据...
发简信
IP属地：西藏
-
elasticsearch6使用Collapse实现折叠重复数据效果
-
elasticsearch中使用bucket script进行聚合
1、背景 此篇文档简单的记录一下在es使用bucket script来进行聚合的一个例子。 2、需求 假设我们有一个简单的卖车数据，记录每个月month在卖了brand品牌的...
-
SaaS 中的多租户隔离设计多租户设计是做SaaS必不可少的一环，也是 SaaS 产品经理面临的第一关考验，而其中对于数据隔离的方案选择，对很多产品经理来说都是两眼一摸瞎。今天我们就来聊聊多租户设计的几...
-
围绕 B 端产品经理能力模型讲知识
-
浅谈数据中台架构设计中台这个词在互联网行业现在越来越火了，从以前对中台一词的争议，到现在演变成各种中台产品林立，加上阿里百度等中台架构的成功，可以看到中台产品在未来一段时间都会是互联网行业非常火...
-
日拱一卒，想到做到。<br>每天进步一点点微信公众号：花生行动（peanutaction）
-
分布式事务解决方案之本地消息表1.什么是分布式事务 描述分布式事务之前，先了解下事务是什么。事务就是一组操作构成的可靠的独立的工作单元，要么全部执行成功，要么全部执行失败。分布式就是一个业务由多个操作完成...
-
分布式事务设计 -- 本地消息表，设计与代码
分布式事务设计 场景 在业务中有一处需要用户为订单付款，该业务会修改用户库的balance（用户余额表），扣减用户的余额，然后会修改订单库的order（订单表）和enterp...
-
【开源实战】Canal部署常见问题：重复解析/Filter失效/消费落后
前言 Canal是阿里巴巴开源的数据库Binlog日志解析框架，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 本文重点内容 Canal常见的三大问...
-
Java编程技巧：if-else优化实践总结
文/朱季谦 说实话，其实我很讨厌在代码里大量使用if-else，一是因为该类代码执行方式属于面向过程的，二嘛，则是会显得代码过于冗余。这篇笔记，主要记录一些自己在工作实践当中...
-
mysql的MVCC机制面试问题：如果两个客户端同时执行一个查询sql，为什么查出的数据可能不一样？ 解答：是因为mysql底层维护了一个undo日志版本链和read-view一致性试图机制，在re...
-
mysql锁之行级锁
概念 行级锁就是锁住表中指定行的记录。 行锁原理 InnoDB行锁是通过给索引项加锁来实现的，如果没有建立索引，那么采用表默认的隐式主键来锁定。 innodb引擎提供行锁种类...
-
MySQL：互联网公司常用分库分表方案汇总！一、数据库瓶颈 不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接...
-
缓存雪崩导致的危害和解决办法1. Redis 数据失效导致的雪崩 因为缓存失效，从而导致大量请求导向数据库。 大量请求，导致数据库处理不过来，整个系统依赖数据库的功能全部崩溃 单系统挂掉，其他依赖于该系...
-
【es】 Elasticsearch-7.x-大集群选主优化Elasticsearch 在腾讯内部、腾讯公有云、专有云等拥有海量规模，客户群体广泛、应用场景丰富、覆盖日志实时分析、结构化数据分析、全文检索等场景。 Elasticsea...
-
频繁使用MySQL，磁盘IO高峰或爆满，innodb_buffer_pool_size解决方案原因：最近项目优化过程中，偶然发现本地服务器每过10s就会有一次磁盘爆满的现象。在我们的项目中发现本地项目中存在一个用作“同步数据”的定时任务每过10s就查询数据库表，并把这...
-
【es】Elasticsearch如何保证数据不丢失？我们大概已经知道了 Elasticsearch处理数据的流程，其中在Elasticsearch和磁盘之间还有一层称为FileSystem Cache的系统缓存，正是由于这层c...
-
mysql锁之死锁
什么场景会出现死锁 两个或者两个以上的事务在执行过程中，出现了因为争夺资源造成的一种互相等待情况。 共享锁死锁的情况 session1session2set autocomm...
-
9. Jenkins+Docker 实现一键自动化部署项目简述实现步骤：在docker安装jenkins，配置jenkins基本信息，利用Dockerfile和shell脚本实现项目自动拉取打包并运行。 安装dockerdocker...
-
【高并发】通过源码深度解析ThreadPoolExecutor类是如何保证线程池正确运行的大家好，我是冰河~~ 对于线程池的核心类ThreadPoolExecutor来说，有哪些重要的属性和内部类为线程池的正确运行提供重要的保障呢？ ThreadPoolExecu...
