- 一、前言
- 二、实现方案
- 方案一、通过数据库实现
- 方案二、通过集合List实现数据排序功能
- 方案三、通过redis的zset实现
- 方案四、通过java中的sortedSet集合实现
- 方案五、通过java的priorityQueue队列实现
最近在做一个项目的性能优化,涉及到一个实时数据排行榜功能的性能优化,原方案涉及实时数据排行榜数据是通过实时查询数据实现的,这样实现业务逻辑比较简单,但是在数据量比较多时,操作是比较耗费性能;
=我们这里总结几种java实现排行榜的功能,供大家参考。=
账号浏览量实时更新到中,用户访问时,通过实时查询数据库获取排行榜数据,这也是我们原有的设计方案,性能比较低,在数据量和用户量比较少时,可以考虑;
Console:
这种算法随着数据量越大,时间复杂度越高,同时我们也不可能每次查询一下排行榜数据都做一次排序计算,这种性能也是比较低的;如果通过定时排序实现,又会有数据延迟性能的问题;
我们常见的排序算法有10种,如下:
但是不论是哪种算法通过查询时排序的方式实现排行榜的功能是不可取的,原因同上;
和redis集合类似,是不包含 相同字符串的合集。它们的差别是,每个有序集合 的成员都关联着一个评分,这个评分用于把有序集 合中的成员按最低分到最高分排列。
使用有序集合,你可以非常快地()完成添加,删除和更新元素的操作。 因为元素是在插入时就排好序的,所以很快地通过或者 位次(position)获得一个范围的元素。 访问有序集合的中间元素同样也是非常快的,因此你可以使用有序集合作为一个没用重复成员的智能列表。 在这个列表中, 你可以轻易地访问任何你需要的东西: 有序的元素,快速的存在性测试,快速访问集合中间元素!
在项目开发中,redis的zset是常用作排行榜功能的实现方式,但是依赖于redis组件实现,在没有redis的场景下如何实现呐?
集合有redis中zset数据类型一样属性,都是有序集合;
实现类我们使用,这个类的命名我们能看出来它实现线程安全的,这很重要,我们实现的场景中涉及到多线程并发操作;
方案流程:
我们这里的样例方案是以抖音直播排行榜为例,各个直播间访客人数是动态变化的,人气排行榜也是动态实时变化的;
代表,代表实时,就是,我们可以取;
方案描述:
1)账号是存在多个的,每个账号的浏览量也是实时变化的,每变化一次就生成一个浏览量消息推送到后台服务;
2)存储账号已在中存储数据的位置,以便在账号数据更新时,删除老数据,提高删除效率;
3)浏览量的排序发生在存入sortedSet时,所以获取榜单top N时,只需要变量sortedSet集合前N个元素即可,由于是的,支持多线程sortedSet集合中的数据;
代码实现:
1)用户类
2)sortedSet、map实现
3)生产者线程
4)消费者线程
5)初始化类
6)执行结果
但是,实现有一个问题,那就是浏览量visitedNumber不能重复,因为集合中数据是不可重复的,排序的属性也是不能重复的;我们知道浏览量是可能存在重复,那这种情况应该怎么办?
采用的是堆排序,实际上是一个堆(不指定Comparator时默认为最小堆)
队列既可以根据元素的自然顺序来排序,也可以根据 来设置排序规则。队列的头是按指定排序方式的最小元素。如果多个元素都是最小值,则头是其中一个元素。新建对象的时候可以指定一个初始容量,其容量会自动增加。
同样,出于线程安全考虑,我们使用线程安全的实现类:
是一个无界的基于数组的优先级阻塞队列,数组的默认长度是11,也可以指定数组的长度,且可以无限的扩充,直到资源消耗尽为止,每次出队都返回优先级别最高的或者最低的元素。默认情况下元素采用自然顺序升序排序,当然我们也可以通过构造函数来指定Comparator来对元素进行排序。需要注意的是不能保证同优先级元素的顺序。
方案流程:
方案描述:
1)方案流程与方案四项目节点方案描述同上;
2)修改为了,排序结合中可以存在相同浏览量的元素;
3)客户端访问排行榜时从队列queue中copy一份实时数据,取Top N,并不会影响原queue数据;
4)也可以只保留一个服务数据,定时从元中数据;
5)主queue队列,可以只存top N的数据,新数据在插入queue之前,先和队列queue中最小值比较,如果小于最小值,则不入队列,反之存入队列,删除最小值;这样能够节省内存空间;();
代码实现:
1)priorityQueue、map实现
2)生产者
3)消费者
4)初始化类
5)执行结果