redis 数据删除策略和逐出算法的问题小结

　　asp源码怎么搭建网站在redis中数据的存储不仅仅需要保存数据本身还要保存数据的生命周期，也就是过期时间。在redis 中 数据的存储结构如下图：

　　Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态

　　在内存占用与CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄漏。

　　CPU压力很大，无论CPU此时负载多高，均占用CPU，会影响redis服务器响应时间和指令吞吐量

　　数据到达过期时间，不做处理。等下次访问该数据，如果未过期，返回数据。发现已经过期，删除，返回不存在。这样每次读写数据都需要检测数据是否已经到达过期时间。也就是惰性删除总是在数据的读写时发生的。

　　对所有的读写命令进行检查，检查操作的对象是否过期。过期就删除返回过期，不过期就什么也不做～。

　　判断key是否过期的数据结构是db->expires，也就是通过expires的数据结构判断数据是否过期。

　　redis的定期删除是通过定时任务实现的，也就是定时任务会循环调用serverCron方法。然后定时检查过期数据的方法是databasesCron。定期删除的一大特点就是考虑了定时删除过期数据会占用cpu时间，所以每次执行databasesCron的时候会限制cpu的占用不超过25%。真正执行删除的是activeExpireCycle方法asp技术。

　　对于持续运行的服务器来说， 服务器需要定期对自身的资源和状态进行必要的检查和整理， 从而让服务器维持在一个健康稳定的状态， 这类操作被统称为常规操作（cron job）

　　因为serverCron()需要在 Redis 服务器运行期间一直定期运行， 所以它是一个循环时间事件：serverCron()会一直定期执行，直到服务器关闭为止。

　　在 Redis 2.6 版本中， 程序规定serverCron()每秒运行10次， 平均每100毫秒运行一次。 从 Redis 2.8 开始， 用户可以通过修改hz选项来调整serverCron()的每秒执行次数， 具体信息请参考文件中关于hz选项的说明

　　在databasesCron()中 调用了activeExpireCycle()方法，来对过期的数据进行处理。(在这里还会做一些其他操作～ 调整数据库大小，主动和渐进式rehash)

　　除了主动淘汰的频率外，Redis对每次淘汰任务执行的最大时长也有一个限定，这样保证了每次主动淘汰不会过多阻塞应用请求，以下是这个限定计算公式：

　　hz调大将会提高Redis主动淘汰的频率，如果你的Redis存储中包含很多冷数据占用内存过大的话，可以考虑将这个值调大，但Redis作者建议这个值不要超过100。我们实际线上将这个值调大到100，观察到CPU会增加2%左右，但对冷数据的内存释放速度确实有明显的提高（通过观察keyspace个数和used_memory大小）。

　　可以看出timelimit和server.hz是一个倒数的关系，也就是说hz配置越大，timelimit就越小。换句话说是每秒钟期望的主动淘汰频率越高，则每次淘汰最长占用时间就越短。这里每秒钟的最长淘汰占用时间是固定的250ms（1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/100），而淘汰频率和每次淘汰的最长时间是通过hz参数控制的。

　　因此当redis中的过期key比率没有超过25%之前，提高hz可以明显提高扫描key的最小个数。假设hz为10，则一秒内最少扫描200个key（一秒调用10次*每次最少随机取出20个key），如果hz改为100，则一秒内最少扫描2000个key；另一方面，如果过期key比率超过25%，则扫描key的个数无上限，但是cpu时间每秒钟最多占用250ms。

　　当REDIS运行在主从模式时，只有主结点才会执行上述这两种过期删除策略，然后把删除操作”del key”同步到从结点。

　　如果不限制 reids 对内存使用的限制，它将会使用全部的内存。可以通过来指定redis 对内存的使用量 。

　　将内存使用限制设置为指定的字节。当已达到内存限制Redis将根据所选的逐出策略（请参阅maxmemory策略）尝试删除数据。

　　如果Redis无法根据逐出策略移除密钥，或者策略设置为“noeviction”，Redis将开始对使用更多内存的命令（如set、LPUSH等）进行错误回复，并将继续回复只读命令，如GET。

　　当将Redis用作LRU或LFU缓存或设置实例的硬内存限制（使用“noeviction”策略）时，此选项通常很有用。

　　警告：如果将副本附加到启用maxmemory的实例，则将从已用内存计数中减去馈送副本所需的输出缓冲区的大小，这样，网络问题/重新同步将不会触发收回密钥的循环，而副本的输出缓冲区将充满收回的密钥增量，从而触发删除更多键，依此类推，直到数据库完全清空。

　　简而言之。。。如果附加了副本，建议您设置maxmemory的下限，以便系统上有一些空闲RAM用于副本输出缓冲区（但如果策略为“noeviction”，则不需要此限制）。

　　noeviction ： 永不过期，返回错误当mem_used内存已经超过maxmemory的设定，对于所有的读写请求都会触发redis.c/freeMemoryIfNeeded(void)函数以清理超出的内存。注意这个清理过程是阻塞的，直到清理出足够的内存空间。所以如果在达到maxmemory并且调用方还在不断写入的情况下，可能会反复触发主动清理策略，导致请求会有一定的延迟。

　　清理时会根据用户配置的maxmemory-policy来做适当的清理（一般是LRU或TTL），这里的LRU或TTL策略并不是针对redis的所有key，而是以配置文件中的maxmemory-samples个key作为样本池进行抽样清理。

　　maxmemory-samples在redis-3.0.0中的默认配置为5，如果增加，会提高LRU或TTL的精准度，redis作者测试的结果是当这个配置为10时已经非常接近全量LRU的精准度了，并且增加maxmemory-samples会导致在主动清理时消耗更多的CPU时间，建议：

　　1 尽量不要触发maxmemory，最好在mem_used内存占用达到maxmemory的一定比例后，需要考虑调大hz以加快淘汰，或者进行集群扩容。

　　这里提一句，实际上redis根本就不会准确的将整个数据库中最久未被使用的键删除，而是每次从数据库中随机取5个键并删除这5个键里最久未被使用的键。上面提到的所有的随机的操作实际上都是这样的，这个5可以用过redis的配置文件中的maxmemeory-samples参数配置。

　　使用INFO命令输出监控信息，查询缓存int和miss的次数，根据业务需求调优Redis配置。

　　可能你已经听说过Redis 中嵌入了脚本语言，但是你还没有亲自去尝试吧？ 这个入门教程会让你学会在你的Redis 服务器上使用强大的lua语言。Hello, Lua!我们的第一个Redis Lua 脚本仅仅返回一个字符串，而不会去与redis 以任何有意义...查看详情

　　从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到最佳...查看详情

　　概述装了redis有一段时间了，每次运行的时候都需要手动在命令行里启动redis，而且窗口不能关闭，感觉很麻烦，所以就想把redis设置为开机启动。由于google打不开(伟大的GFW啊)，所以百度了几篇文章，照着教程一步一步做还是没有成功，怪自己太笨了。这两天自己搭建了一个VP...查看详情

　　本文介绍redis排序命令redis支持对list，set，sorted set元素的排序sort 排序命令格式： sort key [BY pattern] [LIMIT start count] [GET pattern] [ASCDESC] [ALPHA] [STORE ...查看详情

　　Redis中双链表实现的基本结构：1.节点结构typedef struct listNode { struct listNode *prev; //前向节点 struct listNode *next; //后向节点 void *value; //该节点的值} ...查看详情

　　sds 的用途Sds 在 Redis 中的主要作用有以下两个：实现字符串对象（StringObject）；在 Redis 程序内部用作 char* 类型的替代品；以下两个小节分别对这两种用途进行介绍。实现字符串对象Redis 是一个键值对数据库（key-value DB）， 数据...查看详情

　　这篇文章主要介绍了利用Redis实现SQL伸缩的方法,包括讲到了锁和时间序列等方面来提升传统数据库的性能,需要的朋友可以参考下。缓解行竞争我们在Sentry开发的早起采用的是sentry.buffers。 这是一个简单的系统，它允许我们以简单的Last Write Wins策略来...查看详情

　　Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add...查看详情

　　下面列出11种Web应用场景，在这些场景下可以充分的利用Redis的特性，大大提高效率。1.在主页中显示最新的项目列表Redis使用的是常驻内存的缓存，速度非常快。LPUSH用来插入一个内容ID，作为关键字存储在列表头部。LTRIM用来限制列表中的项目数最多为5000。如果用户需...查看详情

　　关注关系产生的四种关系状态 关注 粉丝 双向关注(互粉) 无关系需求分析在微博中，每一个用户都会有一个关注列表，一个粉丝列表。用户可以查看自己的关注，粉丝列表，也可以查看别人的关注，粉丝列表。并且，要展示列表里每个人与当前查看者的关注状态。状态的可能性就是上面讲到得四种关...查看详情