请问各位大佬一个问题,从数据库里查询到数据量过大时,直接处理数据可能会OOM,那?

请问各位大佬一个问题,从数据库里查询到数据量过大时,直接处理数据可能会OOM,那?

阅读全文
请先 登录 后评论
  • 0 关注
  • 0 收藏 79 浏览
  • 略问用户 提出于 2020-10-22 17:37:28

5 个回答

xxxxxa
有状态变化不可怕。分页获取的时候,根据主键排序,没有主键按照创建时间排序。
请先 登录 后评论
xxxxxa
最简单的就是给数据加一个标志位,每一轮任务都生成一个任务id,处理完一个就把这个任务id更新到该条数据的标志位上
请先 登录 后评论
xxxxxa
最简单的办法是建一个表 标识哪些数据已经经过处理
请先 登录 后评论
xxxxxa
加一个作业状态标记或者列表
请先 登录 后评论
xxxxxa
先对数据做分片处理,将分片信息存入队列,然后去刷新队列,取出对应的信息放入缓存,如果大对象的话,用memcache缓存处理,不要用redis
请先 登录 后评论