江苏龙网

  1. 主页 > 生活百科 > >

Java架构-MYSQL大数据量下的操作与优化( 三 )

Java架构


session.getTransaction().rollback();//如果事务不成功，则rollback
} finally {
// 如果是openSession()方法创建的session，必须手动关闭
session.close();//注意关闭顺序，session先关，Factory最后关(因为它可以启动多个session)
sessionFactory.close();//关闭SessionFactory，虽然这里没看到它，但在HbnUtil里开启了 。
}

Java架构-MYSQL大数据量下的操作与优化

文章插图
 
4.%20表中大数据分页
我们先从一个常用但性能很差的查询来看一看 。
SELECT%20*FROM%20cityORDER%20BY%20id%20DESCLIMIT%200,%2015这个查询耗时0.00sec 。So，这个查询有什么问题呢？实际上，这个查询语句和参数都没有问题，因为它用到了下面表的主键，而且只读取15条记录 。
CREATE%20TABLE%20city%20(%20id%20int(10)%20unsigned%20NOT%20NULL%20AUTO_INCREMENT,%20city%20varchar(128)%20NOT%20NULL,%20PRIMARY%20KEY%20(id))%20ENGINE=InnoDB;真正的问题在于offset(分页偏移量)很大的时候，像下面这样：
SELECT%20*FROM%20cityORDER%20BY%20id%20DESCLIMIT%20100000,%2015;上面的查询在有2M行记录时需要0.22sec，通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行，但最后只需要15行 。大的分页偏移量会增加使用的数据，MySQL会将大量最终不会使用的数据加载到内存中 。就算我们假设大部分网站的用户只访问前几页数据，但少量的大的分页偏移量的请求也会对整个系统造成危害 。Facebook意识到了这一点，但Facebook并没有为了每秒可以处理更多的请求而去优化数据库，而是将重心放在将请求响应时间的方差变小 。
对于分页请求，还有一个信息也很重要，就是总共的记录数 。我们可以通过下面的查询很容易的获取总的记录数 。
SELECT%20COUNT(*)FROM%20city;然而，上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec 。一个不正确的优化是采用SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS可以在能够在分页查询时事先准备好符合条件的记录数，随后只要执行一句select%20FOUND_ROWS();%20就能获得总记录数 。但是在大多数情况下，查询语句简短并不意味着性能的提高 。不幸的是，这种分页查询方式在许多主流框架中都有用到，下面看看这个语句的查询性能 。
SELECT%20SQL_CALC_FOUND_ROWS%20*FROM%20cityORDER%20BY%20id%20DESCLIMIT%20100000,%2015;这个语句耗时20.02sec，是上一个的两倍 。事实证明使用SQL_CALC_FOUND_ROWS做分页是很糟糕的想法 。
下面来看看到底如何优化 。文章分为两部分，第一部分是如何获取记录的总数目，第二部分是获取真正的记录 。
高效的计算行数
如果采用的引擎是MyISAM，可以直接执行COUNT(*)去获取行数即可 。相似的，在堆表中也会将行数存储到表的元信息中 。但如果引擎是InnoDB情况就会复杂一些，因为InnoDB不保存表的具体行数 。
我们可以将行数缓存起来，然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时，执行下面的语句：
SELECT%20COUNT(*)FROM%20cityUSE%20INDEX(PRIMARY);获取记录
下面进入这篇文章最重要的部分，获取分页要展示的记录 。上面已经说过了，大的偏移量会影响性能，所以我们要重写查询语句 。为了演示，我们创建一个新的表“news”，按照时事性排序(最新发布的在最前面)，实现一个高性能的分页 。为了简单，我们就假设最新发布的新闻的Id也是最大的 。
CREATE%20TABLE%20news(%20id%20INT%20UNSIGNED%20PRIMARY%20KEY%20AUTO_INCREMENT,%20title%20VARCHAR(128)%20NOT%20NULL)%20ENGINE=InnoDB;一个比较高效的方式是基于用户展示的最后一个新闻Id 。查询下一页的语句如下，需要传入当前页面展示的最后一个Id 。
SELECT%20*FROM%20news%20WHERE%20id%20<%20$last_idORDER%20BY%20id%20DESCLIMIT%20$perpage查询上一页的语句类似，只不过需要传入当前页的第一个Id，并且要逆序 。
SELECT%20*FROM%20news%20WHERE%20id%20>%20$last_idORDER%20BY%20id%20ASCLIMIT%20$perpage上面的查询方式适合实现简易的分页，即不显示具体的页数导航，只显示“上一页”和“下一页”，例如博客中页脚显示“上一页”，“下一页”的按钮 。但如果要实现真正的页面导航还是很难的,下面看看另一种方式 。
SELECT%20idFROM%20(%20SELECT%20id,%20((@cnt:=%20@cnt%20+%201)%20+%20$perpage%20-%201)%20%%20$perpage%20cnt%20FROM%20news%20JOIN%20(SELECT%20@cnt:=%200)T%20WHERE%20id%20<%20$last_id%20ORDER%20BY%20id%20DESC%20LIMIT%20$perpage%20*%20$buttons)CWHERE%20cnt%20=%200;通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id 。这种方法还有一个好处 。假设，网站上正在发布一片新的文章，那么所有文章的位置都会往后移一位，所以如果用户在发布文章时换页，那么他会看见一篇文章两次 。如果固定了每个按钮的offset%20Id，这个问题就迎刃而解了 。Mark%20Callaghan发表过一篇类似的博客，利用了组合索引和两个位置变量，但是基本思想是一致的 。


推荐阅读


上一篇：Docker 管理员操作使用说明

下一篇：一文让你搞懂令人脑瓜疼的python编码问题