在做一个管理全市人口信息系统时,数据量大约八百三十万,测试时是按照一千万条数据量来的,开始优化时出现各种问题,使用过各种方法,最终优化分页查询任何一页在10秒以内

感谢孙伟,个人稍加修改

--=============================================
-- Author:        <Author,张世民>
-- Create date: <Create 2012/05/19>
-- Description:    <千万条数据分页查询优化>
-- =============================================
--/*-----存储过程 分页处理 孙伟 2005-03-28创建 -------*/
--/*----- 对数据进行了2分处理使查询前半部分数据与查询后半部分数据性能相同 -------*/ALTER PROCEDURE [dbo].[GetPageList]
(
@tableName     nvarchar(200),        ----要显示的表或多个表的连接
@idField        nvarchar(150),        ----主表的主键
@fieldsName     nvarchar(500) = '*',    ----要显示的字段列表
@pageSize    int = 10,        ----每页显示的记录个数
@page        int = 1,        ----要显示那一页的记录
@pageCount    int = 1 output,            ----查询结果分页后的总页数
@Counts    int = 1 output,                ----查询到的记录数
@fieldSort    nvarchar(200) = null,    ----排序字段列表或条件
--@Sort        bit = 0,        ----排序方法,0为升序,1为降序(如果是多字段排列Sort指代最后一个排序字段的排列顺序(最后一个排序字段不加排序标记)--程序传参如:' SortA Asc,SortB Desc,SortC ')
@where    nvarchar(1000) = null,    ----查询条件,不需where
@Dist                 bit = 0           ----是否添加查询字段的 DISTINCT 默认0不添加/1添加
)
AS
SET NOCOUNT ON
Declare @sqlTmp nvarchar(1000)        ----存放动态生成的SQL语句
Declare @strTmp nvarchar(1000)        ----存放取得查询结果总数的查询语句
Declare @strID     nvarchar(1000)        ----存放取得查询开头或结尾ID的查询语句Declare @strSortType nvarchar(10)    ----数据排序规则A
Declare @strFSortType nvarchar(10)    ----数据排序规则BDeclare @SqlSelect nvarchar(50)         ----对含有DISTINCT的查询进行SQL构造
Declare @SqlCounts nvarchar(50)          ----对含有DISTINCT的总数查询进行SQL构造if @Dist  = 0
beginset @SqlSelect = 'select 'set @SqlCounts = 'Count(*)'
end
else
beginset @SqlSelect = 'select distinct 'set @SqlCounts = 'Count(DISTINCT '+@idField+')'
end/*if @Sort=0
begin*/set @strFSortType=' 'set @strSortType=' DESC '
/*end
else
beginset @strFSortType=' DESC 'set @strSortType=' ASC '
end*/--------生成查询语句--------
--此处@strTmp为取得查询结果数量的语句
if @where is null or @where=''     --没有设置显示条件
beginset @sqlTmp =  @fieldsName + ' From ' + @tableNameset @strTmp = @SqlSelect+' @Counts='+@SqlCounts+' FROM '+@tableNameset @strID = ' From ' + @tableName
end
else
beginset @sqlTmp = + @fieldsName + 'From ' + @tableName + ' where (1>0) ' + @whereset @strTmp = @SqlSelect+' @Counts='+@SqlCounts+' FROM '+@tableName + ' where (1>0) ' + @whereset @strID = ' From ' + @tableName + ' where (1>0) ' + @where
end----取得查询结果总数量-----
exec sp_executesql @strTmp,N'@Counts int out ',@Counts out
declare @tmpCounts int
if @Counts = 0set @tmpCounts = 1
elseset @tmpCounts = @Counts--取得分页总数set @pageCount=(@tmpCounts+@pageSize-1)/@pageSize/**当前页大于总页数 取最后一页**/if @page>@pageCountset @page=@pageCount--/*-----数据分页2分处理-------*/declare @pageIndex int --总数/页大小declare @lastcount int --总数%页大小 set @pageIndex = @tmpCounts/@pageSizeset @lastcount = @tmpCounts%@pageSizeif @lastcount > 0set @pageIndex = @pageIndex + 1elseset @lastcount = @pagesize--//***显示分页if @where is null or @where=''     --没有设置显示条件beginif @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2   --前半部分数据处理begin if @page=1set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName                        +' order by '+ @fieldSort +' '+ @strFSortTypeelsebegin                    set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' >(select max('+ @idField +') from ('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-1) as Varchar(20)) +' '+ @idField +' from '+@tableName+' order by '+ @fieldSort +' '+ @strFSortType +') AS TBMinID)'+' order by '+ @fieldSort +' '+ @strFSortTypeend    endelsebeginset @page = @pageIndex-@page+1 --后半部分数据处理if @page <= 1 --最后一页数据显示                set @strTmp=@SqlSelect+' *from ('+@SqlSelect+' top '+ CAST(@lastcount as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType elseset @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' <(select min('+ @idField +') from('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-2)+@lastcount as Varchar(20)) +' '+ @idField +' from '+@tableName+' order by '+ @fieldSort +' '+ @strSortType+') AS TBMaxID)'+' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType endendelse --有查询条件beginif @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2   --前半部分数据处理beginif @page=1set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName                        +' where 1=1 ' + @where + ' order by '+ @fieldSort +' '+ @strFSortTypeelsebegin                    set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' >(select max('+ @idField +') from ('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-1) as Varchar(20)) +' '+ @idField +' from '+@tableName+' where (1=1) ' + @where +' order by '+ @fieldSort +' '+ @strFSortType+') AS TBMinID)'+' '+ @where +' order by '+ @fieldSort +' '+ @strFSortTypeend            endelsebegin set @page = @pageIndex-@page+1 --后半部分数据处理if @page <= 1 --最后一页数据显示set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@lastcount as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where (1=1) '+ @where +' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType                     elseset @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' <(select min('+ @idField +') from('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-2)+@lastcount as Varchar(20)) +' '+ @idField +' from '+@tableName+' where (1=1) '+ @where +' order by '+ @fieldSort +' '+ @strSortType+') AS TBMaxID)'+' '+ @where+' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType                end    end------返回查询结果-----
exec sp_executesql @strTmp
--print @strTmp
SET NOCOUNT OFF

转载于:https://www.cnblogs.com/zsmhhfy/archive/2012/06/20/2556613.html

sql server 2008 千万条数据分页查询相关推荐

  1. [转]实战 SQL Server 2008 数据库误删除数据的恢复

    实战 SQL Server 2008 数据库误删除数据的恢复 关键字:SQL Server 2008, recover deleted records 今天有个朋友很着急地打电话给我,他用delete ...

  2. SQL Server 2008 批量插入数据时报错

    前几天在SQL Server 2008同步产品数据时,总是提示二进制文本被截断的错误,但是经过检查发现数据都符合格式要求. 百思不得其解,单独插入一条条数据则可以插入,但是批量导入则报错. 批量导入代 ...

  3. SQL Server 2008 R2导出数据脚本和导入数据库脚本的方法(原创+转载)

    以前看到有些朋友说必须SQL Server 2008才能导出包含数据的脚本,后来仔细研究发现其实SQL Server 2008 R2也是可以的,只需在导出的时候在高级中设置一下即可. 1.首先在数据库 ...

  4. 实战 SQL Server 2008 数据库误删除数据的恢复 (转)

    今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所有记录,而这个数据库之前没有任何备份.让我帮他解决一下,不然他要赔偿客户很多钱. SQL ...

  5. sql server 2008 数据结构及数据内容一起导出的方法(导出脚本形式)

    由于工作的原因接触sql server 2008的数据库,其实我自己用的数据库和今天介绍的数据库不是同一个版本的.但是因工作遇到过,而那时还不知道如果在导出脚本的时候,可以把数据一起导出,网上搜的内容 ...

  6. 转:实战 SQL Server 2008 数据库误删除数据的恢复

    今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所有记录,而这个数据库之前没有任何备份.让我帮他解决一下,不然他要赔偿客户很多钱. SQL ...

  7. sql server 2008 导入导出数据大全

    /*******  导出到excel EXEC master..xp_cmdshell 'bcp SettleDB.dbo.shanghu out c:\temp1.xls -c -q - S&quo ...

  8. sql server 拿第二条数据

    在一些业务需求中难免会碰到去拿sql 中的第二条数据,鄙人刚刚实现,现提供出来望大家参考: select top 1 * from (SELECT TOP 2 bg_CreateTime FROM t ...

  9. 实战 SQL Server 2008 数据库误删除数据的恢复

    关键字:SQL Server 2008, recover deleted records 今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所 ...

  10. 实战 SQL Server 2008 数据库误删除数据的恢复(转)

    今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所有记录,而这个数据库之前没有任何备份.让我帮他解决一下,不然他要赔偿客户很多钱. SQL ...

最新文章

  1. 团队作业4——第一次项目冲刺(Alpha版本)4.28
  2. mfc 怎样动态设置static text 的可见属性
  3. windows时间显示到秒
  4. Linux wifi连接桌面,【已解决】Arch linux 安装之后在deepin桌面环境下使用networkmanager连接wifi 出现间歇性重连的情况...
  5. linux基础命令 sed
  6. 【操作系统】使用循环创建线程,一个手残导致的bug
  7. c++opencv显示中文_图像处理入门 100 题,有人把它翻译成了中文版!
  8. 使用 IntraWeb (41) - 数据控件速查
  9. Python学习入门基础教程(learning Python)--5.4 Python读文件详解
  10. B-树关键字个数计算
  11. 《嵌入式系统Linux内核开发实战指南(ARM平台)》书评
  12. Linux/Android——input_handler之evdev (四) 【转】
  13. (转载)C++面试宝典2011版
  14. deepin linux 安装jdk,deepin安装JDK
  15. Kernel 日志缓存大小修改
  16. SD/SDHC/SDXC区别
  17. 戴尔服务器r720怎么进入系统安装,戴尔R720服务器安装步骤.doc
  18. chosen插件 select 替换 option
  19. 七牛云 Bucket是什么?怎么取得
  20. linux 查看文件 可翻页,Linux如何读取文件,如何翻页

热门文章

  1. Could not open client transport with JDBC Uri: jdbc:hive2://slaver2:10000: java.net.ConnectException
  2. spi slaver接口的fpga实现
  3. 目标检测 | 盘点提升小目标检测的思路
  4. @Deprecated、@deprecated注解说明
  5. 猴子爬树php,爬树就像猴子一样顺溜的生肖女
  6. B-Tree和B+Tree学习笔记
  7. 搞个笑?用Verilog产生一个三角波吧!
  8. 《Excel高手捷径:一招鲜,吃遍天》一第29招 Excel 文件“减肥瘦身”秘诀
  9. 搜狗输入法取消英文空格确认
  10. POJ 3626 Mud Puddles (BFS)