sql server 2008 千万条数据分页查询
在做一个管理全市人口信息系统时,数据量大约八百三十万,测试时是按照一千万条数据量来的,开始优化时出现各种问题,使用过各种方法,最终优化分页查询任何一页在10秒以内
感谢孙伟,个人稍加修改
--============================================= -- Author: <Author,张世民> -- Create date: <Create 2012/05/19> -- Description: <千万条数据分页查询优化> -- ============================================= --/*-----存储过程 分页处理 孙伟 2005-03-28创建 -------*/ --/*----- 对数据进行了2分处理使查询前半部分数据与查询后半部分数据性能相同 -------*/ALTER PROCEDURE [dbo].[GetPageList] ( @tableName nvarchar(200), ----要显示的表或多个表的连接 @idField nvarchar(150), ----主表的主键 @fieldsName nvarchar(500) = '*', ----要显示的字段列表 @pageSize int = 10, ----每页显示的记录个数 @page int = 1, ----要显示那一页的记录 @pageCount int = 1 output, ----查询结果分页后的总页数 @Counts int = 1 output, ----查询到的记录数 @fieldSort nvarchar(200) = null, ----排序字段列表或条件 --@Sort bit = 0, ----排序方法,0为升序,1为降序(如果是多字段排列Sort指代最后一个排序字段的排列顺序(最后一个排序字段不加排序标记)--程序传参如:' SortA Asc,SortB Desc,SortC ') @where nvarchar(1000) = null, ----查询条件,不需where @Dist bit = 0 ----是否添加查询字段的 DISTINCT 默认0不添加/1添加 ) AS SET NOCOUNT ON Declare @sqlTmp nvarchar(1000) ----存放动态生成的SQL语句 Declare @strTmp nvarchar(1000) ----存放取得查询结果总数的查询语句 Declare @strID nvarchar(1000) ----存放取得查询开头或结尾ID的查询语句Declare @strSortType nvarchar(10) ----数据排序规则A Declare @strFSortType nvarchar(10) ----数据排序规则BDeclare @SqlSelect nvarchar(50) ----对含有DISTINCT的查询进行SQL构造 Declare @SqlCounts nvarchar(50) ----对含有DISTINCT的总数查询进行SQL构造if @Dist = 0 beginset @SqlSelect = 'select 'set @SqlCounts = 'Count(*)' end else beginset @SqlSelect = 'select distinct 'set @SqlCounts = 'Count(DISTINCT '+@idField+')' end/*if @Sort=0 begin*/set @strFSortType=' 'set @strSortType=' DESC ' /*end else beginset @strFSortType=' DESC 'set @strSortType=' ASC ' end*/--------生成查询语句-------- --此处@strTmp为取得查询结果数量的语句 if @where is null or @where='' --没有设置显示条件 beginset @sqlTmp = @fieldsName + ' From ' + @tableNameset @strTmp = @SqlSelect+' @Counts='+@SqlCounts+' FROM '+@tableNameset @strID = ' From ' + @tableName end else beginset @sqlTmp = + @fieldsName + 'From ' + @tableName + ' where (1>0) ' + @whereset @strTmp = @SqlSelect+' @Counts='+@SqlCounts+' FROM '+@tableName + ' where (1>0) ' + @whereset @strID = ' From ' + @tableName + ' where (1>0) ' + @where end----取得查询结果总数量----- exec sp_executesql @strTmp,N'@Counts int out ',@Counts out declare @tmpCounts int if @Counts = 0set @tmpCounts = 1 elseset @tmpCounts = @Counts--取得分页总数set @pageCount=(@tmpCounts+@pageSize-1)/@pageSize/**当前页大于总页数 取最后一页**/if @page>@pageCountset @page=@pageCount--/*-----数据分页2分处理-------*/declare @pageIndex int --总数/页大小declare @lastcount int --总数%页大小 set @pageIndex = @tmpCounts/@pageSizeset @lastcount = @tmpCounts%@pageSizeif @lastcount > 0set @pageIndex = @pageIndex + 1elseset @lastcount = @pagesize--//***显示分页if @where is null or @where='' --没有设置显示条件beginif @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2 --前半部分数据处理begin if @page=1set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName +' order by '+ @fieldSort +' '+ @strFSortTypeelsebegin set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' >(select max('+ @idField +') from ('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-1) as Varchar(20)) +' '+ @idField +' from '+@tableName+' order by '+ @fieldSort +' '+ @strFSortType +') AS TBMinID)'+' order by '+ @fieldSort +' '+ @strFSortTypeend endelsebeginset @page = @pageIndex-@page+1 --后半部分数据处理if @page <= 1 --最后一页数据显示 set @strTmp=@SqlSelect+' *from ('+@SqlSelect+' top '+ CAST(@lastcount as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType elseset @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' <(select min('+ @idField +') from('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-2)+@lastcount as Varchar(20)) +' '+ @idField +' from '+@tableName+' order by '+ @fieldSort +' '+ @strSortType+') AS TBMaxID)'+' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType endendelse --有查询条件beginif @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2 --前半部分数据处理beginif @page=1set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName +' where 1=1 ' + @where + ' order by '+ @fieldSort +' '+ @strFSortTypeelsebegin set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' >(select max('+ @idField +') from ('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-1) as Varchar(20)) +' '+ @idField +' from '+@tableName+' where (1=1) ' + @where +' order by '+ @fieldSort +' '+ @strFSortType+') AS TBMinID)'+' '+ @where +' order by '+ @fieldSort +' '+ @strFSortTypeend endelsebegin set @page = @pageIndex-@page+1 --后半部分数据处理if @page <= 1 --最后一页数据显示set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@lastcount as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where (1=1) '+ @where +' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType elseset @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fieldsName+' from '+@tableName+' where '+@idField+' <(select min('+ @idField +') from('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-2)+@lastcount as Varchar(20)) +' '+ @idField +' from '+@tableName+' where (1=1) '+ @where +' order by '+ @fieldSort +' '+ @strSortType+') AS TBMaxID)'+' '+ @where+' order by '+ @fieldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fieldSort +' '+ @strFSortType end end------返回查询结果----- exec sp_executesql @strTmp --print @strTmp SET NOCOUNT OFF
转载于:https://www.cnblogs.com/zsmhhfy/archive/2012/06/20/2556613.html
sql server 2008 千万条数据分页查询相关推荐
- [转]实战 SQL Server 2008 数据库误删除数据的恢复
实战 SQL Server 2008 数据库误删除数据的恢复 关键字:SQL Server 2008, recover deleted records 今天有个朋友很着急地打电话给我,他用delete ...
- SQL Server 2008 批量插入数据时报错
前几天在SQL Server 2008同步产品数据时,总是提示二进制文本被截断的错误,但是经过检查发现数据都符合格式要求. 百思不得其解,单独插入一条条数据则可以插入,但是批量导入则报错. 批量导入代 ...
- SQL Server 2008 R2导出数据脚本和导入数据库脚本的方法(原创+转载)
以前看到有些朋友说必须SQL Server 2008才能导出包含数据的脚本,后来仔细研究发现其实SQL Server 2008 R2也是可以的,只需在导出的时候在高级中设置一下即可. 1.首先在数据库 ...
- 实战 SQL Server 2008 数据库误删除数据的恢复 (转)
今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所有记录,而这个数据库之前没有任何备份.让我帮他解决一下,不然他要赔偿客户很多钱. SQL ...
- sql server 2008 数据结构及数据内容一起导出的方法(导出脚本形式)
由于工作的原因接触sql server 2008的数据库,其实我自己用的数据库和今天介绍的数据库不是同一个版本的.但是因工作遇到过,而那时还不知道如果在导出脚本的时候,可以把数据一起导出,网上搜的内容 ...
- 转:实战 SQL Server 2008 数据库误删除数据的恢复
今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所有记录,而这个数据库之前没有任何备份.让我帮他解决一下,不然他要赔偿客户很多钱. SQL ...
- sql server 2008 导入导出数据大全
/******* 导出到excel EXEC master..xp_cmdshell 'bcp SettleDB.dbo.shanghu out c:\temp1.xls -c -q - S&quo ...
- sql server 拿第二条数据
在一些业务需求中难免会碰到去拿sql 中的第二条数据,鄙人刚刚实现,现提供出来望大家参考: select top 1 * from (SELECT TOP 2 bg_CreateTime FROM t ...
- 实战 SQL Server 2008 数据库误删除数据的恢复
关键字:SQL Server 2008, recover deleted records 今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所 ...
- 实战 SQL Server 2008 数据库误删除数据的恢复(转)
今天有个朋友很着急地打电话给我,他用delete语句误删除了SQL Server 2008数据库中两个表中的所有记录,而这个数据库之前没有任何备份.让我帮他解决一下,不然他要赔偿客户很多钱. SQL ...
最新文章
- 团队作业4——第一次项目冲刺(Alpha版本)4.28
- mfc 怎样动态设置static text 的可见属性
- windows时间显示到秒
- Linux wifi连接桌面,【已解决】Arch linux 安装之后在deepin桌面环境下使用networkmanager连接wifi 出现间歇性重连的情况...
- linux基础命令 sed
- 【操作系统】使用循环创建线程,一个手残导致的bug
- c++opencv显示中文_图像处理入门 100 题,有人把它翻译成了中文版!
- 使用 IntraWeb (41) - 数据控件速查
- Python学习入门基础教程(learning Python)--5.4 Python读文件详解
- B-树关键字个数计算
- 《嵌入式系统Linux内核开发实战指南(ARM平台)》书评
- Linux/Android——input_handler之evdev (四) 【转】
- (转载)C++面试宝典2011版
- deepin linux 安装jdk,deepin安装JDK
- Kernel 日志缓存大小修改
- SD/SDHC/SDXC区别
- 戴尔服务器r720怎么进入系统安装,戴尔R720服务器安装步骤.doc
- chosen插件 select 替换 option
- 七牛云 Bucket是什么?怎么取得
- linux 查看文件 可翻页,Linux如何读取文件,如何翻页
热门文章
- Could not open client transport with JDBC Uri: jdbc:hive2://slaver2:10000: java.net.ConnectException
- spi slaver接口的fpga实现
- 目标检测 | 盘点提升小目标检测的思路
- @Deprecated、@deprecated注解说明
- 猴子爬树php,爬树就像猴子一样顺溜的生肖女
- B-Tree和B+Tree学习笔记
- 搞个笑?用Verilog产生一个三角波吧!
- 《Excel高手捷径:一招鲜,吃遍天》一第29招 Excel 文件“减肥瘦身”秘诀
- 搜狗输入法取消英文空格确认
- POJ 3626 Mud Puddles (BFS)