求助 asp.net 大数据处理?有张表有两三千万条数据,又要用模糊查询,该怎么办呢?[解决办法]1.存储过程(分页
求助 asp.net 大数据处理?
有张表有两三千万条数据,又要用模糊查询,该怎么办呢?
[解决办法]
1.存储过程(分页也就是一页的记录)
[解决办法]
因为是模糊查询,泛泛的索引难以有效!
不过总能统计到是对某些字段查询比较频繁,
可通过sql提供的功能,"索引优化向导"和"显示估计的执行计划"
来最后确定你的索引!!
[解决办法]
索引+存储过程分页
[解决办法]
增加 全文索引.........
[解决办法]
aspnetpager空间可以解决你的问题
[解决办法]
存储过程或者视图了。。。
[解决办法]
[解决办法]应该是用全文检索吧。
[解决办法]1、建立合理的索引
2、用存储过程分页查询
[解决办法]什么数据库? sql server 还是 oracle ?
如果采用 oracle ,这点数据就是小菜了。
不过要分析sql 性能,相信不同的数据库都有自己的方法。
比如:执行计划。
多看看执行计划,该创建索引的创建索引(模糊查询索引不一定有用,不过要看sql 怎么写了 对于 oracle 中 "%模糊条件%" 和 "模糊条件%" 查询的性能完全不一样),或者固化视图,疑惑对特定函数创建索引等
楼上几位兄弟的方法也未尝不可,大数据量可能是要分页的,除非你是做统计
最后再退一万步将,如果的确需要这些数据 一次性 全部显示,那就的考虑一下这个需求是否正常。用户会一次行查看所有的200W 数据?
[解决办法]Oracle
1.按照首字母拼音建立视图
select * from dept order by nlssort(name,'NLS_SORT=SCHINESE_PINYIN_M');
然后分为26个视图
2.查询视图
3.索引
4.运行Oracle自带优化工具优化表空间,运行
[解决办法]模糊查询就分页分区
可用Lucene全文索引引擎工具
通过数据库实现全文搜索
[解决办法]我挺纳闷的 人家说的是数据处理 你们怎么都扯到分页上去了
[解决办法][解决办法][解决办法][解决办法]表分区 索引分区 建立全文索引
[解决办法]sql server 2000中配置全文索引
全文索引的一个例子,在查询分析器中使用:
1、--打开数据库全文索引的支持
execute sp_fulltext_database 'enable'
go
2、--建立全文目录FREETEXT
execute sp_fulltext_catalog 'FREETEXT', 'create'
go
3、--为Dv_bbs1表建立全文索引数据元,PK_Dv_bbs1是主键所建立的唯一索引,可由sp_help Dv_bbs1得知
EXEC sp_fulltext_table 'Dv_bbs1', 'create', 'FREETEXT', 'PK_Dv_bbs1'
go
4、--设置全文索引列名
exec sp_fulltext_column 'Dv_bbs1', 'Body', 'add'
go
5、--建立全文索引
exec sp_fulltext_table 'Dv_bbs1', 'activate'
go
6、--填充全文索引目录
exec sp_fulltext_catalog 'FREETEXT', 'start_full'
go
7、--使用contains和freetext
EXEC sp_fulltext_table 'Dv_bbs1','deactivate'
EXEC sp_fulltext_catalog 'FREETEXT', 'stop'
exec sp_fulltext_column 'Dv_bbs1', 'Body', 'drop'
EXEC sp_fulltext_table 'Dv_bbs1', 'drop'
EXEC sp_fulltext_catalog 'FREETEXT', 'drop'
在sql server enterprise management中建立全文检索服务的过程如下:
第一步,在SQL Server中建立一个全文数据库English—Data。在该数据库中建立一个表Papers。
该表的字段有pa—per__id(代表论文的顺序,数据类型为int,长度为4,要求非空,并为标知,标知种子为1,自动增量为1)、
paperAitle(代表论文的题目,数据类型为vchar,长度为200,要求非空)、pa—per_abstract(代表论文的文摘,数据类型为vchar,长度为8000,要求非空)。
第二步,为建立全文索引,一定要为该表建立唯一索引(Unique Index)。我为Papers表的paper_id字段建立唯一索引。
第三步,将数据逐步导入到表Papers中。
第四步,打开SQL Server的企业管理器,在左侧的树视中点击数据库。然后点开数据库EnglishData.。
选择“全文目录”。点击右键,选择“新建全文目录”,建立全文目录Paper-AbstractFullSearch,
然后建立名称为AbstraetSearch的调度。其他接受默认。
第五步,选择企业管理器的右侧的表Papers,单击右键,选中“全文索引表”,单击“在表上建立全文索引”。
将会出现“全文索引向导”窗口。点击“下一步”会到达“选择索引”窗口。由于本表只有一个唯一索引paper_id,
点击“下一步”,会出现“选择表中的列”窗口。选择“paper_abstract”字段,然后点击“下一步”,出现“选择目录”窗口,
接受默认配置,点击“下一步”,出现的窗口“选择或创建填充调度(可选)”窗口,接受默认配置再点击下一步。
出现“正在完成SQL Server全文索引向导”,点击“完成”。完成配置。
第六步,选择表Papers,点击右键,选择“全文索引表”,点击“启动完全填充”,等待完成。
第七步,配置数据源名。在ODBC管理器中的“系统DSN”中,单击“添加”,选择“SQL Server”。
在数据源名中输入“EnglishData”, 然后进行客户配置。
第八步,如果以后对表Papers进行任何的修改(包括添加、删除记录和对原记录进行编辑),都要重复第六步的操作。
这一步是为了保证全文索引库能够与表Papers的修改同步。
以上是建立全文索引的全过程。完成建立后,即可以使用标准的T—SQL语句对其进行全文检索