1、大批量数据存储并发解决一般会分为几种情况:1.大量的用户同时对系统的不同功能页面进行查找,更新操作。2.大量的用户同时对系统的同一个页面,同一个表的大数据量进行查询操作。3.大量的用户同时对系统的同一个页面,同一个表进行更新操作。
2、对于第一种情况一般处理方法如下:对服务器层面的处理1. 调整IIS 7应用程序池队列长度调整2.IIS 7的appConcurrentRequestLimit设置3. 调整machine.config中的processModel>requestQueueLimit的设置4. 修改注册表,调整IIS 7支持的同时TCPIP连接数
3、完成上述4个设置,就基本可以支持10万个同时请求。如果访问量达到10万以上,就可以考虑将程序和数据库按功能模块划分部署到多个服务器分担访问压力。另外可以考虑软硬件负载均衡。蠕藿堂只硬件负载均衡能够直接通过智能交换机实现,处理能力强,而且与系统无关,但是价格贵,配置困难,不能区分实习系统与应状态。所以硬件负载均衡适用于一大堆设备,大访问量,简单应用。软件负载均衡是基于系统与应用的,能过更好地根据系统与应用的状况来分配负载。性价比高。PCL负载均衡软件,Linux下的LVS软件。
4、对于第二种情况的处理:因为是大并发请求,也能采用第一种情况的处理方法,另外因为是对大数据量进行检索,所以需要考虑查询效率的问题。1.对表按查询条件建立索引。2.对查询语句进行优化。3.可以考虑对查询数据使用缓存。
5、对于第三种情况的处理:也能采用第一种情况的处理方法,宛鳘艺荤另外因为是对同一个表进行更新操作,可以考虑使用下面的处理方法:1.先将数据保存到缓存中,当剞麽苍足数据达到一定的数量后,再更新到数据库中。2.将表按索引划分(分表,分区),如:对于一个存储全国人民信息的表,这个数据量是很大的,如果按省划分为多个表,在将全国的人民信息按省存储到相应的表中,然后根据省份对相应的并进行查询和更新,这样大并发和大数据量的问题就会减小很多。