通过我们的应用和学习理解,我认为目前的人社部提出的省级大集中,技术问题已经不是主要关心的问题了,更应该关注业务和管理流程的梳理,甚至要涉及到机构体制的调整,这些才是主要问题。我们省目前已在做数据的大集中工作,我们市已经在14年实现了将交换区的数据,通过数据库工具(orac...
1,后期分区维护的工作量,如果分区设计的无规律且复杂时,无法实现脚本自动化,大量的分区也会带来不小的工作量,我经历了一套库有几万张分区表,规则不一,时间维护窗口又少,每月要花费大量的人力去创建下月所需分区2,表空间的分布规划,了解分区数据的增长情况,规划到不同的表空间,避免后...
这个问题的范畴太大了,我只能说资源充足、补丁打得完善、尽量采用集群方式。如果有可能的话,可以考虑闪存加速等功能。不过从根本上讲,还是要对数据库和SQL程序进行优化,提高效率,减少资源消耗。...
oracle exadata数据库一体机,论坛里也讨论的比较多,就是因为oracle对此技术比较封闭,国内用的还不多, 我记得光大银行和神华集团原来我们公司卖他们的,具体性能上不太清楚,肯定会有提高,如果和ibm 的db2相比还不太清楚...
题目有点宽泛,我理解是首先需要对业务数据进行建模,其次搭建大数据的分析平台,现在很多用logstash+HADOOP的架构,可以参考一下。
4k的小数据块什么文件系统性能都不好,对于数据库应用,在创建GPFS文件系统时IBM推荐用512K的block
软件定义存储对于海量数据管理、数据分析有啥有啥优点或者促进?
分布式的负载均衡只是解决了大数据运算的问题,但是数据节点本身去处理数据的时,依赖于CPU频率,内存大小和硬盘的转速。加速IO可以提升硬件的配置,比如提供硬盘的转速,增加内存,让大部分的数据基于内存运算,而不需要从内存刷新到硬盘。...
在海量数据的背景下Rowkey设计必须考虑如下条件:1、数据分布均衡,以免产生region热点问题2、Rowkey的内容要尽可能短小, 例如存放日期201505151357如果按字符串再转成字节存放的话,需要12个字节。实际上8个字节可以存放的。3、根据数据特征在rowkey中增加存储查...