情况说明:现在需要做一个数据存储,500w左右的数据,日后每天大约产生5w条左右的数据。想把这些数据存储起来,供日后的数据分析用?使用上面说的三种数据库中的哪中比较好?是否有必要建立集群?

个人看法是:从长远角度看,由于单台机器的性能瓶颈,后期肯定要做集群,单纯的做复制最终也无法缓解单台master上读的负担。因此,使用mysql的话会使用cluser.但是了解到mysql的cluser要用好的化还要做负载均衡,而mysql的均衡器是第三方的,无法很好的与mysql整合。使用mongodb的自动分片集群能很好的解决这个问题,而且它的读写性能也快。Hbase提供了大数据存储的解决方案。

回到我问题,最终是要在大数据的基础上做数据分析,虽然mongodb也能与Mapreduce整合,但想必Hbase做这一块会更有优势。

我们的需求是做一个数据仓库,不是线上数据,即是OLAP.数据来源是很多的线上数据库(我们用的是mysql),每隔一段时间会同步数据过来(大概是几天的样子)。这些数据将用于日后的数据分析。因此,对实时性要求不是很高。

答案:百万级的数据,无论侧重OLTP还是OLAP,当然就是MySql了。

过亿级的数据,侧重OLTP可以继续Mysql,侧重OLAP,就要分场景考虑了。

实时计算场景:强调实时性,常用于实时性要求较高的地方,可以选择Storm;批处理计算场景:强调批处理,常用于数据挖掘、分析,可以选择hadoop;实时查询场景:强调查询实时响应,常用于把DB里的数据转化索引文件,通过搜索引擎来查询,可以选择solr/elasticsearch;企业级ODS/EDW/数据集市场景:强调基于关系性数据库的大数据实时分析,常用于业务数据集成,可以选择Greenplum;数据库系统一般分为两种类型:一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型;一种是重计算的,对大数据集进行统计分析的OLAP类型。

传统数据库侧重交易处理,即OLTP,关注的是多用户的同时的双向操作,在保障即时性的要求下,系统通过内存来处理数据的分配、读写等操作,存在IO瓶颈。

OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是事件驱动的、面向应用的,比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是:数据在系统中产生;基于交易的处理系统(Transaction-Based);每次交易牵涉的数据量很小;对响应时间要求非常高;用户数量非常庞大,主要是操作人员;数据库的各种操作主要基于索引进行。

分析型数据库是以实时多维分析技术作为基础,即侧重OLAP,对数据进行多角度的模拟和归纳,从而得出数据中所包含的信息和知识。

OLAP(On-Line Analytical Processing,联机分析处理)是基于数据仓库的信息分析处理过程,是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的,其基本特点是:本身不产生数据,其基础数据来源于生产系统中的操作数据(OperationalData);基于查询的分析系统;复杂查询经常使用多表联结、全表扫描等,牵涉的数据量往往十分庞大;响应时间与具体查询有很大关系;用户数量相对较小,其用户主要是业务人员与管理人员

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-28 14:18:27
市场情报 GoldenDB分布式数据库持续演进,聚焦核心能力构建
在业务创新及科技创新的双重驱动下,金融行业IT系统分布式架构转型是必然趋势。 <详情>
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-08-03 15:00:02
市场情报 GoldenDB助力广发银行核心系统国产化替代
在核心系统改造中极为关键的数据库层面,广发银行引入了GoldenDB分布式数据库。 <详情>
2023-07-31 15:03:00
市场情报 快速、高质量,GoldenDB助力山东移动CRM-BOSS核心系统成功商用
!GoldenDB项目组不仅在6个月内做到首个地市核心系统快速上线,在后续地市从部署、测试到上线用时仅为21天。 <详情>
2023-07-28 17:57:42
市场情报 亮相中国互联网大会!金篆信科GoldenDB参加数字技术与应用成果展
数据库与芯片、操作系统并列为新一代信息技术自主创新的三大核心能力之一,直接体现国家信息技术的基础能力。 <详情>