2015-12-18 11:33:27
一个成功的数据分析团队:角色与职责
数据分析最常见的失败原因说出来可能会让你惊讶。并非是缺乏数据专业知识或者整合失误,而仅仅是因为企业没有让 “ 利用数据 ” 成为任何人员的职责。太多公司花费好几个月 <详情>
2015-12-17 13:12:45
大数据框架Hadoop和Spark的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。都是与处理数据有关,但是它们又有什么不同呢? <详情>
2015-12-16 11:35:00
Hadoop数据湖管理服务可望得到进一步完善
大多数企业都认识到免费下载Hadoop软件并载入数据相对轻松,而从大数据分析中创造竞争优势却困难重重。目前又缺少具备Hadoop技术的人才,使该问题愈加错综复杂。因此,企业 <详情>
2015-12-16 10:54:47
Airbnb如何打造大数据引擎
与大多数互联网公司一样,旅行房屋短期租赁网站Airbnb也希望通过分析海量数据提升用户体验和业务营收。Gigaom最近撰文介绍了Airbnb如何在亚马逊云的基础上打造大数据基础架 <详情>
2015-12-15 11:18:33
大数据:从因果分析到相关性分析
统计学家纳特·西尔弗在著名的《信号和噪声》一书中说:“大数据中大多数都是不相干的噪音。除非有很好的技术信息进行过滤和处理,否则将惹上麻烦。 <详情>
2015-12-15 10:25:58
到底如何投放听大数据的准没错
大数据时代从本质上看,是基于技术水平提高所产生的信息爆炸效应。在大数据时代,任何人甚至任何物都可以依托于互联网、移动互联网技术成为信息数据的发布者,所带来的好处 <详情>
2015-12-15 09:52:11
基于数据包分析的大数据技术解决网络安全问题
基于数据包分析的大数据技术可帮助网络管理人员快速的发现、定位各类网络攻击,并且能够在存储期内对任意网络攻击及问题进行回溯分析,做到精细化分析,提供数据包级的支撑 <详情>
2015-12-12 11:25:09
基于数据包分析的大数据技术解决网络安全问题
基于数据包分析的大数据技术可帮助网络管理人员快速的发现、定位各类网络攻击,并且能够在存储期内对任意网络攻击及问题进行回溯分析,做到精细化分析,提供数据包级的支撑 <详情>
2015-12-12 10:28:22
大数据处理需要计算机云计算技术的配合
人们研究大数据,或是利用大数据技术,其战略意义并不在于是谁掌握了多么庞大的大数据信息,而是在于谁能否将已经捕捉到的那些含有一定意义的数据通过专业化处理,将其变成 <详情>
2015-12-08 11:41:25
信息社会中的生产力:云计算以及大数据
信息社会是以数据和信息为主要生产要素,云计算和大数据在当前的信息社会中是不可替代的生产力。大量的数据也迫使人类建设大规模的IT基础设施的来承载数据。 <详情>
2015-12-08 11:21:00
大数据时代背景下的可视化图表工具
信息时代,科技浪潮风起云涌。随着科学技术的飞速发展,人类已经步入了大数据时代。在大数据应用中,可视化图表的表现可谓先声夺人。在大数据的起步阶段,各项技术和应用还 <详情>
2015-12-08 11:12:00
大数据架构hadoop
随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的 <详情>
2015-12-08 11:02:25
实时数据分拣系统TDSort的实现原理
目前TDSort每天分拣万亿的数据入库到TDW、HBase和DB中,在系统出现异常的时候,可以通过重新设置Tube的Offset实现回溯。在整个TDSort的实现过程中有很多后台系统设计的共性 <详情>
2015-12-07 15:39:59
大数据工具比较:R语言和Spark谁更胜一筹?
本文有两重目的,一是在性能方面快速对比下R语言和Spark,二是想向大家介绍下Spark的机器学习库。 <详情>
2015-12-07 10:13:27
大数据的数据安全问题
很多技术方案中,数据的大小会影响到安全控制或配套操作能否正确运行。想象一下,例如,为了确保存储数据和基于文件的数据完整性和可控性,需要对它们进行日志分析、文件监 <详情>
2015-12-07 10:09:03
Hadoop, 深入分析大数据集成与安全问题
想要让网络可用而易控,需要自动化处理大数据的办法——保存、阐释信息,对其分类并通过命令检索。人们需要更优秀的自动化搜索引擎。 <详情>
2015-12-07 09:54:35
赛道单挑:MapReduce与Spark到底谁快?
通常人们认为Spark的性能和速度全面优于MapReduce,但最新的对决显示MapReduce在某些方面也有胜场,而且数据规模越大优势越大。 <详情>
2015-12-07 09:40:37
大数据时代:关于Hadoop12个事实
现如今,Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库,并以自己儿子的大象玩偶为其命名的时候, <详情>
2015-12-07 09:35:53
大数据VS小数据:9种数据类型及利用方法
如今,具有压倒性的数据量使得市场营销人员和广告商们已经难以理解哪些信息非常重要,哪些信息是纯粹的噪音,哪些数据是正确的?而哪些数据又是可以信赖的?不同类型的数据 <详情>
2015-12-07 09:22:46
海量数据处理分析中的三个问题和经验总结
海量数据是发展趋势,对数据分析和挖掘也越来越重要,从海量数据中提取有用信息重要而紧迫,这便要求处理要准确,精度要高,而且处理时间要短,得到有价值信息要快,所以, <详情>
2015-12-05 11:12:00
TDBank:腾讯万亿级实时数据接入系统
随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,对数据的依赖也越来越重。许多商业公司也推出了自己的大数据平台,同时,也有很多相关的开源系统。总 <详情>
2015-12-05 11:05:00
网易的Spark技术实践
对于大多数的大数据而言,实时性是其所应具备的重要属性,信息的到达和获取应满足实时性的要求,而信息的价值需在其到达那刻展现才能利益大化,例如电商网站,网站推荐系统 <详情>
2015-12-05 10:59:00
Pinot:LinkedIn的实时数据分析系统
Pinot是一个适用于Web的实时数据分析系统,由LinkedIn设计开发,现在已经成为LinkedIn的分布式实时数据分析基础设施,支撑着LinkedIn内外30多个分析产品。LinkedIn的各种数 <详情>
2015-12-05 10:41:00
大数据分析与应用案例介绍
大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。 <详情>
2015-12-05 10:18:02
Hadoop与分布式数据处理 Spark VS Hadoop有哪些异同点?
虽然Spark与Hadoop有相似之处,但它提供了具有有用差异的一个新的集群计算框架。首先,Spark是为集群计算中的特定类型的工作负载而设计,即那些在并行操作之间重用工作数据 <详情>
2015-12-05 10:00:17
Hbase/Hdfs删除节点
线上有台服务器随时可能会挂掉,所以需要把在这个服务器上hbase的regionserver和hdfs的datanode节点移除。然后重新拿台新服务器部署接管。 <详情>
2015-12-05 09:53:21
带您了解大数据
大数据,或称巨量数据、海量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源 <详情>
2015-12-05 09:47:07
SQL on Hadoop
Hadoop生态系统中,如果存在一个领域是竞争最激烈的,那一定是SQL on Hadoop! <详情>
2015-12-04 10:54:14
大数据分析平台,路在何方?
随着越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,那么未来的大数据分析平台将走向何方呢? <详情>
2015-12-04 10:43:00
TB级数据处理的挑战和应对方案
虽然说大数据已经不算一个新的概念,不过它的作用却日趋重要。大数据已经深入到各个领域,潜移默化的影响着我们的生活。 <详情>
2015-12-04 10:19:28
公司的大数据业务为什么都基于Hadoop方案?
选择hadoop的原因主要有以下三点:1.降低成本;2.生态圈成熟;3.可以解决问题。 <详情>
2015-12-04 09:44:20
如何成为Spark大数据高手?
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算 <详情>
2015-12-04 09:28:50
大数据应用场景下的数据加密
近日,清华大学吕强勇介绍了基于流加密的软硬件协同安全框架。这种框架创新性的将软件和硬件结合在一起进行适用于大数据应用场景下的数据加密。其中提到的基于PUF的用户数 <详情>
2015-12-04 09:23:20
大数据案例:啤酒尿布的关联算法怎么来的?
在一家超市中,通过大数据分析发现了一个特别有趣的现象:尿布与啤酒这两种风马牛不相及的商品的销售数据曲线竟然相似,于是就将尿布与啤酒摆在一起。 <详情>
2015-12-03 11:13:53
百万级别数据,数据库Mysql,Mongodb,Hbase如何选择?
现在需要做一个数据存储,500w左右的数据,日后每天大约产生5w条左右的数据。想把这些数据存储起来,供日后的数据分析用?使用上面说的三种数据库中的哪中比较好?是否有必 <详情>
2015-12-03 11:03:47
大数据处理工具将全面取代传统报表工具
随着大数据和大数据分析工具的兴起,传统的报表工具很可能会被取代乃至全面退役。这是技术发展的必然也是现实社会的需要,正是这一波波技术革新与创新推动者人类的社会的进 <详情>
2015-12-03 10:53:17
Storm概念解读以及特点分析
Storm是什么如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义。 <详情>
2015-12-03 10:50:09
Spark概念解读以及与Hadoop技术对比
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用 <详情>
2015-12-03 09:45:27
盘点:55个实用大数据可视化分析工具
近年来,随着云和大数据时代的来临,数据可视化产品已经不再满足于使用传统的数据可视化工具来对数据仓库中的数据抽取、归纳并简单的展现。新型的数据可视化产品必须满足互 <详情>