2016-03-25 16:38:04
科普文:从大数据到Hadoop,Spark,Storm
大数据,官方定义是指那些数据量特别大、数据类别特别复杂的数据集,这种数据集无法用传统的数据库进行存储,管理和处理。大数据的主要特点为数据量大(Volume),数据类别复 <详情>
2016-03-23 11:39:00
数据时代的反爬虫绝技
网络爬虫已经成了很普及的网络技术,会代码的可以自己捣鼓一个高级的“人工智能”爬虫,不会的也可以从网上下载一个开源的,然后找个机器或一些代理服务器,就可以肆无忌惮 <详情>
2016-03-16 15:20:14
大数据安全分析常见问题汇总
大数据是时下最火热的IT行业的词汇,随之数据仓库、数据安全、数据分析、数据挖掘等等围绕大数量的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 <详情>
2016-03-16 15:16:56
大数据时代为什么都在谈Hadoop?
最近知乎上有这样一个问题“为什么很多公司都采用Hadoop方案处理大数据业务”,引来很多回答,笔者整理如下,其观点或有时而可商,欢迎讨论。 <详情>
2016-02-24 11:23:57
韩国出台"创意经济"计划 将大力扶持5G、大数据等技术
韩国未来创造科学部日前发布“未来财富商业计划2016”,包括在全国17个“创新中心”设立就业专区,加大对5G等新兴高科技产业的财政扶持力度等。 <详情>
2016-02-24 10:32:07
YARN:下一代 Hadoop计算平台
Apache Hadoop 是最流行的大数据处理工具之一。它多年来被许多公司成功部署在生产中。尽管 Hadoop 被视为可靠的、可扩展的、富有成本效益的解决方案,但大型开发人员社区仍 <详情>
2016-02-24 10:25:41
Hadoop 集群管理上的新“绝招”
Hadoop在一些企业部署时,往往会遇到多个用户各自创建的数据处理工作的情况。这些工作都运行在同一个Hadoop系统上时,他们之间可能会彼此冲突,争夺可用的处理器资源。 <详情>
2016-02-19 16:16:40
大数据分析助医院实现智能化人员配置
在这个信息化时代,我们的工作、生活方式乃至生存方式,都因为信息技术的不断应用和发展发生着深刻变革。人口和消费水平的增长都增加了对医疗机构服务消费的需求,随着老龄 <详情>
2016-02-19 16:13:46
剖析云计算和大数据落地后x86服务器的业务痛点
随着云计算和大数据进入落地阶段,新一代数据中心已经成为支撑企业创新发展战略的关键。但随之而来的一系列运维和管理难题,也成了当下IT人员必须应对的挑战。现行的企业级 <详情>
2016-02-18 10:26:04
美国环境大数据有哪些经验值得借鉴?
环境保护部部长陈吉宁在2016年环境保护工作会议上指出,要提高环境管理系统化、科学化、法治化、精细化和信息化水平。环境大数据是提高我国环境管理信息化水平的重要手段, <详情>
2016-02-17 14:40:02
浅议云计算、大数据在开源模式下的现状
开源”模式带来的好处很多,其中最吸引人的就是可以帮助企业降低成本。另外,开源模式消除了供应商的限制和壁垒,并且可让技术变得更加协作,合作者会不断更新开源软件,使 <详情>
2016-02-17 14:07:57
随机世界与大数法则中渗透出的概率的意义
1987年,是印度传奇数学家拉曼努扬(SrinivasaRamanujan,1887-1920)的百年诞辰。为了纪念他,有一系列的活动。当代著名统计学者, 出生于印度的劳氏(C. Radhakrishna Rao, <详情>
2016-02-16 13:52:00
如何通过自学,成为数据挖掘“高手”
如何通过自学,成为数据挖掘“高手”,且看本文详细介绍。 <详情>
2016-01-29 11:41:41
企业常见的三种数据部门架构优与劣
在之前的传统BI可能因为这些因素,所以没有达到今天的数据在高度,可能是互联网本身发展的因素,数据对于互联网企业价值。但其中有一个很大的因素,可能是传统的BI,更多是 <详情>
2016-01-29 11:35:00
Spark Streaming 的玫瑰与刺
说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 <详情>
2016-01-27 11:23:16
MySQL大数据量的导入
在Linux系统操作的,测试过一个一万多行的导入数据,共121m。在Linux下,几秒内导入成功。如果是在phpmyadmin,或者在各个终端中实施导入121M的数据,是比较困难的,你会遇 <详情>
2016-01-27 09:53:47
2分钟读懂Hadoop和Spark的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有 <详情>
2016-01-25 13:43:30
别把数据湖变成数据沼泽
为了利用大数据做出更为智能的商业决策,很多公司都采用了Hadoop等开源的技术。但是,仅仅凭借Hadoop是无法建好数据湖的。事实上,如果不遵守一些规则,在Hadoop上花费的时 <详情>
2016-01-15 16:07:32
别总想着取代谁 Hadoop和Spark结合起来更好用
Apache的Spark,一个新的大数据框架, 已被描述为一个替代Hadoop的可能。一些观点认为,Spark由于比旧的框架更容易理解和强大,因此在新兴的大数据和分析项目中更适合。 <详情>
2016-01-15 10:17:51
网页抓取工具——2016年大数据行业必备工具
回首2015年,大数据整体市场发展迅猛,政府扶持力度空前,正式将大数据纳入国策也为社会各界提供了很多机遇和便利,放眼国际市场,大数据应用规模仍在持续增涨,几乎人人都 <详情>
2016-01-12 10:39:26
Spark淘汰MapReduce,拯救Hadoop
2016年大数据领域会发生什么情况?考虑到如今在深层神经网络和规范性分析方面取得的进展,你可能觉得这个问题很好回答。而实际上,来自业界的大数据预测大不相同,本文精选 <详情>
2016-01-11 11:11:22
大数据分析技术生态圈一览
大数据领域让人晕头转向。为了帮助你,我们决定制作这份厂商图标和目录。它并不是全面列出了这个领域的每家厂商,而是深入探讨大数据分析技术领域。我们希望这份资料新颖、 <详情>
2016-01-04 16:34:32
【dbdao Hadoop 大数据学习】大数据的动机
在大数据已经成为主流,而其背后的两个主要驱动因素是开源Hadoop软件和云计算的出现。这两种发展使得人们大规模地采用大数据方法以较低的成本处理业务问题。Hadoop是所有大 <详情>
2015-12-31 13:03:11
面向国防安全的网络大数据分析与应用系统
在调研国内外大数据分析与应用研究现状的基础上,针对国防安全领域现有业务体系中存在的数据碎片化、不规范、难共享等突出问题,提出面向国防安全的网络大数据分析与应用方 <详情>
2015-12-31 12:59:52
大数据分析工具如何部署?
通过部署和使用大数据分析工具,分析流程可以帮助公司提高运营效率,产生新的利润,获得竞争优势。企业可选择的数据分析应用程序有很多。比如描述性分析善于描述已发生的事 <详情>
2015-12-31 12:00:40
大数据来袭,你的数据库该整整了
大数据时代数据量的暴涨不仅对数据处理、数据分析等相关大数据技术提出了要求,也让数据库的压力倍增,针对目前状况,数据库该如何应对?    <详情>
2015-12-28 14:03:45
Hadoop各个组件的基本原理
主要记录了Hadoop各个组件的基本原理,处理过程和关键的知识点等,包括HDFS、YARN、MapReduce等。 <详情>
2015-12-28 09:59:07
非结构化数据分析:大数据时代新价值
大数据”是近两年来各界最热议的话题之一,和“大数据”相关的实践几乎成为所有行业在技术和商业两个方面具创新意义的行动。 <详情>
2015-12-26 13:41:38
大数据时代数据库面临重建?
很多大数据应用的实施似乎都是在一个现有的数据仓库上,添加一个或多个新的大容量数据流,还有一些支持数据存储和业务分析的专业软硬件。数据存储问题通常是通过部署一个专 <详情>
2015-12-25 16:14:01
如何利用大数据加强内网安全?
企业内网承载大量的核心资产和机密数据,虽然用户采用了层层叠加的网络安全防护产品,SOC、监控中心、网管系统、流量分析系统等处处把关,但出现在内网的攻击和泄露事件并 <详情>
2015-12-25 15:28:22
数据分析现在可以知道我们何时打开圣诞礼物
孩子们睁开朦胧的双眼,他们的父母也被从床上叫醒,在圣诞节早晨,有几个小时全家人似乎都放下了手中的移动设备。这是移动与网络数据分析公司Mixpanel最新报告得出的一个结 <详情>
2015-12-25 15:12:59
构建机器学习系统的20个经验教训
数据科学家对优化算法和模型以进一步发掘数据价值的追求永无止境。在这个过程中他们不仅需要总结前人的经验教训,还需要有自己的理解与见地,虽然后者取决于人的灵动性,但 <详情>
2015-12-24 17:05:51
重磅,企业实施大数据的路径
企业实施大数据的具体的建设路径有两个方面,一方面是自下而上,另一方面是自上而下。 <详情>
2015-12-24 10:53:23
如何让Hadoop结合R语言做统计和大数据分析?
R是GNU的一个开源工具,具有S语言血统,擅长 统计 计算和 统计 制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起,很好发挥了R语言特长。 <详情>
2015-12-24 10:53:02
覆盖五大数据库 阿里云发布云数据库MongoDB版
日前,阿里云100%兼容MongoDB的云数据库AliCloudDB for MongoDB宣布开放公测,基于三节点副本集的高可用框架,阿里云将数据库的业务可用性保障提高到了99.95%。 <详情>
2015-12-24 10:32:00
3.5万个MongoDB数据库的约680TB数据存被盗风险!
网上至少有3.5万个可以公开访问的不安全MongoDB 数据库,该数字似乎正越变越大。对应的684.8 TB资料存在被盗风险。 <详情>
2015-12-21 11:06:35
Apache Hadoop准实时数据处理的架构模式
Apache hadoop 生态系统已成为企业实时地处理和挖掘大数据的首选。 Apache的Kafka, Flume, Spark, Storm, Samza等技术在不断地推进新的可能。人们很容易泛化大规模实时 <详情>
2015-12-21 10:03:59
Hadoop 之 MapReduce 框架演变详解
Hadoop是一个非常牛掰的分布式架构平台,它的优越性我想不需要我跟大家分享,很多成功的案例都已经在暗示着我们, 未来所谓的大数据,所谓的互联网+,所谓的云……都会找到 <详情>
2015-12-21 09:49:00
大数据的核心:数据挖掘
大数据的核心:数据挖掘。从头至尾我们都脱离不了数据挖掘。其实从大学到现在一直都接触数据挖掘,但是我们不关心是什么是数据挖掘,我们关心的是我们如何通过数据挖掘过程 <详情>
2015-12-19 14:52:51
大数据:人类技术的乌托邦
美国政府曾声明说通过提高美国从大型复杂的数据集中提取知识和管理的能力,来加强整个国家的竞争力,这被认为是跟互联网同一个级别的时代。显然,大数据不止是一个词汇,更 <详情>