近十年前,随着技术的不断更新迭代,大数据逐渐走向成熟,而如今,大数据已经渐地淡出人们的谈资。从2015年开始,大数据已经在Gartner新兴技术成熟度曲线中消失,Gartner对此的解释是,大数据不再是“新兴的”,而是正在慢慢融入我们的生活中。
这一说法,也得到了永洪科技高级副总裁邵文龙的认同。他表示,虽然新兴技术成熟度曲线中已经没有了大数据,但是很多其他技术都是基于大数据的,大数据已经成为这些技术的基础。
永洪科技高级副总裁邵文龙
根据福布斯的报道,89%的行业领袖认为大数据将像互联网一样改变传统的商业运作模式。的确,随着新兴技术的不断演进,大数据逐渐成为了企业中最重要的资产。如何从数据中挖掘出有价值的信息,辅助企业甚至是直接进行决策,成为了众多企业的必行之路。
大数据已经走向成熟?
得益于互联网的飞速发展,企业中的数据越来越多,过去,企业的关注点在于大量的多样的数据如何存储,而如今,更多的企业则希望从这些数据中挖掘价值,为企业的业务发展做出决策。
大数据发展了很多年后,是否已经走向了成熟呢?邵文龙告诉笔者,从企业的数据架构方面来看,技术还在不断地演进,还有很多创新的技术在不断推出来,比如Spark、Flink等等;如果从企业应用的角度来判断,大数据是已经走向成熟了,因为更多的企业开始行动,将大数据作为企业的基础设施。
在当前阶段,大数据的热点更多集中在大数据的应用以及分析方面,怎样从数据中挖掘价值,是很多企业的关注点。此外,企业希望服务提供商可以提供大数据一站式的解决方案,从大数据的基础架构、数据仓库,到数据分析平台、商业智能的展现能力,甚至是数据挖掘能力、人工智能的能力全部包含,一揽子的解决方案受到了更多企业的青睐。
数据爆炸式增长带来多方变化
过去数据大多都是由业务系统所产生,静静的存储在企业的数据库中,而如今产生数据的来源也是多种多样的,有来自新媒体、社交数据,也有来自物联网等传感器的数据,并且这些数据的形态也是多样的、杂乱的。而这些不同来源的数据给企业的大数据处理、分析带来了更大的挑战。此外,数据的类型,例如视频、音频、图片等不同格式的数据也增加了企业的存储、清洗、甚至是分析挖掘的难度。
在数据爆炸的时代,带来的变化不仅是数据处理分析难度的变化,更多的是用户以及技术上的变化。邵文龙表示,大数据分析和数据挖掘已经逐渐变成企业领导人的共识,他们需要从数据中挖掘价值从而指导自己企业的运营以及决策,因此企业需要利用好历史数据以及外部数据,从而更好的做出规划以及决策。此外,企业对于大数据处理的需求也更为清晰。过去很多用户只是看到大数据很热就开始做大数据,但是并不知道用大数据来具体做什么事情。而现在这样的小白用户越来越少,大部分企业还都是需求明确的。这说明企业对于大数据是有一定的认可度的,大数据已经成为企业的必备品。
第二个变化是技术方面的变化。从Gartner的新兴技术成熟度曲线中可以看到,虽然大数据在Gartner的新兴技术成熟度曲线2015年的报告中消失,但是很多新兴的技术背后都是由大数据作为支撑,大数据已经变成其他技术的基础。比如,像人工智能,数据就是其重要的因素,如果没有数据,那么算法模型都只是空壳,并不能产生真正的价值。
虽然,现在像视频、图片等非结构化数据已经很多,但是企业中大部分数据还是结构化数据居多。邵文龙表示,结构化数据更加容易挖掘出价值,规律性和特征比较容易总结,因此价值密度相对较高。
永洪科技的PASO应对之法
数据来源多样化、数据量级增加、数据来源复杂等多种原因,扰乱了数据之间的关系,增加了用户对数据治理、分析挖掘的难度,同时,对数据安全、隐私保护也带来了更高的挑战。
为此,永洪科技提出了PASO(Platform,Application,Service,Operation)平台,通过技术手段和非技术手段两方面解决这些挑战问题。技术方面主要通过Platform和Application的方式,能够有效的涵盖用户所面临的挑战,比如数据清洗、数据治理等难题,并且可以通过可视化拖拽这样简单易操作的方式实现,同时可以通过相关的血缘分析,找到数据的原始存在位置以及对数据进行过的操作,从而对数据了如指掌。
在非技术手段方面则是通过Service和Operation两方面着手。永洪科技设有售前、售后、客户成功实施等不同的团队,都有完整的服务体系,提供从前端到后端完整的服务,随时帮助用户解决遇到的问题和挑战。而Operation则是永洪科技已经根据以往的经验,将利用数据的方法、遇到的问题和解决方案制作成最佳实践,将这些最佳实践毫无保留的告诉用户,让用户可以避免很多问题的发生。当然,如果用户出现其他解决不了的问题时,永洪科技的技术人员还是会帮助其进行解决。邵文龙表示,通过技术和非技术相结合的方式,能够解决用户在数据量很大时遇到的挑战,让用户能够真正的使用起来。
而对于数据安全,永洪科技通过数据权限控制以及产品安全双重保障的。在权限控制系统中,数据的权限是分层的,可以定义数据的查看权限,例如根据部门或是根据人员级别查看,这样保证不同层级的用户可以看到授权的数据。第二,永洪科技的产品是可以抵抗第三方攻击的。若用户使用手机或者公共环境登入系统查看数据,可能会被中间人攻击将个人信息劫走,进而查看到公司相关数据,造成损失。邵文龙表示,永洪科技每发布一个版本都要通过第三方的严格的安全检测和扫描,并且在发布前都要进行数周的稳定性测试和漏洞扫描,在压力集中的情况下保持运行数周不出问题,才会正式发布,以便保证产品的高可靠性、稳定性。
为客户多想一步:标准化产品+定制化开发+行业解决方案
商业智能是从九十年代提出的,将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。早期的商业智能有两个特点,一是构建在关系型数据库上,因此分析就是非实时的;二是数据量并不是很大。因此,早期商业智能所做出来的数据挖掘和呈现,往往都需要很长的时间。而当大数据出现以后,商业智能进入到第二阶段,从原有的IT人员逐步转向了业务人员,业务人员可以根据自己的需求自己操作,马上就可以呈现结果内容。
但是在分析需求变更时,业务人员不会直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较慢。因此,永洪科技提供了自主研发的大数据高性能计算引擎软件MPP数据集市,采用了列存储、内存计算、分布式计算、分布式通信,高性能多层缓存等技术,当用户将数据从数据库导入到分析平台时,可以及时响应。
邵文龙表示,客户在商业智能方面的需求比较发散,很难有一款商业智能的产品能够完全满足用户,因此,永洪科技采用标准化的产品+定制化的开发+行业解决方案,来满足不同行业不同用户的需求。
标准化的产品提供通用型的技术能力,比如Z-Suite一站式大数据分析平台,覆盖了数据分析过程的各个环节,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,让用户可以在一个统一的平台上完成全流程数据分析任务,降低了实施、集成、培训的成本。对于某些特殊的功能,则是可以通过定制化或插件的形式提供,目前永洪科技也开放了产品接口,感兴趣的人员可以自己开发后放到应用市场中,如果用户没有找到合适的插件,永洪科技的技术人员也是可以开发的。
Z-Suite 技术架构
对于行业用户,永洪科技也是有不同行业的解决方案,通过永洪科技的行业专家数十年的行业理解,总结出不同行业的业务需求和挑战,从而制定通用型的行业解决方案。目前,永洪科技已经针对制造、零售、金融、电商、交通、电力、医疗、电信、互联网、高教、政府等不同行业做出了解决方案,覆盖了主流行业的数据分析和挖掘的需求。
虽然很多企业都意识到大数据可以为企业带来价值,但是往往想的还不够透彻。邵文龙举例说,以零售行业为例,如果客户数据仓库已经准备好,永洪科技会与客户的业务人员以及IT人员沟通,了解清楚客户做大数据分析的目的,客户一般是想要做数据销售情况的展示效果,但是永洪科技还可以帮助用户做销量预测、库存优化等等,帮助客户多想一步,将数据分析挖掘做的更加透彻。
AI+BI:让数据价值可衡量
人工智能技术的出现,让机器可以模仿人类的思考方式变得更加智能。人工智能和商业智能该如何结合呢?邵文龙表示,很多用户不太关心后端的技术是使用的哪些以及如何实现的,只是关心提出的需求是否能满足。但是,永洪科技会根据用户的需求来选择合适的AI模型以及最优的BI展示形式。
在数据清洗后会分成训练集和测试集,根据训练集进行训练模型,调整模型参数,验证模型,然后将模型部署到测试环境中进行测试,测试没问题后部署到生产环境中,最终的结果将在商业智能上进行展现,让用户在无感知的的情况下体验到AI与BI的结合。
邵文龙认为,现在用户对于AI的需求会越来越多,未来会逐渐变成一种典型的场景。因为用户在效果上是能够感知的、观察的、可衡量的。通过AI技术的结合,将复杂的模型高度抽象,帮助用户发现通过肉眼观察分析看不到的内容,并且可以预测判断未来的内容,让价值变得可衡量。
不过,人工智能的模型训练是需要大量投入的,找到最合适的算法模型才能分析预测出更精准的结果。从训练模型、调整参数、验证模型、部署模型等一系列的流程,都是需要大量的人力、计算力,以及时间等成本。永洪科技也正在研发AI相关的标准化产品,将复制性比较强的项目进行总结,从而做出标准化的模型和功能,减少多方面的投入成本。
未来的三步发展
从商业智能到大数据分析,再到现在人工智能技术的结合,未来大数据的发展会集中在哪些方向呢?邵文龙表示主要在智能分析能力、提升产品性能、产品对数据挖掘洞察力的支持三个方面,而这三方面也将是永洪科技的研发方向。
首先,智能分析的能力也就是Gartner今年预测的十大战略技术之一的增强分析技术。为了获得更好的数据洞察能力,增强分析将把大数据重塑为智能数据。作为一种先进的数据处理工具,增强分析能够从大数据中获得洞察力的真正本质。因此,当用户打开报告后可以直接看到数据异常点以及产生的原因,而不再需要手工的钻取与分析。此外,用户的交互方面也是智能的,业务人员可以通过自然语言的方式来进行查询,直接获取数据洞察力。
第二是提升产品的性能。由于数据量越来越大,企业后台的计算能力也是成指数级增加,因此无论是基础架构还是软件系统,都需要更强的性能来做支撑,以保障数据的分析挖掘的能力。永洪科技的MPP数据集市是业内领先的大数据计算引擎。在永洪MPP的基础上,正在通过技术革新来进一步提升产品的性能,保证用户在使用时的使用体验。
第三是产品对用户需求的支持要有保障。由于人工智能技术的加速发展,企业对数据挖掘的洞察力要求也会越来越多,数据训练的模型,验证模型,评估模型,部署实施等一系列流程都要清晰。服务提供商的产品要能够支持不同的数据模型,并且可以与现有的数据分析进行无缝结合,统一展现出数据分析以及预测的结果。
结语
永洪科技于2012年成立,致力于为企业提供高效可靠又简单易用的数据分析解决方案。七年多的发展中,虽然有很多技术推陈出新,但是永洪科技始终保持初心,扎根于数据分析领域,帮助企业将数据转换成有价值的信息。除了提供标准化产品,个性化服务以外,永洪科技利用技术能力降低数据分析的门槛,将数据分析变得更加简单易用,让用户真正的使用起来。而永洪科技的坚持以及理念也得到了资本市场的认可,从2013年到2016年四年时间里,永洪科技先后完成了四轮融资,获得了包括腾讯创投、元生资本、经纬创投等投资机构的青睐。随着智能时代的来临,在技术不断演进的过程中,相信永洪科技会帮助企业挖掘出更大的数据价值,将数据的价值大化。
【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】