掌握和处理大量数据对于IT部门来说是一个挑战。以下是人工智能(AI)和机器学习如何帮助人们分类、组织和汇总大量信息的方法。

根据三星公司的调查，2016年全球互联网流量超过了1ZB，即10亿兆字节。这个数字是巨大的，但这个数据量与全球各企业正在存储的全部数据相比还相差甚远。

更重要的是，在大多数公司中，数据处在“管理之下”的这个用词有些不当。

数据管理挑战的关键领域是：

•理解暗数据

•数据保留

•实现最佳分析结果的数据集成

•数据访问

IT部门在这些领域进行艰苦努力的原因如下：

•所有类型的输入数据流(其中大部分是非结构化的)太大，无法每天进行管理，因此最终将数据放在任何地方。

•电子发现和行业法规对历史数据的法律和审计流程的要求使得业务决策者不愿放弃数据，最终用户并不喜欢在年度审查会议上讨论数据保留政策。

•数据集成是IT部门面临的最困难的任务之一，像数据聚合这样的概念在分析中发挥更大的作用才会加强，因此看似不同的数据集合可以组合成可搜索的存储库，用于新型的业务查询。

•快速访问数据是一种业务需求，但是高端存储在现场或云端的价格昂贵，因此一些数据必须归档到速度更慢，成本更低的存储空间中。为了解决这些问题，组织管理层将项目的人力物力主要放在了其他重要的目标上。

现在的问题是：机器学习、人工智能(AI)和分析学是否能在数据管理方面提供帮助，特别是对于大量非结构化数据?

以下是机器学习，人工智能和分析可以在以下几个方面提供帮助：

(1)暗数据排序

每个企业系统和每个业务部门都有一些积累的数据，但是人们对此一无所知。通过使用机器学习并结合其功能与算法，可以解决如何排序和处理存储在服务器上的不同类型的电子邮件，文档，图像等文件，机器学习，人工智能(AI)和分析可以对这个未发布的数据进行处理，而经验丰富，知识渊博的工作人员可以查看和回顾自动化推荐的数据分类方案，调整并执行方案。该过程的一部分还可以解决数据保留问题，其分析将产生一组可能从文件中清除数据的建议。

(2)决定丢弃哪些数据

机器学习，分析和人工智能(AI)可以客观地识别那些很少使用或从未使用过的数据，并建议工作人员将其丢弃，但它并不具备与工作人员相同的识别能力。例如，这些进程可以选择未访问五年以上的数据或记录，表明数据可能已过时。这样可以节省员工的时间来查找这个潜在的过时数据，因为现在他们需要做的只是确定是否有任何理由保留它。

(3)汇总数据

当分析开发人员确定需要聚合查询的数据类型时，他们常常为应用程序生成一个存储库，然后从不同的源中提取各种类型的数据，以形成一个分析数据池。要做到这一点，他们必须开发集成方法来访问不同的数据源。机器学习可以通过自动开发数据源和应用程序的数据存储库之间的“映射”，使这种人工过程更加高效。这减少了集成和聚合时间。

(4)组织数据存储以获得最佳访问

在过去的五年中，由于低成本固态存储的发展，数据存储供应商已经在自动化存储管理方面取得了重大进展。这些技术进步使IT部门能够使用“智能”存储引擎，使用机器学习来查看最常使用哪些类型的数据，哪些数据很少使用或从不使用。根据插入到机器算法中的业务规则，自动化能够以快速存储或慢速存储来自动存储数据。自动化可以让存储管理员不必人工解决存储优化问题。

数据管理是一个主要的IT挑战，在大多数组织中并没有很好的解决方案，这是因为随着数据的不断流入，数据管理将会变得更糟。

首席信息官，数据架构师，以及存储管理者需要向企业高管强调这个问题，但数据管理项目并不容易通过花费费用来解决。

然而，IT经理通过指出数据管理的分析时间，以及可以降低人力和存储成本的价值，至少在与企业管理者讨论如何提高战略敏捷性并降低运营成本的同时，这将成为一个至关重要的切入点。