数据挖掘技术：数据类型、方法、应用

如今，企业正在以非常惊人的速度收集数据。 这个庞大的数据流的来源是多种多样的。 它可能来自信用卡交易、公开可用的客户数据、来自银行和金融机构的数据，以及用户必须提供的仅用于在其笔记本电脑、手机、平板电脑和台式机上使用和下载应用程序的数据。

存储如此大量的数据并不容易。 因此，为此目的不断构建许多关系数据库服务器。 在线事务协议或 OLTP 系统也正在开发中，以将所有这些存储到不同的数据库服务器中。 OLTP 系统在帮助企业顺利运作方面发挥着至关重要的作用。

正是这些系统负责将来自最小事务的数据存储到数据库中。 因此，与销售、采购、人力资本管理和其他交易相关的数据由 OLTP 系统存储在数据库服务器中。

现在，高层管理人员需要访问基于数据的事实，以作为决策的依据。 这就是在线分析处理或 OLAP 系统发挥作用的地方。 由于高层管理人员的这种需求，越来越多的数据仓库和其他 OLAP 系统被建立起来。 我们不仅需要数据，还需要与之相关的分析来做出更好、更有利可图的决策。 OLTP 和 OLAP 系统协同工作。

OLTP 系统存储我们每天生成的所有海量数据。 然后将这些数据发送到 OLAP 系统，用于构建基于数据的分析。 如果您还不知道，那么让我们告诉您，数据在公司的发展中起着非常重要的作用。 它可以帮助做出有知识支持的决策，从而将公司带到下一个增长水平。 数据检查绝不能肤浅地进行。

它没有达到目的。 我们需要分析数据以丰富自己的知识，这将有助于我们做出正确的决定，以取得业务的成功。 如果我们没有从中学到任何东西，那么这些天我们被淹没的所有数据都没有任何用处。 我们可用的数据如此庞大，以至于我们无法处理和理解它。 数据挖掘或知识发现是我们解决这个问题所需要的。 了解数据挖掘在现实世界中的其他应用。

什么是数据挖掘？

数据挖掘是帮助从给定数据集中提取信息以识别趋势、模式和有用数据的过程。 使用数据挖掘的目的是从庞大的数据集中做出数据支持的决策。

数据挖掘与预测分析结合使用，预测分析是统计科学的一个分支，它使用复杂的算法来处理一组特殊的问题。 预测分析首先识别大量数据中的模式，数据挖掘将其概括为预测和预测。 数据挖掘有一个独特的目的，即识别数据集中属于特定领域的一组问题的模式。

它通过使用复杂的算法来训练特定问题的模型来做到这一点。 当您知道您正在处理的问题的领域时，您甚至可以使用机器学习来对能够识别数据集中模式的系统进行建模。 当你让机器学习发挥作用时，你将把解决问题的系统作为一个整体实现自动化，你不需要想出特殊的编程来解决你遇到的每一个问题。

我们还可以将数据挖掘定义为一种调查属于特定视角的数据模式的技术。 这有助于我们将这些数据分类为有用的信息。 然后，这些有用的信息被积累和组合起来，要么存储在数据库服务器中，比如数据仓库，要么用于数据挖掘算法和分析，以帮助做出决策。 此外，它还可用于创收和削减成本等目的。

数据挖掘是搜索大量数据以寻找使用简单分析技术无法找到的模式和趋势的过程。 它利用复杂的数学算法来研究数据，然后根据研究结果评估未来事件发生的可能性。 它也被称为数据的知识发现或 KDD。

企业使用数据挖掘从大量数据中提取特定信息，以找到解决其业务问题的方法。 它具有将原始数据转换为信息的能力，可以通过做出更好的决策来帮助企业发展。 数据挖掘有多种类型，包括图片数据挖掘、文本挖掘、社交媒体挖掘、网络挖掘、音视频挖掘等。

阅读：数据挖掘与机器学习

数据挖掘过程

在进行实际的数据挖掘之前，数据挖掘实施涉及几个过程。 这是如何做：

第 1 步：业务研究——在开始之前，您需要全面了解您的企业的目标、可用资源以及符合其要求的当前情景。 这将有助于制定详细的数据挖掘计划，从而有效地实现组织的目标。

第 2 步：数据质量检查——随着从各种来源收集数据，需要对其进行检查和匹配，以确保数据集成过程中没有瓶颈。 质量保证有助于发现数据中的任何潜在异常，例如缺少数据插值，在数据进行挖掘之前保持数据处于最佳状态。

第 3 步：数据清理——据信 90% 的时间用于在挖掘之前选择、清理、格式化和匿名数据。

第 4 步：数据转换——包括五个子阶段，在这里，所涉及的过程使数据准备好进入最终数据集。 它涉及：

• 数据平滑：在这里，从数据中去除噪声。
• 数据摘要：在此过程中应用数据集的聚合。
• 数据泛化：在这里，通过用更高层次的概念化替换任何低层次数据来泛化数据。
• 数据标准化：在这里，数据在设定的范围内定义。
• 数据属性构建：数据集在数据挖掘之前需要在属性集中。

第 5 步：数据建模：为了更好地识别数据模式，根据几个条件在数据集中实施了几个数学模型。 学习数据科学以了解和利用数据挖掘的力量。

可挖掘的数据类型

1.数据库中存储的数据

数据库也称为数据库管理系统或 DBMS。 每个 DBMS 都以某种方式存储彼此相关的数据。 它还具有一组软件程序，用于管理数据并提供对数据的轻松访问。 这些软件程序有很多用途，包括定义数据库结构，确保存储的信息保持安全和一致，以及管理不同类型的数据访问，例如共享、分布式和并发。

关系数据库的表具有不同的名称、属性，并且可以存储大型数据集的行或记录。 存储在表中的每条记录都有一个唯一的键。 创建实体关系模型是为了提供关系数据库的表示，该数据库具有实体及其之间存在的关系。

2.数据仓库

数据仓库是一个单一的数据存储位置，它从多个来源收集数据，然后以统一计划的形式存储。 当数据存储在数据仓库中时，它会经历清洗、集成、加载和刷新。 存储在数据仓库中的数据分为几个部分。 如果您需要 6 或 12 个月前存储的数据的信息，您将以摘要的形式获得。

3. 交易数据

事务数据库存储作为事务捕获的记录。 这些交易包括航班预订、客户购买、点击网站等。 每条交易记录都有一个唯一的 ID。 它还列出了所有使其成为交易的项目。

4. 其他类型的数据

我们还有许多其他类型的数据，它们以其结构、语义和多功能性而闻名。 它们用于许多应用程序。 以下是其中一些数据类型：数据流、工程设计数据、序列数据、图形数据、空间数据、多媒体数据等。

数据挖掘技术

1.协会

它是所有其他数据挖掘技术中最常用的数据挖掘技术之一。 在这种技术中，事务及其项目之间的关系用于识别模式。 这就是该技术也称为关系技术的原因。 它用于进行购物篮分析，以找出客户定期一起购买的所有产品。

这种技术对零售商来说非常有帮助，他们可以用它来研究不同客户的购买习惯。 零售商可以研究过去的销售数据，然后寻找客户一起购买的产品。 然后他们可以将这些产品放在零售店中彼此靠近的位置，以帮助客户节省时间并增加销售额。

2. 聚类

该技术创建了具有相同特征的有意义的对象集群。 人们经常将其与分类混淆，但如果他们正确理解这两种技术的工作原理，他们就不会有任何问题。 与将对象放入预定义类的分类不同，聚类将对象放入由它定义的类中。

让我们举个例子。 图书馆里满是不同主题的书籍。 现在的挑战是如何组织这些书籍，使读者在查找特定主题的书籍时不会遇到任何问题。 我们可以使用聚类将相似的书籍保存在一个书架上，然后给这些书架起一个有意义的名字。 寻找特定主题书籍的读者可以直接进入该书架。 他们不需要漫游整个图书馆来寻找他们的书。

三、分类

这种技术起源于机器学习。 它将数据集中的项目或变量分类为预定义的组或类。 它在数据挖掘中使用线性规划、统计、决策树和人工神经网络，以及其他技术。 分类用于开发可以建模的软件，使其能够将数据集中的项目分类为不同的类别。

例如，我们可以使用它将参加面试的所有候选人分为两组——第一组是被选中的候选人的列表，第二组是被拒绝的候选人的列表。 数据挖掘软件可用于执行此分类工作。

4. 预测

这种技术可以预测自变量和因变量以及单独的自变量之间存在的关系。 它可用于根据销售额预测未来的利润。 让我们假设利润和销售额分别是因变量和自变量。 现在，根据过去的销售数据，我们可以使用回归曲线对未来的利润进行预测。

5. 顺序模式

该技术旨在使用交易数据，然后在一段时间内识别其中的相似趋势、模式和事件。 历史销售数据可用于发现买家在一年中的不同时间一起购买的商品。 企业可以通过在历史数据不建议客户购买这些产品时建议客户购买这些产品来理解这些信息。 企业可以使用利润丰厚的交易和折扣来推动这项建议。

数据挖掘应用

下面是一些最有用的数据挖掘应用程序，让您了解更多关于它们的信息。

1. 医疗保健

数据挖掘有可能彻底改变医疗保健系统。 它可用于根据数据和分析确定最佳实践，从而帮助医疗机构降低成本并改善患者治疗效果。 数据挖掘以及机器学习、统计、数据可视化和其他技术可用于产生影响。 在预测不同类别的患者时，它可以派上用场。 这将帮助患者在他们想要的时间和地点接受重症监护。 数据挖掘还可以帮助医疗保险公司识别欺诈活动。

2. 教育

在教育中使用数据挖掘仍处于初期阶段。 它旨在开发可以使用来自教育环境的数据进行知识探索的技术。 预计这些技术将服务的目的包括研究教育支持如何影响学生，支持学生的未来需求，以及促进学习科学等。 教育机构不仅可以使用这些技术来预测学生在考试中的表现，还可以做出准确的决定。 有了这些知识，这些机构可以更加专注于他们的教学法。

3. 购物篮分析

这是一种以假设为基础的建模技术。 该假设表明，如果您购买了某些产品，那么您很可能还会购买不属于您通常购买的那个组的产品。 零售商可以使用这种技术来了解客户的购买习惯。 零售商可以使用这些信息来改变他们商店的布局，让顾客的购物变得更轻松、更省时。

4.客户关系管理（CRM）

CRM 涉及获取和留住客户、提高忠诚度以及采用以客户为中心的策略。 每个企业都需要客户数据来分析它，并以一种可以与客户建立长期关系的方式使用这些发现。 数据挖掘可以帮助他们做到这一点。

5.制造工程

制造公司在很大程度上依赖于可用的数据或信息。 数据挖掘可以帮助这些公司识别过程中的模式，这些模式过于复杂以至于人类无法理解。 他们可以识别不同系统级设计元素之间存在的关系，包括客户数据需求、架构和产品组合。

数据挖掘还可以用于预测产品开发所需的总时间、过程中涉及的成本以及公司对最终产品的期望。

6.金融和银行

银行系统从数字化开始就见证了海量数据的产生。 银行家可以使用数据挖掘技术通过找出市场成本和商业信息的相关性和趋势来解决企业面临的烘焙和财务问题。 如果没有数据挖掘，这项工作太难了，因为他们处理的数据量太大。 银行和金融部门的经理可以使用这些信息来获取、保留和维护客户。

了解更多：关联规则挖掘

7.欺诈检测

欺诈活动每年使企业损失数十亿美元。 通常用于检测欺诈的方法过于复杂和耗时。 数据挖掘提供了一个简单的替代方案。 每个理想的欺诈检测系统都需要在所有情况下保护用户数据。 监督一种方法来收集数据，然后将这些数据分类为欺诈性数据或非欺诈性数据。 该数据用于训练一个模型，该模型将每个文档识别为欺诈性或非欺诈性。

8. 监控模式

它被称为基本数据挖掘技术之一，通常包括跟踪数据模式以得出业务结论。 对于一个组织来说，这可能意味着任何事情，从识别销售热潮或挖掘新的人口统计数据。

9、分类

为了导出相关元数据，数据挖掘中的分类技术有助于将数据区分为不同的类别：

• 根据数据源的类型，挖掘

取决于处理的数据类型，例如基于文本的数据、多媒体数据、空间数据、时间序列数据等。

• 基于所涉及的数据框架

任何基于面向对象数据库、关系数据库等的数据集。

• 基于数据挖掘功能

在这里，数据集根据机器学习、算法、统计、数据库或数据仓库等所采用的方法进行区分。

• 基于数据挖掘中的用户交互

数据集用于基于查询驱动系统、自治系统进行区分。

10. 协会

也称为关系技术，数据是基于同一事务中的值之间的关系来识别的。 对于试图发现购买趋势或产品偏好的组织来说，它特别方便。 由于它与客户的购物行为有关，因此组织可以根据买家的购买历史分解数据模式。

11.异常检测

如果识别出与先前行为不匹配的数据项，则它是异常值或异常。 该方法深入研究了此类异常的创建过程，并为其提供了关键信息。

一般来说，异常的起源可能是超然的，但它也有可能找到一个焦点区域。 因此，企业经常使用这种方法来跟踪系统入侵、错误检测并检查系统的整体健康状况。 专家更喜欢从数据集中发出异常以增加正确性的机会。

12. 聚类

就像听起来一样，这种技术涉及将相同的数据对象整理到相同的集群中。 基于不同之处，这些组通常包括使用度量来促进最大的数据关联。 此类流程有助于根据客户的收入、购物频率等来分析客户。

查看：数据科学和数据挖掘之间的区别

13.回归

一种有助于预测客户行为和收益的数据挖掘过程，企业使用它来了解环境中变量的相关性和独立性。 对于产品开发，这样的分析可以帮助了解市场需求、竞争等因素的影响。

14. 预测

正如其名称所暗示的那样，这种引人注目的数据挖掘技术可帮助企业根据当前和历史数据记录匹配模式，以便对未来进行预测分析。 虽然有些方法涉及人工智能和机器学习方面，但有些方法可以通过简单的算法进行。

组织通常可以使用此类数据挖掘技术预测利润、得出回归值等。

15. 顺序模式

它用于识别给定时间内可用的交易数据中的显着模式和趋势。 为了发现客户喜欢在一年中的不同时间购买的商品，企业会提供此类产品的交易。

阅读：数据挖掘项目理念

16. 决策树

最常用的数据挖掘技术之一； 在这里，一个简单的条件是方法的关键。 由于这些术语有多个答案，因此每个解决方案都会进一步扩展到更多状态，直到得出结论。 了解有关决策树的更多信息。

17. 可视化

如果没有正确的可视化方式，任何数据都是有用的，因为它总是在变化。 不同的颜色和对象可以揭示有价值的趋势、模式和对庞大数据集的见解。 因此，企业经常求助于数据可视化仪表板，以自动化生成数字模型的过程。

18. 神经网络

它代表了特定机器学习模型与基于 AI 的学习技术的联系。 由于它受到人体解剖学中发现的神经多层系统的启发，因此它代表了机器学习模型的精确工作。 它可能越来越复杂，因此需要格外小心。

19. 数据仓库

虽然它意味着数据存储，但它象征着以云仓库的形式存储数据。 企业经常使用这样一种精准的数据挖掘方式来进行更深入的实时数据分析。 阅读有关数据仓库的更多信息。

数据挖掘工具

所有这些 AI 和机器学习推理一定让您想知道，对于数据挖掘实施，您需要的就是这样。 这可能并不完全正确，因为在最简单的数据库的帮助下，您可以同样准确地完成工作。

此外，阅读最有用的数据挖掘应用程序。

结论

数据挖掘汇集了来自不同学科的不同方法，包括数据可视化、机器学习、数据库管理、统计学等。 这些技术可以协同工作以解决复杂的问题。 通常，数据挖掘软件或系统利用这些方法中的一种或多种来处理不同的数据需求、数据类型、应用领域和挖掘任务。

如果您想了解数据科学，请查看 IIIT-B 和 upGrad 的数据科学执行 PG 计划，该计划是为在职专业人士创建的，提供 10 多个案例研究和项目、实用的实践研讨会、行业专家的指导、1与行业导师一对一，400 多个小时的学习和顶级公司的工作协助。