零基础学习大数据挖掘的33个知识点整理

发布时间：2022-10-29 10:55:51 所属栏目：大数据来源：

导读：　　下面是一些关于大数据挖掘的知识点，今天和大家一起来学习一下。

　　1. 数据、信息和知识是广义数据表现的不同形式。

　　2. 主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识

　　下面是一些关于大数据挖掘的知识点，今天和大家一起来学习一下。

　　1. 数据、信息和知识是广义数据表现的不同形式。

　　2. 主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识

　　3. web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘

　　4. 一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。

　　5. 数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处理过程模型，以用户为中心的处理结构模型，联机KDD模型，支持多数据源多知识模式的KDD处理模型

　　6. 粗略地说，知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段，其中后面两种反映了目前知识发现软件的两个主要发展方向。

　　7. 决策树分类模型的建立通常分为两个步骤：决策树生成，决策树修剪。

　　8. 从使用的主要技术上看，可以把分类方法归结为四种类型：

　　基于距离的分类方法

　　决策树分类方法

　　贝叶斯分类方法

　　规则归纳方法

　　9. 关联规则挖掘问题可以划分成两个子问题：

　　发现频繁项目集:通过用户给定Minsupport ，寻找所有频繁项目集或者最大频繁项目集。

　　生成关联规则:通过用户给定Minconfidence ，在频繁项目集中，寻找关联规则。

　　10. 数据挖掘是相关学科充分发展的基础上被提出和发展的，主要的相关技术：

　　11. 衡量关联规则挖掘结果的有效性，应该从多种综合角度来考虑：

　　零基础学习大数据_大数据学习_大数据学习

　　12. 约束的常见类型有：

　　13. 根据规则中涉及到的层次，多层次关联规则可以分为：

　　14. 按照聚类分析算法的主要思路，聚类方法可以被归纳为如下几种。

　　15. 类间距离的度量主要有：

　　16. 层次聚类方法具体可分为：

　　17. 文本挖掘(TD)的方式和目标是多种多样的，基本层次有：

　　18. 在web访问挖掘中常用的技术：

　　路径分析最常用的应用是用于判定在一个Web站点中最频繁访问的路径，这样的知识对于一个电子商务网站或者信息安全评估是非常重要的。

　　使用关联规则发现方法可以从Web访问事务集中，找到一般性的关联知识。

　　在时间戳有序的事务集中，序列模式的发现就是指找到那些如“一些项跟随另一个项”这样的内部事务模式。

　　发现分类规则可以给出识别一个特殊群体的公共属性的描述。这种描述可以用于分类新的项。

　　可以从Web Usage数据中聚集出具有相似特性的那些客户。在Web事务日志中，聚类顾客信息或数据项，就能够便于开发和执行未来的市场战略。

　　19. 根据功能和侧重点不同，数据挖掘语言可以分为三种类型：

　　20. 规则归纳有四种策略：减法、加法，先加后减、先减后加策略。

　　21. 数据挖掘定义有广义和狭义之分。

　　22. web挖掘的含义：针对包括Web页面内容、页面之间的结构、用户访问信息、电子商务信息等在内的各种Web数据，应用数据挖掘方法以帮助人们从因特网中提取知识，为访问者、站点经营者以及包括电子商务在内的基于因特网的商务活动提供决策支持。

　　23. K-近邻分类算法(K Nearest Neighbors，简称KNN)的定义：通过计算每个训练数据到待分类元组的距离，取和待分类元组距离最近的K个训练数据，K个数据中哪个类别的训练数据占多数，则待分类元组就属于哪个类别。

　　24. K-means算法的性能分析：

　　主要优点：

　　主要缺点

　　25. ID3算法的性能分析：

　　26. Apriori算法有两个致命的性能瓶颈:

　　对每次k循环，侯选集Ck中的每个元素都必须通过扫描数据库一次来验证其是否加入Lk。假如有一个频繁大项目集包含10个项的话，那么就至少需要扫描事务数据库10遍。

　　由Lk-1产生k-侯选集Ck是指数增长的，例如104个1-频繁项目集就有可能产生接近107个元素的2-侯选集。如此大的侯选集对时间和主存空间都是一种挑战。a基于数据分割的方法：基本原理是“在一个划分中的支持度小于最小支持度的k-项集不可能是全局频繁的”。

　　27. 改善Apriori算法适应性和效率的主要的改进方法有：

　　28. 面向Web的数据挖掘比面向数据库和数据仓库的数据挖掘要复杂得多：

　　29. 简述知识发现项目的过程化管理I-MIN过程模型。

　　MIN过程模型把KDD过程分成IM1、IM2、…、IM6等步骤处理，在每个步骤里，集中讨论几个问题，并按一定的质量标准来控制项目的实施。

　　30. 改善Apriori算法适应性和效率的主要的改进方法有：

　　31. 数据分类的两个步骤是什么?

　　32. web访问信息挖掘的特点：

　　33. web页面内文本信息的挖掘：

　　挖掘的目标是对页面进行摘要和分类。

　　{在文本学习中常用的方法是TFIDF向量表示法，它是一种文档的词集(Bag-of-Words)表示法，所有的词从文档中抽取出来大数据学习，而不考虑词间的次序和文本的结构。这种构造二维表的方法是：

　　对中文页面来说，还需先分词然后再进行以上两步处理。

　　这样构造的二维表表示的是Web页面集合的词的统计信息，最终就可以采用Naive Bayesian方法或k-Nearest Neighbor等方法进行分类挖掘。

　　在挖掘之前，一般要先进行特征子集的选取，以降低维数。

（编辑：草根网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

Kafka 万亿级消息实践	具备可视化的数据不仅
数据迁移在平台之间移	成功实行数据迁移的策