热线电话：13121318867

登录
首页大数据时代简单理解文本挖掘的定义与过程
简单理解文本挖掘的定义与过程
2020-07-02
收藏

文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。

文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法，主要用途是从原本未经处理的文本中提取出未知的知识。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。

但是文本挖掘也是一项非常困难的工作,因为它必须处理那些本来就模糊而且非结构化的文本数据,所以它是一个多学科混杂领域,涵盖了信息技术、文本分析、模式识别、统计学、数据可视化、数据库技术、机器学习以及数据挖掘等技术。

文本挖掘的独特表现：文档本身是半结构化或非结构化的，无确定形式并且缺乏机器可理解的语义。对比数据挖掘，数据挖掘以数据库中的结构化数据为主要对象，并利用关系表等存储结构来发现知识。这就需要特殊注意了，有些数据挖掘技术并不适用于文本挖掘，即使能够使用，也需要在对文本集预处理的基础上进行。

文本挖掘过程：

第一步：一般确定的大量文本数据才是适合应用的文档。文档聚类方法经常用语解决“大量”这个问题。这些方法是非监督的学习方法，最受欢迎的文档聚类方法是K-means聚类和凝聚层次聚类。

第二步：文本是被清洗过的——1.将数据从网页上的广告中拆离出来;标准化文本从二进制格式转换而来;表、数字等式都是经过处理的;还有其它的等等。然后，将文本中的词语与对应的词类标记的步骤开始进行。之后，一个词语在依据给定的话句子中所含有的拥有的许多不同的含义确定了。最后，明确语义结构。

第三步：这些词语(特征)决定了文本表示。最基本的文档表示方法有词袋法和向量空间。这些方法的目标在于确定哪些特征可以最好的描述一个文档。

第四步：特征的维度被降低。为此，无关的属性将被移除。

第五步：文本挖掘过程与传统的数据挖掘过程结合。经典的数据挖掘技术如聚类，分类，决策树，回归分析，神经网络和近邻取样将被用在之前的阶段所得到的结构化数据库上。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名”

▷ 想学习CDA考试教材，点击>>> “CDA教材” 

▷ 想加入CDA考试题库，点击>>> “CDA题库” 

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 

▷ 想了解CDA院校合作，点击>>> “院校合作” 

▷ 想测试数据分析能力，点击>>> “CDA测评” 

文本挖掘 数据挖掘 特征 决策树 无监督 K-means聚类 有监督 层次聚类

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇echarts—一款实用的百度开源绘图工具
下一篇数据倾斜解决优化方法有哪些？
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询