京公网安备 11010802034615号
经营许可证编号:京B2-20210330
谷歌教你学 AI-第三讲简单易懂的估算器
Google Cloud发布了名为"AI Adventures"的系列视频,用简单易懂的语言让初学者了解机器学习的方方面面。
观看更多国外公开课,点击"阅读原文"
前两期我们分别讲到了机器学习的概念和具体步骤,今天让我们来看到第三讲,使用TensorFlow Estimator进行机器学习。
CDA字幕组目前在对该系列视频进行汉化,之后将继续连载,欢迎关注和支持~
主讲人还是来自Google Cloud的开发人员,华裔小哥Yufeng Guo。让我们在学习AI知识的同时来提高英语吧。
附有中文字幕的视频如下:
AI Adventures--第三讲简单易懂的估算器
针对不方便打开视频的小伙伴,CDA字幕组也贴心的整理了文字版本,如下:
机器学习棒极了,除了它迫使你用到高数的时候。进行机器学习的工具得到了极大地发展,训练模型也从未如此简单。
我们将利用对数据集的理解,而不是对纯粹数学知识的理解,以此编程得出模型,最终得出相应见解。在本期视频,我们将用少部分代码训练一个简单的分类器。
TensorFlow Estimator
为了训练分类器,我们将使用TensorFlow。谷歌的开源机器学习库。 TensorFlow有很庞大的API,但是我们要关注的是当中的高级API,称为Estimator(估算器)。
Estimator为我们把训练循环打包起来,这样我们可以通过配置来训练模型,而不是手工进行编程。从而去除了许多样板文件,让我们在更高的层面上思考抽象问题。意味着我们能够参与到机器学习有意思的部分,而不用为各个细节而烦恼。
由于目前为止我们只涉及到线性模型,因此将主要围绕该部分。之后会再看到这个例子,用来拓展其能力。
鸢尾花分类
这次我们将构建一个模型,用来区分三种类似的花。我感觉这可能没有上一期区分葡萄酒和啤酒那么有意思,但是这些花朵更难区分,从而构成一项有趣的挑战。
我们将对不同种类的鸢尾花进行区分。我不确定我能区分鸢尾花和玫瑰,但是我们模型的目的是区分出山鸢尾(Iris Setosa)、杂色鸢尾(Iris Versicolour)和维吉尼亚鸢尾(Iris Virginica)。
山鸢尾(Iris Setosa)、杂色鸢尾(Iris Versicolour)和维吉尼亚鸢尾(Iris Virginica)
我们有鸢尾花卉数据集,包括花瓣和花萼长宽度数据。这四列将作为我们的“特征”。
加载数据
在引入TensorFlow和NumPy后,我们将加载数据集,使用TensorFlow的函数load_csv_with_header 。数据或者特征呈现为浮点数。同时每行数据或对象的标签记录为整型数(integer):0、1、2,对应三种花。
我输出了加载的结果,现在我们可以用命名的属性访问训练数据和相关标签或对象。
建立模型
下面我们开始建模。首先我们需要设定特征列。特征列决定了进入模型的数据类型。我们将用到四维特征列表示特征,称为“flower_features”。
使用估算器(estimator)建模超级简单。使用`tf.estimator.LinearClassifier`,我们可以通过传递之前创建的特征列让模型实例化;该模型得出的不同输出数字,比如这里是3;还有存储模型训练过程和输出文件的目录。这使TensorFlow能够在有需要的情况下,继续进行之前的训练。
输入函数
分类对象能帮我们记录状态,然后我们差不多可以进入训练阶段了。最后还有一个连接模型和训练数据的部分,即输入函数。输入函数的作用是创建TensorFlow操作,从而从模型中生成数据。
如今我们从原始数据到输入函数,通过数据,通过特征列的映射,进入到模型中。注意,我们对特征使用定义特征列的相同名称。这样数据才会是相关联的。
运行训练
现在可以开始训练了。为了训练模型,我们要运行classifier.train()函数,当中输入函数作为实参。就这样我们把数据集和模型连接起来。
训练函数处理训练回路,对数据集进行迭代,一步步提高性能。就这样我们完成了一千个训练步骤! 我们的数据集不大,因此完成得很快。
评估
现在该对结果进行评估了。我们可以使用之前相同的分类对象,因为这具有模型的训练状态。为了确定我们模型的性能,我们可以运行classifier.evaluate()函数,传递到测试数据集,从返回的指标中提取准确率。
我们的准确率为96.66%! 很不错嘛!!
Estimators: 简单的工作流程
让我们停下来,回顾一下使用Estimator我们目前实现了哪些成果。
Estimator API 为我们提供了很棒的工作流程,从获取原始数据,通过输入函数传递,设立特色列和模型结构,运行训练,进行评估。容易理解的框架让我们能够思考数据和其性能,而不是依赖数学,这太棒了!
下期预告
在本期视频中,我们看到了TensorFlow高级API中的一个简单版本,使用Estimator。在之后的视频中,我们将探究如何对模型进行扩展,使用更多复杂的数据,添加更多高级特征。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16