PyTorch如何设置batch-size和num_workers，避免超显存, 并提高实验速度？

2023-03-22

PyTorch 是一个广泛使用的深度学习框架，在使用过程中，设置 Batch Size 和 Num Workers 是非常重要的。Batch Size 与 Num Workers 的设置关系到 GPU 内存的使用和训练速度。 在 PyTorch 中，通过 DataLoader ...

苹果 M1 芯片的神经单元可否用于训练 PyTorch 深度学习网络模型？

2023-03-22

苹果于2020年发布了自家研发的M1芯片，它是一款基于ARM架构的芯片，能够为Mac电脑带来更高的性能和效率。其中一个引人注目的特点就是M1芯片搭载了神经单元（Neural Engine），这是一种专门用于机器学习任务的硬件 ...

PyTorch如何自定义损失函数（Loss Function）？

2023-03-22

PyTorch是一个开源的Python深度学习框架，提供了许多预定义的损失函数。但有时候，我们需要根据自己的任务和数据集来自定义损失函数。这篇文章将介绍如何在PyTorch中自定义损失函数。 一、什么是Loss Function ...

PyTorch有什么节省显存的小技巧？

2023-03-22

PyTorch是一个非常流行的深度学习框架，它提供了丰富的函数库和工具包来简化神经网络的实现过程。然而，在训练大型模型或处理大规模数据集时，显存消耗可能会成为问题。本文将分享一些PyTorch中节省显存的小技巧。 ...

深度学习PyTorch训练时候为什么GPU占比很低?

2023-03-21

深度学习在过去几年中已经成为了计算机科学领域的一个热门话题。随着越来越多的研究者和工程师对深度学习进行探索，并且采用PyTorch等流行的深度学习框架，GPU也成为了训练深度学习模型时主要的计算资源。然而，在实 ...

使用PyTorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?

2023-03-14

随着深度学习模型的日益复杂，训练集数据规模也越来越大。对于使用PyTorch进行训练的用户来说，一个常见的问题是当训练集数据量过大时，Dataloader加载速度变得很慢，这会显著影响模型的训练效率和性能。 那么当我 ...

了解雇主对2020年数据科学家职位的期望

2022-03-30

作者Shareef Shaik，有抱负的数据科学家 最近，我积极地开始找工作，转到数据科学，我没有任何正式的教育，如硕士或博士。AI/机器学习背景。我开始学习它完全是出于我自己的兴趣（不仅仅是因为炒作）。这是 ...

如何像数据科学家一样思考

2022-03-30

作者Jo Stichbury，自由技术作家 数据科学是一个新兴的成熟领域，从数据工程和数据分析到机器和深度学习，各种工作职能不断涌现。数据科学家必须结合科学、创造性和调查性的思维，从一系列数据集中提取意义 ...

我从高效的数据科学家那里学到的15个习惯

2022-03-14

麦迪逊·亨特，地球科学学士学位本科生 当涉及到进入数据科学领域时，你需要使用书中的每一个技巧来给自己一个优势，推动你越过终点线。 那么，为什么不尝试效仿行业中最好的人的习惯呢？ 这篇 ...

我们不需要数据科学家，我们需要数据工程师

2022-03-14

由Mihail Eric著，《机器学习研究与教育》。 参加KDnuggets工作满意度调查，部分灵感来自这个博客。 以下是受此帖子启发的KDnuggets漫画 数据。它无处不在，我们只会得到更多。在过去的5-1 ...

30个顶级Python库 | 用于深度学习、自然语言处理和计算机视觉

2022-02-28

CDA数据分析师 出品 作者：Matthew Mayo 编译：Mika 今天我们来盘点一下有哪些用于深度学习、自然语言处理和计算机视觉的顶级Python库。 我们尽力将每个库按预期的使用情况进行归类，希望这能对大 ...

关于机器学习的常见误解

2022-02-21

有一个关于ML（机器学习）的炒作列车正在进行，许多初学者正成为这个炒作列车的受害者，因为他们是因为错误的原因进入的。你的教授会解释如何获得博士学位。如果你想变得更好，或者你的同行告诉你如何获得更好 ...

使用图形卷积背后的动机

2022-02-16

图谱神经网络（GNNs）近年来一直是一个快速发展的领域。根据2021年的《人工智能状况》报告，GNNs已经 "从小众领域发展为人工智能研究的最热门领域之一"。     本文是《用PyTorch ...

数据分析敏捷算法建模训练营正式上线！（脱产班）

2021-08-20

近些年，随着大数据、机器学习、人工智能等技术的不断发展，越来越多的企业开始着眼于整理自己的数据资产、挖掘自身的数据业务、开拓自己的数据产品。 但是，由于企业之间的起点不同，在发展过程中就遇到了很多 ...

数据科学方向求职，简历中应避免的四个错误

2021-07-30

作者 Jeremie Harris 我在招聘公司SharpestMinds工作，因此我看过许多数据科学方面的简历。同时我们也不断得到其他公司的反馈，了解到他们会面试哪些人，哪些人最终能顺利被雇佣。 注意，每家公司的要求 ...

5个开源Python库，点亮你的机器学习之路

2017-03-14

5个开源Python库，点亮你的机器学习之路 机器学习令人兴奋，但实际操作却很困难也很复杂。它涉及到很多手动提升，如集合工作流，设置数据源，以及在内部部署与云部署的资源之间切换等。 Python 是一款强大的 ...

数据工程师需要掌握的18个python库

2020-07-24

python之所以这么火，是因为它的应用广泛，之所以应用广泛，是因为它包含有许多功能强大的库。对于不是专业数据分析人员的我们，平时在工作和生活中，主要是用python来获取信息，制作可视化报表，但是专业的数据工 ...

CNN、RNN、GAN都是什么？终于有人讲明白了

2020-07-23

导读：深度学习已经存在了几十年，不同的结构和架构针对不同的用例而进行演变。其中一些是基于我们对大脑的想法，另一些是基于大脑的实际工作。本文将简单介绍几个业界目前使用的先进的架构。 作者：谢林·托马 ...

深度学习算法：CNN、RNN、LSTM、TensorFlow等之间的关系！

2020-05-27

用于实际问题的深度神经网络可能具有10层以上的隐藏层。它的拓扑可能很简单，也可能很复杂。网络中的层越多，它可以识别的特征就越多。不幸的是，网络中的层越多，计算所需的时间就越长，并且训练起来就越困难。 ...

AI、机器学习、数据科学与深度学习在2020年的主要发展趋势（一）

2020-04-02

作者 | Matthew Mayo 编译 | CDA数据分析师 正如我们告别上一年并期待新的一年一样，KDnuggets再次征求了众多研究和技术专家对2019年最重要的发展及其2020年关键趋势预测的意见 ...