京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据会带来越来越细的标准_数据分析师
我们经常谈大数据,什么是大数据呢?大数据首先它体积非常大,有各种各样的数据,另外还有非常复杂,还包括数据传输的速度。在2000年的时候,我们的因特网的大小规模大概21Tb,用现在的技术,放在四页A4纸上就能储存下来。2012年,这个数据达到了2.1个Zb,如果把地球上所有海滩的沙粒放在一起的话,数量就相当于2.1Zb。
从过去到今天,进步很快,大家都知道生日卡,这种技术在二战时候开始流行。后来我们发明了手机,手机里面有电脑的成分来做这个功能,现在手机的功能比美国宇航局探索月球的时候使用的计算机还要强。现在我们普通的电脑功能比以前强大很多,所以我们现在的计算能力比以前强大了很多。
在中国每天有13万新人用互联网,到2016年,使用互联网的人会越来越多。另外如何使用大数据,会影响到我们思考生活和工作的方式。比如说我们的一些新的技术,新的技术可以收集储存数据,并且把它用在新的用途上进行分析。我们会有新的知识,因为更多的个人行为都可以变成数据。这些数据可以在网上进行交流,可以在大学里面使用因特网进行远程的教育。
大的数据会影响到我们现在解决问题、看待问题和处理信息的能力,另外也会有新的挑战。大数据有一些不完美的地方。如何来将计算和人的本能判断进行均衡?另外你的个人的隐私和信息的安全,从这个方面你要考虑到这些新的挑战。
现在我们经常是生产很多产品,然后把它放到亚马逊或者其它一些网上平台上,如果说你预测做的好的话,你就可以知道如何来最大程度地减少库存。市场有一个需求,你进行设计,进行定制。其次要将商店与你的办公场所结合起来,这样的话每个人都可以很好地进行交流。另外就是营销和投资决定的时候也需要使用数据分析。
我们都需要大数据帮助我们进行研究设计,进行好的生产供应和服务。这也就意味着我们需要对数据进行探索挖掘和分析,这样连结和优化产品价值链,提供适时的信息,更好地进行改建,同时也可以改善工厂的生产质量,增加透明度,在我们的生产销售各个环节进行连结。最终减少待机的时间,减少库存,减少废料。我们产品的质量会更高,并且消费者他们的满意度也会更高。
工业革命是什么意思呢?首先是工厂的自动化,然后使用工艺,工艺制造的更加自动化,更加有效率,然后联网。另外就是使用机器人、物流,还有横向地和纵向地整合。关于机器人,我们可以对它进行更好地控制。这就需要电脑的作用,因为机器人本身不会,我们需要用电脑来控制它们,用电脑让它们去做。另外我们有些老年人在家里,可以有一些智能的方式来帮助他们,比如说他们可以在窗户外面放一个信号,然后机器人就可以发现,根据人的需求来提供必要的服务。
这也就意味着我们需要进行整合,整合也是工业革命的核心。首先是横向的整合,我们需要有这个生命周期的整合。另外有纵向的整合,需要有很高的弹性,对订单的处理能既涵盖生产也涵盖配送。
另外我们谈互联网的时候,以前我们可以有人的互联网,东西的互联网,物联网或者服务联网,我们可以有智能的家庭、智能工厂、智能电网。在将来我们会有智能的因特网,我们把它叫做适时的智能因特网,就是说它能提供适时的信息,这样的话每个时候你就可以把一个工厂跟另外的工厂结合起来,也就是每个工厂都是智能的,而且信息都是适时的,我想这个是我们将来通过因特网可以做到的,我们把它叫做数字化智能因特网.本文来自:http://cda.pinggu.org/
这么多里面有一个关键问题,就是标准化。我在德国的DKE工作,就是一个标准化机构,是负责电气电子产品的标准化,我们希望通过标准化促进工厂的自动化和技术的创新。另外我们所谓制造业的生态系统里面,大数据是非常重要的,因为我们只有处理好了大数据才能够实现转型。所以说我们如何来解决这个问题呢?在解决这个问题的过程当中,标准化会起到关键的作用。
在德国我们就是为工业革命做标准化的路线图。第一步就是我们要对工业革命做一个定义,然后找到现在已经有的一些现成的标准,这些标准是可以被我们所用的。在这个工作做完了之后,我们要有一个新的工业形态的模型,因为这是一个复杂的体系,比如几年之前我们做过一个智能电网,这是一个非常复杂的体系,你要理解它的复杂性,而且要减少它的复杂性,我们就必须改革我们的标准体系。我们要做到,首先要知道什么算是智能电网,在信息方面,在通讯领域,在其他的电厂和变电站,各个领域里面什么是智能,他们是如何组成智能电网的。我们通过研究这些问题,来让我们对智能电网有一个更好地了解。现在我们还没有开发出来相关的标准,但是我们正在做工作。
另外我们还可以为制造业,其它的工业领域也做同样的标准,有些标准已经有了,有些标准还要进一步的来开发。我们要确定,由谁来开发或者制定这些标准,比如说你是由大学来做,还是由第三方来做,以及开发出来标准以后会不会起到促进工业形态的效果。
德国对于电器技术标准工作的兴趣,主要是因为我们希望能够移除标准中各种阻碍性的因素,因为德国毕竟是电子电气产品比较大的出口国,因为我们认为在行业发展过程中,标准化是一个非常重要的工作。
我们有很多在德国内部自己做出来的标准,听起来好像说做本地标准不太可能,其实我们有很多都是本地的标准,但是我们也有不少的标准是国际化的标准。欧洲层面有一些人可能对国际标准不感兴趣,所以在欧洲层面会做一些高标准。德国的本地标准一般比较低,这当然和德国的电力发展的历史有关。
我们经常说要从国际的视角来做标准的工作,我们有一些倡议,中国也有很多的倡议,去执行一些新的技术。比如说中国在机器人方面就有一些新的倡议,我们和中国一起在国际的层面做这些标准的工作。另外我们在这个领域还做一些共同的修订工作。中国现在也在做一些共同修订工作,很多中国的标准现在已经接近于国际标准。我们和中国很多领域都开展了工作,比如说在智能电网这一块,我们和中国国家电网保持着非常好的关系。中国国家电网,主要的技术一般都是用于电力传输的,我们这些正在从中国那里学习经验。德国说2020年会关闭所有的核能电厂电站,所以我们要学习很多。现在欧洲正在使用大数据,使用网络来把更多的可再生能源发到电网上,我们也在这方面开始制定一些标准。
20世纪是一个人移动的世纪,我们发明了那么多交通工具,让我们哪里都可以去。21世纪的重点是物的流动,如果我们抓住了机会,那么这个时机就是一个大数据的时机,是一个工业4.0和物联网的时机。
根据摩尔定律,信息的增长周期是18个月一翻,实际上现在我们看到的情况比这个更加迅速,数据正快速的呈几何级数增长,带动整个IT行业也必须不断的生产更加快速,更大的数据存储设备已及更有效率的数据组织形式,所以大数据行业会越来越容易被人们所感知,在日常的生活中也会越来越重要。
未来,也许我们的信息会越来越透明,因为大数据会无处不在,现在我们已经可以看到,凡是我们在线所做的任何操作,发送的任何信息,实际上都在被不同的平台、公司所搜集,为的都是更全面的勾画出用户的全景,或者用户在某一属性上的全景,更好的帮助到制定用户更加容易接受的产品、服务,或者判断用户的信用情况。
实际上现在已经在某些行业的工厂实现了由数据推动生产的智能制造,工厂的制造辅助系统根据前端市场的数据、用户订单数据及生产设备数据等有效数据来自动的对工厂产能进行调整,对制造设备的制造工艺参数进行调整,以应对用户越来越多的个性化要求,这是一个大的趋势,很多传统制造业也有了这方面的意识,主动的寻求改变,也许在不久的将来,我们在某个网站下的订单或者提出对产品的要求,在下一秒,工厂的设备已经自动的开始生产用户个性需求的产品了。
标准化是智能工厂的一个必要的条件,试想如果某个零件的公差过大,是很难用自动化设备进行装配的,但是智能工厂必须是要做到全自动的生产及物流,所以在智能之前,标准必须先行。
互联网细分出许多垂直行业,行业细分形成后会有一段野蛮成长期,标准化是引导行业发展规范、繁荣的必要手段。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在机器学习领域,“分类模型” 是解决 “类别预测” 问题的核心工具 —— 从 “垃圾邮件识别(是 / 否)” 到 “疾病诊断(良性 ...
2025-11-06在数据分析中,面对 “性别与购物偏好”“年龄段与消费频次”“职业与 APP 使用习惯” 这类成对的分类变量,我们常常需要回答: ...
2025-11-06在 CDA(Certified Data Analyst)数据分析师的工作中,“可解释性建模” 与 “业务规则提取” 是核心需求 —— 例如 “预测用户 ...
2025-11-06在分类变量关联分析中(如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”),卡方检验 P 值与 OR 值(比值比,Odds Ratio)是 ...
2025-11-05CDA 数据分析师的核心价值,不在于复杂的模型公式,而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材:CDA教材一级:商业数据分析(2025)__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04在数字化时代,数据挖掘不再是实验室里的技术探索,而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升 ...
2025-11-04在 DDPM(Denoising Diffusion Probabilistic Models)训练过程中,开发者最常困惑的问题莫过于:“我的模型 loss 降到多少才算 ...
2025-11-04在 CDA(Certified Data Analyst)数据分析师的工作中,“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值 ...
2025-11-04当沃尔玛数据分析师首次发现 “啤酒与尿布” 的高频共现规律时,他们揭开了数据挖掘最迷人的面纱 —— 那些隐藏在消费行为背后 ...
2025-11-03这个问题精准切中了配对样本统计检验的核心差异点,理解二者区别是避免统计方法误用的关键。核心结论是:stats.ttest_rel(配对 ...
2025-11-03在 CDA(Certified Data Analyst)数据分析师的工作中,“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次 ...
2025-11-03在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30