京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据会带来越来越细的标准_数据分析师
我们经常谈大数据,什么是大数据呢?大数据首先它体积非常大,有各种各样的数据,另外还有非常复杂,还包括数据传输的速度。在2000年的时候,我们的因特网的大小规模大概21Tb,用现在的技术,放在四页A4纸上就能储存下来。2012年,这个数据达到了2.1个Zb,如果把地球上所有海滩的沙粒放在一起的话,数量就相当于2.1Zb。
从过去到今天,进步很快,大家都知道生日卡,这种技术在二战时候开始流行。后来我们发明了手机,手机里面有电脑的成分来做这个功能,现在手机的功能比美国宇航局探索月球的时候使用的计算机还要强。现在我们普通的电脑功能比以前强大很多,所以我们现在的计算能力比以前强大了很多。
在中国每天有13万新人用互联网,到2016年,使用互联网的人会越来越多。另外如何使用大数据,会影响到我们思考生活和工作的方式。比如说我们的一些新的技术,新的技术可以收集储存数据,并且把它用在新的用途上进行分析。我们会有新的知识,因为更多的个人行为都可以变成数据。这些数据可以在网上进行交流,可以在大学里面使用因特网进行远程的教育。
大的数据会影响到我们现在解决问题、看待问题和处理信息的能力,另外也会有新的挑战。大数据有一些不完美的地方。如何来将计算和人的本能判断进行均衡?另外你的个人的隐私和信息的安全,从这个方面你要考虑到这些新的挑战。
现在我们经常是生产很多产品,然后把它放到亚马逊或者其它一些网上平台上,如果说你预测做的好的话,你就可以知道如何来最大程度地减少库存。市场有一个需求,你进行设计,进行定制。其次要将商店与你的办公场所结合起来,这样的话每个人都可以很好地进行交流。另外就是营销和投资决定的时候也需要使用数据分析。
我们都需要大数据帮助我们进行研究设计,进行好的生产供应和服务。这也就意味着我们需要对数据进行探索挖掘和分析,这样连结和优化产品价值链,提供适时的信息,更好地进行改建,同时也可以改善工厂的生产质量,增加透明度,在我们的生产销售各个环节进行连结。最终减少待机的时间,减少库存,减少废料。我们产品的质量会更高,并且消费者他们的满意度也会更高。
工业革命是什么意思呢?首先是工厂的自动化,然后使用工艺,工艺制造的更加自动化,更加有效率,然后联网。另外就是使用机器人、物流,还有横向地和纵向地整合。关于机器人,我们可以对它进行更好地控制。这就需要电脑的作用,因为机器人本身不会,我们需要用电脑来控制它们,用电脑让它们去做。另外我们有些老年人在家里,可以有一些智能的方式来帮助他们,比如说他们可以在窗户外面放一个信号,然后机器人就可以发现,根据人的需求来提供必要的服务。
这也就意味着我们需要进行整合,整合也是工业革命的核心。首先是横向的整合,我们需要有这个生命周期的整合。另外有纵向的整合,需要有很高的弹性,对订单的处理能既涵盖生产也涵盖配送。
另外我们谈互联网的时候,以前我们可以有人的互联网,东西的互联网,物联网或者服务联网,我们可以有智能的家庭、智能工厂、智能电网。在将来我们会有智能的因特网,我们把它叫做适时的智能因特网,就是说它能提供适时的信息,这样的话每个时候你就可以把一个工厂跟另外的工厂结合起来,也就是每个工厂都是智能的,而且信息都是适时的,我想这个是我们将来通过因特网可以做到的,我们把它叫做数字化智能因特网.本文来自:http://cda.pinggu.org/
这么多里面有一个关键问题,就是标准化。我在德国的DKE工作,就是一个标准化机构,是负责电气电子产品的标准化,我们希望通过标准化促进工厂的自动化和技术的创新。另外我们所谓制造业的生态系统里面,大数据是非常重要的,因为我们只有处理好了大数据才能够实现转型。所以说我们如何来解决这个问题呢?在解决这个问题的过程当中,标准化会起到关键的作用。
在德国我们就是为工业革命做标准化的路线图。第一步就是我们要对工业革命做一个定义,然后找到现在已经有的一些现成的标准,这些标准是可以被我们所用的。在这个工作做完了之后,我们要有一个新的工业形态的模型,因为这是一个复杂的体系,比如几年之前我们做过一个智能电网,这是一个非常复杂的体系,你要理解它的复杂性,而且要减少它的复杂性,我们就必须改革我们的标准体系。我们要做到,首先要知道什么算是智能电网,在信息方面,在通讯领域,在其他的电厂和变电站,各个领域里面什么是智能,他们是如何组成智能电网的。我们通过研究这些问题,来让我们对智能电网有一个更好地了解。现在我们还没有开发出来相关的标准,但是我们正在做工作。
另外我们还可以为制造业,其它的工业领域也做同样的标准,有些标准已经有了,有些标准还要进一步的来开发。我们要确定,由谁来开发或者制定这些标准,比如说你是由大学来做,还是由第三方来做,以及开发出来标准以后会不会起到促进工业形态的效果。
德国对于电器技术标准工作的兴趣,主要是因为我们希望能够移除标准中各种阻碍性的因素,因为德国毕竟是电子电气产品比较大的出口国,因为我们认为在行业发展过程中,标准化是一个非常重要的工作。
我们有很多在德国内部自己做出来的标准,听起来好像说做本地标准不太可能,其实我们有很多都是本地的标准,但是我们也有不少的标准是国际化的标准。欧洲层面有一些人可能对国际标准不感兴趣,所以在欧洲层面会做一些高标准。德国的本地标准一般比较低,这当然和德国的电力发展的历史有关。
我们经常说要从国际的视角来做标准的工作,我们有一些倡议,中国也有很多的倡议,去执行一些新的技术。比如说中国在机器人方面就有一些新的倡议,我们和中国一起在国际的层面做这些标准的工作。另外我们在这个领域还做一些共同的修订工作。中国现在也在做一些共同修订工作,很多中国的标准现在已经接近于国际标准。我们和中国很多领域都开展了工作,比如说在智能电网这一块,我们和中国国家电网保持着非常好的关系。中国国家电网,主要的技术一般都是用于电力传输的,我们这些正在从中国那里学习经验。德国说2020年会关闭所有的核能电厂电站,所以我们要学习很多。现在欧洲正在使用大数据,使用网络来把更多的可再生能源发到电网上,我们也在这方面开始制定一些标准。
20世纪是一个人移动的世纪,我们发明了那么多交通工具,让我们哪里都可以去。21世纪的重点是物的流动,如果我们抓住了机会,那么这个时机就是一个大数据的时机,是一个工业4.0和物联网的时机。
根据摩尔定律,信息的增长周期是18个月一翻,实际上现在我们看到的情况比这个更加迅速,数据正快速的呈几何级数增长,带动整个IT行业也必须不断的生产更加快速,更大的数据存储设备已及更有效率的数据组织形式,所以大数据行业会越来越容易被人们所感知,在日常的生活中也会越来越重要。
未来,也许我们的信息会越来越透明,因为大数据会无处不在,现在我们已经可以看到,凡是我们在线所做的任何操作,发送的任何信息,实际上都在被不同的平台、公司所搜集,为的都是更全面的勾画出用户的全景,或者用户在某一属性上的全景,更好的帮助到制定用户更加容易接受的产品、服务,或者判断用户的信用情况。
实际上现在已经在某些行业的工厂实现了由数据推动生产的智能制造,工厂的制造辅助系统根据前端市场的数据、用户订单数据及生产设备数据等有效数据来自动的对工厂产能进行调整,对制造设备的制造工艺参数进行调整,以应对用户越来越多的个性化要求,这是一个大的趋势,很多传统制造业也有了这方面的意识,主动的寻求改变,也许在不久的将来,我们在某个网站下的订单或者提出对产品的要求,在下一秒,工厂的设备已经自动的开始生产用户个性需求的产品了。
标准化是智能工厂的一个必要的条件,试想如果某个零件的公差过大,是很难用自动化设备进行装配的,但是智能工厂必须是要做到全自动的生产及物流,所以在智能之前,标准必须先行。
互联网细分出许多垂直行业,行业细分形成后会有一段野蛮成长期,标准化是引导行业发展规范、繁荣的必要手段。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19在零售行业大数据分析与精细化运营领域,纸尿裤旁摆放啤酒是最经典、最具代表性的商业案例。两种看似毫无关联的商品,一个是婴幼 ...
2026-08-19 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-08-19在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17