
广义大数据论与狭义大数据论_数据分析师
导读:对于大数据的认识,可以用“两个论”来概括。狭义大数据论和广义大数据论。而世界上所有已有的和将有的关于大数据的理论和应用,也都可以用这两个论进行归类。
一份名为《中国大数据技术与产业发展白皮书》(下简称白皮书)的报告于去年12月发布。一时间引起了业内人士的广泛关注。这份由20多家单位和60多名专家共同完成的报告,在一定程度上反映了中国大数据领域的共识。在这份报告中,对于2015年大数据发展的趋势做出了预测。据我总结,这份预测可以用这几个词来概括:探索、突破、跨界、融合。
对于大数据,不光是中国,欧美国家也还处于一个探索的阶段。这个探索的阶段,在广度上,将随着大数据收集及分析技术的进步快速扩张;而在深度上,却将随着大数据收集能力的爆炸式增长而明显放缓。大数据技术尚处于一个极其初级的阶段。目前的一切探索,也不过是处于大数据基础层面上的探索。当基础层面的探索让我们对于大数据的了解更进一步时,突破将会产生。
白皮书中讲到的2015年中国将会面临的大数据突破,实际上,只是单方面的、狭义的突破。我们能够在短时期内迎来的任何方向上的突破,都只是在技术层面上的突破。互联网的出现,伴随着技术几何倍地发展。这种技术上的突破给我们社会带来的冲击,远远没有近年来对互联网的认识的提高所带来的突破显著。互联网从出现一直到近两年,始终停留在一个技术的发展期。真正对于互联网能够做什么,我们的认识也才刚开始从基础层面上升到初级认知水平。而这看似细微的提升,导致了无数新型的产业的发展,也导致了互联网金融的出现。所以我敢预言,随着人类对于互联网的认识进一步的加深,互联网金融将会取得比现阶段高出十倍乃至百倍的成就。而大数据将在互联网金融的浪潮中扮演一个至关重要的角色。
那么随着我们对于大数据认识的加深,技术的突破将不足以支持人类的发展。一个全方位、全领域的突破将是不可避免的。我们对于大数据能力的认识将会有一个质的飞跃。到那个时候,无数由大数据而催生的行业将迅速崛起,传统的商业模式将逐渐被取代。甚至人类现阶段的一切科学,将突破桎梏,取得难以想象的成就。
在这个对于大数据认识的初级阶段,一个明显的趋势已经能够清楚地被发现。各行各业,由于大数据的出现,开始打破原本存在的行业之间的壁垒。越来越多的公司开始进行所谓的跨界。从一直疯传的苹果收购特斯拉,到百度开始做餐饮。这一个个看似奇葩的跨界,实际上在大数据的支持下,是绝对能够碰撞出惊人火花的。任意一个公司,如果能够拥有尖端的大数据技术,就能够轻易地进入任何一个行业,并取得成功。
大数据的魅力就是如此地让人着迷。
白皮书中提到2015年大数据行业将会沿着一个融合的趋势前进。我认为,大数据的推广将使得商业运作与科学技术融合,使得企业部门间相互融合,使得学科与学科相互融合。德温特资本市场的成功,恰恰是利用了大数据将商业运作与印第安纳大学博伦教授的科学研究成果相融合,从而预测了大盘的走势。这种商业与科技的融合将会越来越紧密。同时,大数据也使得企业内部的运作趋于融合。大数据技术能够被应用于企业内部的所有部门,无论是营销还是人力,无论是财务还是风控,各部门在大数据的统一调度下,将如一部精密的机器,不断地创造利润。
现在,大家在谈到大数据的时候,普遍都在谈云计算、算法、关系数据库、非关系数据库,大家也都在谈Hadoop、NoSQL。而我认为,我们一定不要忽视智慧的作用。所以我一直在谈掌控大数据、谈用大数据探求规律。白皮书里面多次提到了云计算、Hadoop。这些技术当然是先进的,也将会是未来几年发展的主流。但是,如果我们退一步来想,每个人都在从自己的角度、自己的行业出发来思考大数据、来探索大数据,那么到底对于大数据本体的认知,能否得到本质上的提升?
经历了互联网的出现和发展的我们,应该能够清楚的认识到,对于互联网本体的认知,将决定企业是否能够把握先机。假设有人能提前5年认识到互联网的未来中将会出现互联网金融。那么这个人必将引领这互联网金融的浪潮。
我对于大数据的认识,可以用“两个论”来概括。狭义大数据论和广义大数据论。在从今起的文章中,我将仔细地分析这两个论。我对于大数据的所有认知,全部可以归结到这两个论中。而世界上所有已有的和将有的关于大数据的理论和应用,也都可以用这两个论进行归类。
何为狭义大数据论?何为广义大数据论?
要弄清楚这两个东西,我们先要明白,这里讲的狭义与广义,并不代表认知程度的宽窄,也不代表其本身的思维深度。我讲的狭义与广义,只是用来将大数据理论做以区分。从本质上来讲,这两种论的本源是一样的。而我们如果能够掌握这其中任何一论,都能成为这个地球上数一数二的大数据、乃至于商业社会、甚至人类精神的领袖。
狭义大数据,指的是我们当今社会的一切科学、一切领域所能够运用到的所有大数据。这一类大数据,无论被探索应用的多么深、多么广泛,都被归为狭义大数据。换句话说,人类科学能够探索应用的一切大数据,都算是狭义大数据。狭义大数据论是指,狭义大数据将引领人类社会飞速发展,各行各业也都将在这个狭义大数据剧变的浪潮中被颠覆,同时得到质的飞跃。
而要弄清楚广义大数据论,我们就先要明白一个基本的定律。那就是这个世界上存在的山川河流、日月星辰、花鸟鱼虫、飞禽走兽,乃至人类思维念头、外太空的细微震动,我们生活的这个维度、乃至于所有维度的一切事物,都是大数据。上到宇宙的运动,下到质子活动,全都能够被细化成为一组组的数据。而这浩瀚的数据量,绝对超过了人类科学的探知能力与探知范围。广义大数据论是指,通过对广义大数据的探索,人类最终能够探明宇宙、人生的真相。广义大数据论能够指导人类利用大数据对宇宙的奥秘,对人类自身奥秘进行探知。
驾驭广义大数据,就能掌握自然规律、社会规律,就能拥有宇宙、人生无上的智慧。
广义大数据论,是突破了人类所定义的科学与宗教范围的一种存在。而这种存在必将颠覆我们人类对于这个世界的一切认知。
边金阳:作家,被誉为中国的哈利波特,纽约大学在读硕士,致力于把人类最高的智慧与大数据相结合,从而真正驾驭和掌控大数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15