京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据虽然听得多,但真正是否用得放心还需检验,如果只是支持一个普通的App倒无妨,但如果让一个设备完全靠Big Data指挥,而我们自己的身家性命也与这个设备能否运转正常直接相关,这个意义就完全不同了。最近结束的Code Conference大会上除了公布互联网和智能手机用户增速在减缓以外,一个更值得讨论的问题也许是Google的无人驾驶汽车技术(Self- Driving)——没有方向盘、刹车和油门的汽车,但出于高可用考虑需要配备两套发动机,用户能控制的就是“开始/停止”按钮。
以目前25英里的时速,四个雷达以及监控路面情况、交通信号的相机产生的数据直观感觉似乎还不能称为“大”,但如果我们把驾车所需的各种知识,尤其 是面临紧急情况和其他不理性司机的处理逻辑进行分析,我们不难发现无人驾驶其实本身就是一个数据处理巨量的算法库,而且如果真的如Google所希望的, 能够在未来1~3年让这样的概念车实际开上加州道路,那么各种联网应用会接踵而至。类比一下如果我们现在使用手机是从App Store上下载一个App,对于Google汽车而言这意味着所有的逻辑和物理部件一定会随着各种App安装到汽车上,届时一辆汽车就好像一个移动的数 据中心,同时处理着结构化、非结构化的大量数据,相信以Google的喜好应该不会在其中再安装Oracle、DB2或者SQL Server,很多改造后的NoSQL技术应该是首选。
这个事物的意义与其他的Big Data技术完全不同,因为他需要在严格的时间内给出足够正确的响应,而且响应不是软件中简单返回一个True或False,它需要根据当时的路况、天气 等实际控制车辆的行驶。更为关键的是不管技术设计如何,务必要保证车内乘客的安全,因为这个过程没有办法回归。可能与“传统”电商用于分析用户行为的 Big Data不同,Google汽车不是把所有的数据倾倒在一个大湖里,然后通过对湖水的各种过滤获得某种需要的成分。Google汽车的运营机构可能需要这 样的“传统”Big Data应用,但对于一辆会从25英里时速逐步加速的技术,他要处理的是一个连续的数据流和连续的响应。每一个数据进入后必须快速分配到不同的计算部件处 理,并将结果及时反馈到不同逻辑或物理部件执行。另外,如果离开技术从法律角度考虑,这也是完全不同的。如果说一个电商的Big Data推销结果出错了,那么顶多就是损失用户可能光顾某个(或某类)商品的一次机会,但如果Google汽车上的程序故障导致车内的乘客出现不好的情 况,那就要对计算结果进行严格的审计和确认。因此车上除了灭火器、三角警示牌以外,一个黑匣子可能也必不可少,毕竟它要说清楚每个部件都在干什么、产生什 么计算结果、哪个结果的错误导致当前不好情况的发生。
Big Data不再是技术人员手中的玩物,它已经从幕后走向前台、从少数个别电商走向各类尤其是包括企业应用在内的传统IT系统。但 它的发展速度客观而言还有很大上升空间,毕竟以前Big Data更多是某个电商或者企业敝帚自珍的App,但将Big Data用于实际的道路环境,这就意味着不同的Big Data应用之间相互直接竞争的时代来到了。人类技术历史似乎偶尔会出现某种跳跃,以Google汽车为例,虽然它解决的是日常最经常用的交通工具——汽 车,但事实上20世纪人类已经将各种无人驾驶的火箭、卫星送入太空。一旦Big Data真正用于汽车(以后还可能用于轮船、战斗机等),必会将激烈的市场竞争直接引进到Big Data的应用范畴。
我很期待某一天能看到两个不同Big Data应用驱动的无人驾驶汽车在相互超车。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22