京公网安备 11010802034615号
经营许可证编号:京B2-20210330
CDA数据分析师 出品
编译:Mika
【导读】
每天在推特上都有数百万条推文被发送,在这些推文中,我们可以收集到很多关于人们生活的信息:他们什么时候醒来,去哪里旅行,以及他们对几乎所有事情的看法。
在本文中,前纽约时报数据艺术家杰尔·索普探讨了我们可以从这些丰富的数据中得出什么用途。
几年前我开始用推特。它最吸引我的一点是人们会在早上起床的时候,会发一条推特说:“早上好!”
作为一个加拿大人,我喜欢这种问候方式。同时我也是个典型的技术男,于是我写了个程序,用来记录24小时内推特上所有发的“早上好!”。
之后我问了自己一个我最喜欢的问题,“那会是个什么样子?”
结果就像这样:
▲ 全球人们在醒来时发“早上好!”所组成的模型
我们看到这个由世界各地人们在醒来时发“早上好!”所组成的人浪。
当中绿色所代表的人,在早上8点左右醒来。
橙色代表的人,他们在9点左右发“早上好!”
之后这些红色代表的人 ,他们在10点左右发“早上好!”。
我们会发现,10点发的人比8点的多。
而且,事实上如果你观察这幅图,我们就能稍微了解世界各地人们起床时间的不同。
比如说西海岸的人就比东海岸的人起得稍晚一些。
但人们在推特上不只是发这个,对吧?
我们也收到这些推特,诸如:
“我刚刚在奥兰多降落了!!”
▲ 推文“我刚刚在奥兰多降落了!!”
或者“我刚刚降落在德州!” 又或者“我刚刚在洪都拉斯降落了!”
这些内容没完没了,总有人在发这些。
从表面上看,这些人只是告诉我们一些他们的旅行信息。
但是我们都知道真相,不是吗?
这些人就是在炫耀!炫耀他们在开普敦,而我不在!
于是我想,我们如何才能利用这些虚荣,并将其转化成实用的东西?
因此我用类似于处理“早上好”的方法,将所有人的旅行制成统计图。
因为我知道他们在哪落地,他们直接告诉我了。而且我知道他们在哪儿居住,因为他们推特的个人简介上都写着呢。
▲ 全球各地人们旅行数据模型
所以我在推特上建立了一个模型,记录在36个小时内世界各地的人是如何旅行的。
这是一种原始模型,如果我们留意推特和脸书和其它一切社交媒体上的所有人,我们其实会获得一幅清晰的图像,反映人们如何在各地之间旅行。
▲ 36小时内世界各地人们的旅行数据
而这幅图像事实上对科学家来说非常有用,尤其是那些研究疾病扩散问题的专家。
我在《纽约时报》工作。在过去两年里,我们一直做一个叫“Cascade”的项目,它在某种程度上和这个模型很相似。
但是我们不是对人们如何流动,而是对人们如何发表言论进行建模。我们在研究针对某个事件的讨论看起来是怎样的。
这里有一个例子,这是一场围绕一篇文章的讨论。文章名字是《那个人们忘记死亡的小岛》,它描述了一个希腊的小岛,岛上的人们都非常非常长寿。
这里我们所看到的,这是一场从左下角那第一条推特开始延伸开来的讨论。
因此我们得以了解到,在9小时里这场讨论的规模。
▲ 9小时内对文章《那个人们忘记死亡的小岛》的讨论
我们来把时间跨度拉大到12小时。我们也可以在三维的模式下观察这场讨论。
▲ 12小时内对文章《那个人们忘记死亡的小岛》的讨论
而且这种三维的视角其实对我们更加有用。因为作为人类,我们非常习惯于三维的事物。
所以我们能够看着讨论的那些细小分支,来了解到底发生了什么。
这是一个交互式的,探索式的工具。我们可以仔细研究这个讨论的每一步,可以看看:
《纽约时报》每个月产生大约6500篇文章,我们可以为每一篇所引发的议论都建立一个模型。
每个模型看起来不太一样,这取决于故事本身,以及它引起人们议论的速度,还有议论传播的范围。
这些结构我管它们叫“讨论大楼”,最终看起来不尽相同。
我向你们展示的这些项目,我认为它们在做同样的事情。
即我们可以将碎片化的数据拼凑起来,从而产生更大的价值。我们可以用它们来做更激动人心的事情。
但是目前为止我们只提到了推特,而推特不是数据的全部。
正如刚才讨论的,网络上有很多很多很多数据。
我尤其要向你们介绍其中一种。因为你们所有人,这里的每一位观众,包括我在内都是产生数据的机器,我们时时刻刻都在产生数据。
我们每一个人,我们都在产生数据,也有一些人在储存这些数据。
通常来说,我们信任各种储存数据的公司,但是我要在这里提出的是,相比起信任那些公司,让它们储存数据,我们应该相信我们自己。
因为我们拥有那些数据,这是我们应该牢记的,他人对你的任何评价都属于你。
因此,我希望我们所有人能带着我们储存的宝贵数据走到一起,一起利用那些数据来解决某些世界上最棘手的难题。
因为大数据能解决大问题,但是我认为如果我们每个人都参与进来,才能将能使它发挥最大的效用。谢谢!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在实证研究中,层次回归分析是探究“不同变量组对因变量的增量解释力”的核心方法——通过分步骤引入自变量(如先引入人口统计学 ...
2025-11-13在实时数据分析、实时业务监控等场景中,“数据新鲜度”直接决定业务价值——当电商平台需要实时统计秒杀订单量、金融系统需要实 ...
2025-11-13在数据量爆炸式增长的今天,企业对数据分析的需求已从“有没有”升级为“好不好”——不少团队陷入“数据堆砌却无洞察”“分析结 ...
2025-11-13在主成分分析(PCA)、因子分析等降维方法中,“成分得分系数矩阵” 与 “载荷矩阵” 是两个高频出现但极易混淆的核心矩阵 —— ...
2025-11-12大数据早已不是单纯的技术概念,而是渗透各行业的核心生产力。但同样是拥抱大数据,零售企业的推荐系统、制造企业的设备维护、金 ...
2025-11-12在数据驱动的时代,“数据分析” 已成为企业决策的核心支撑,但很多人对其认知仍停留在 “用 Excel 做报表”“写 SQL 查数据” ...
2025-11-12金融统计不是单纯的 “数据计算”,而是贯穿金融业务全流程的 “风险量化工具”—— 从信贷审批中的客户风险评估,到投资组合的 ...
2025-11-11这个问题很有实战价值,mtcars 数据集是多元线性回归的经典案例,通过它能清晰展现 “多变量影响分析” 的核心逻辑。核心结论是 ...
2025-11-11在数据驱动成为企业核心竞争力的今天,“不知道要什么数据”“分析结果用不上” 是企业的普遍困境 —— 业务部门说 “要提升销量 ...
2025-11-11在大模型(如 Transformer、CNN、多层感知机)的结构设计中,“每层神经元个数” 是决定模型性能与效率的关键参数 —— 个数过少 ...
2025-11-10形成购买决策的四个核心推动力的是:内在需求驱动、产品价值感知、社会环境影响、场景便捷性—— 它们从 “为什么买”“值得买吗 ...
2025-11-10在数字经济时代,“数字化转型” 已从企业的 “可选动作” 变为 “生存必需”。然而,多数企业的转型仍停留在 “上线系统、收集 ...
2025-11-10在数据分析与建模中,“显性特征”(如用户年龄、订单金额、商品类别)是直接可获取的基础数据,但真正驱动业务突破的往往是 “ ...
2025-11-07在大模型(LLM)商业化落地过程中,“结果稳定性” 是比 “单次输出质量” 更关键的指标 —— 对客服对话而言,相同问题需给出一 ...
2025-11-07在数据驱动与合规监管双重压力下,企业数据安全已从 “技术防护” 升级为 “战略刚需”—— 既要应对《个人信息保护法》《数据安 ...
2025-11-07在机器学习领域,“分类模型” 是解决 “类别预测” 问题的核心工具 —— 从 “垃圾邮件识别(是 / 否)” 到 “疾病诊断(良性 ...
2025-11-06在数据分析中,面对 “性别与购物偏好”“年龄段与消费频次”“职业与 APP 使用习惯” 这类成对的分类变量,我们常常需要回答: ...
2025-11-06在 CDA(Certified Data Analyst)数据分析师的工作中,“可解释性建模” 与 “业务规则提取” 是核心需求 —— 例如 “预测用户 ...
2025-11-06在分类变量关联分析中(如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”),卡方检验 P 值与 OR 值(比值比,Odds Ratio)是 ...
2025-11-05CDA 数据分析师的核心价值,不在于复杂的模型公式,而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05