京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据将有助于提高医疗保健行业的效率,促进在该行业推行问责制。然而到目前为止,其他行业在这方面要成功得多:通过对多种数据源进行大规模的整合和分析,获得了实用价值。

那些成功行业弄明白了一个问题,那就是:当不同的数据集在具体某个人的层面上连接起来时,大数据就会产生变革性的价值。相比之下,生物医学大数据分散在研究机构中,而且被特意地隔离起来,目的是为了保护病人的隐私。连接这些分散的数据,既有技术方面的挑战,也有社会方面的挑战。只有迎接两个方面的挑战,才能使生物医学大数据对医疗保健行业发挥充分的作用。在今天的“观点”栏目中,我们要着重分析这种连接所带来的挑战。CDA数据分析师:http://cda.pinggu.org/
竞选活动、政府和企业利用大数据尽可能更多地了解选民或客户情况,然后利用先进的估算方法来制定策略。2012年奥巴马竞选的时候,把来自脸谱网(Facebook)、人口普查、选民列表以及积极推广等多种渠道的数据综合起来,以确认、接近和影响那些犹豫不决的选民。国家安全局通过电话公司和互联网公司来确认恐怖分子。CDA数据分析师:http://cda.pinggu.org/
通过用户的上网历史和地理环境,谷歌公司将每个人的搜索结果进行了个性化处理。在所有的这些事例中,关键是已经超出了综合数据的范围,将信息连接到了具体的人。知道在某个行政区域内有很多犹豫不决的选民是有所帮助的,但是跟这些具体的人们获得联系可能有助于赢得一场竞选。
获得大数据可能会使医生和研究人员验证新的假设,并确认那些可能遭受干预的领域。例如,通过从不同地区的商店所获得的杂货购买模式,能否预测出公共卫生数据库中肥胖症和2型糖尿病的患病率呢?能否像配药时对后续配方进行测量那样,将家庭监视装置所记录的运动量跟降胆固醇药物的疗效相互关联起来呢?病人的脸谱网网友在多大程度上能够影响他们对生活方式的选择和对医学治疗的依从呢?至于这些相互关联的推断是否真正地存在于大数据中,以及医生们将如何利用这些信息,这些情况都还不清楚。
然而,将数据连接到具体病人的层面上来,是探索这些可能性的先决条件。
在有效利用生物医学大数据方面,首要的挑战就是要确定卫生保健信息的潜在来源是什么,以及确定将这些数据连接起来之后所带来的价值如何。将数据集按照“大小”从不同的方面进行条理化,这个大数据就会提供解决问题的潜在方案。
一些大数据,如电子健康记录(EHRs),提供详尽资料,包括病人接受诊断时的多种资料(如:图片、诊断记录等)。尽管如此,其他大数据,如保险理赔数据,提供纵深资料——顾及病人在很长一段时间里、在某个狭窄的疾病类型范围内所经历的病史。当连接数据有助于填补空白的时候,这些大数据才会增加价值。CDA数据分析师:http://cda.pinggu.org/
只有记住这些,才能更容易明白如何将卫生保健系统之外非传统来源的生物医学数据融入这些情况之中。尽管数据的质量有所不同,但社会媒体、信用卡购物、人口普查记录以及大量其他类型的数据,都会有助于收集一个病人的历史资料,特别是有助于揭示可能对健康产生影响的社会因素和环境因素。
英语原文:
Finding the Missing Link for Big Biomedical Data
It has been argued that big data will enable efficiencies and accountability in health care. However, to date, other industries have been far more successful at obtaining value from large-scale integration and analysis of heterogeneous data sources. What these industries have figured out is that big data becomes transformative when disparate data sets can be linked at the individual person level. In contrast, big biomedical data are scattered across institutions and intentionally isolated to protect patient privacy. Both technical and social challenges to linking these data must be addressed before big biomedical data can have their full influence on health care. It is this linkage challenge that we address in this Viewpoint.
Political campaigns, government, and businesses use big data to learn everything possible about their constituents or customers, and then apply advanced computation to hone strategy. The 2012 Obama campaign identified, approached, and influenced swing voters using data fused from Facebook, census, voter lists, and active outreach. The National Security Agency employs massive data on individuals from phone and Internet companies to identify terrorists. Google personalizes search results with the user’s web history and geographic context. In all these examples, the key has been to go beyond aggregate data and link information to individual people. Knowing that there are many swing voters in a zip code is helpful, but contacting those specific individuals may help to win an election.
Linking big data will enable physicians and researchers to test new hypotheses and identify areas of possible intervention. For example, do grocery shopping patterns obtained from stores in various areas predict rates of obesity and type 2 diabetes in public health databases? Does level of exercise recorded by home monitoring devices correlate with response rates of cholesterol-lowering drugs, as measured by continued refills at the pharmacy? Does increased physical distance from patients’ homes to hospitals and pharmacies affect utilization of health care and result in distinct patterns in claims data? To what extent do patients’ Facebook friends influence lifestyle choices and compliance with medical treatments? It is unknown whether these types of correlative inferences will really be found in big data and how physicians would use that information. However, being able to link data at the patient level is a prerequisite to exploring the possibilities.
The first challenge in using big biomedical data effectively is to identify what the potential sources of health care information are and to determine the value of linking these together. The Figure presents a potential way of approaching this problem by organizing data sets along different dimensions of “bigness.” Although some big data, such as electronic health records (EHRs), provide depth by including multiple types of data (eg, images, notes, etc) about individual patient encounters, others, such as claims data provide longitudinality—a view of a patient’s medical history over an extended period for a narrow range of categories. Linking data adds value when they help fill in the gaps. With this in mind, it becomes easier to see how nontraditional sources of biomedical data outside of the health care system fit into the picture. Social media, credit card purchases, census records, and numerous other types of data, despite varying degrees of quality, can help assemble a holistic view of a patient, and, in particular, shed light on social and environmental factors that may be influencing health.
CDA数据分析师:http://cda.pinggu.org/
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22