京公网安备 11010802034615号
经营许可证编号:京B2-20210330
数据科学与火箭科学如何将人类送上火星
在最近的CNN专栏中,奥巴马总统再次证实,美国将不遗余力地实行将载人航天器送上火星的任务。如果你觉得自己面临的数据科学难题太有挑战性,那你应该想一想,用挖掘数据的方式来探究火星远征对健康的影响,是多难的一件事。
在太空中生活几年对于宇航员的肌肉张力和肺活量有多大影响?对他们来说减轻体重的安全限度是多少?载人飞船中的二氧化碳含量应有多少?每一件太空服需要配置多少传感器用来计算宇航员的关节灵活性?
想要把人类送到“前无古人”的那些地方,有大量的变量需要纳入考虑,NASA也正刻苦研究未来的火星计划所涉及的健康和安全风险。这些风险影响着制定计划时所需要作出的一系列决策——从预估的潜在机组人员数量,到设备工程、任务后勤以及燃油储备,等等,因而对这些风险的明确了解可谓是重中之重。
虽然代价高昂,但NASA从开始就很明白,他们工作的重点不在于开发一个完美的分析模型,而在于打造一个数据科学程序,使决策者在回答一些不断变动的问题时,能用到分析学的办法。但是如果你想要学习NASA的分析方式,不一定非得跟火箭科学打交道。对于那些想要从事大数据分析,或困于大数据分析的组织来说,这里有从NASA的项目中总结的几个核心要点:
别小题大做
简而言之,数据科学根本没火箭科学那么难(不信的话你看我在那做了什么)。是的,分析大数据是有挑战性,而且根据你所期望获取的见解不同,方法也可能随之变动,但是完全没必要把事情搞得太复杂,想要得到解决方案远远用不着那么复杂。
很多组织时常循环往复试着把数据搬回来分析,其实他们更应该把分析方法带进数据里去。既然称之为大数据,自然是不可能把它搬来搬去的,就算做到了,也得历经艰难险阻。这也就是分散式存储和像Hadoop那样的处理框架存在的原因——云数据的可扩展性,比起硬盘里的数据可高太多了。
对于火星计划来说,涉及到很多层次的数据需要考虑,从曾经完成过太空任务的宇航员(比如说斯考特凯丽),身上取得的健康数据,到无人航天的测试研究,再到模拟太空环境下的研究,其中之一就是休斯顿市约翰逊太空中心的人类探索研究模拟计划(HERA)。
把所有数据归整到同一个地方是关键的第一步。为此,NASA使用了高级协作式分析方法和数据共享平台对数据进行分析,这一平台的开发者是洛克希德马丁公司和几个分析伙伴,比如勇攀科技。因为省去了下载数据到单独的分析环境中的步骤,研究者们现在可以把更多的时间和精力花在提问题、解决问题,然后更好地规划火星计划上面。
发射只是开始
火箭的成功发射只是持续数年的火星远征的第一步。基于从前的经验,NASA已经做好了遇到并解决无数挑战的准备。对于数据分析项目来说亦是如此,光是部署好了模型并不意味着项目大功告成,实际上那些基于实时基础上不断完善和迭代的模型才是最有价值的分析初创。
像科学研究方法一样,充分利用分析结果需要不断地做实验检测,从失败中获取教训,然后接着进行检测。NASA想要的是快速查询供其使用的大量数据,然后把结论传回可以立足于先前结果的新模型中。所以对他们来说,数据科学程序就像一个钟摆,向前的摇摆着重于从研究者那里快速获得结论,而向后的摇摆着重于测量、评估结果、改进模型以及再次向前摇摆。
用现有的数据进行工作,而不是你所期望的数据。
在数据组有缺陷的时候,快速轻巧地改善模型的能力尤其宝贵。(而且说实话,有完全没有缺陷的数据组这回事吗?)。
对NASA来说,最大的数据挑战就是宇航员的样本库太小了,只有三千多人被NASA认定为宇航员。想要取得推断,研究者们得把从这个小样本中取得的数据挖个底朝天才行。
举例来说,基于历时五个月的太空旅行对一个35岁,120磅重的女性的影响,两年的太空旅行对一个32岁,123磅重的会有什么影响呢?对30岁、118磅的呢?此外,到现在还没有宇航员实际踏上过这个红色星球,所以对在火星上居住会有什么健康影响,相关数据还处于空白阶段(马特达蒙不算哦)。
但是NASA从去过月球的宇航员或者在空间站待过一年的宇航员那里可以知道些什么呢?如果把处于模拟太空环境的测试体的数据放入预测模型,会发生什么呢?有了支持模型配置与完善的分析工具,各组织可以试着用各种方式从数据中提取结论来做出更准确的预测,甚至在缺失关键信息的情况下也可以做到。
打破隐喻黑箱
为了火星计划,NASA不仅仅押上了纳税人的数十亿美金,还押上了宇航员的性命,为了科学与探索,这些宇航员不惜担起健康和生命安全的风险。
对于这样的一个计划,关键在于让不是数据科学博士的那些分析工作者(比如说健康研究者、设备工程师和其他策划航行任务的人员)也能够自力完成构建和展开查询、使用数据的任务。这要求商业和IT股东们的通力合作,易用易改的建模工具以及将深入了解转达给需要的人的能力。这也是NASA选择一个这样的协作分析平台的原因,这一平台可以将输出结果直接延伸至火星计划的科学家和决策者所使用的系统和应用中。
大量复杂的数据组给任何想要从事分析部署的组织带来了挑战,但是NASA驾驭数据进行了最困难的行程规划——也就是火星远征,证明了这些挑战绝不是不可逾越的。只要有了正确的工具,以及最为重要的,一致周详的解决方式,数据科学根本不像火箭科学那么吓人。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、业务监控、运营复盘等场景中,列值趋势计算是核心需求之一。无论是分析销售额的月度增长、用户活跃的变化趋势、库存 ...
2026-06-12在数字经济深度渗透的当下,消费者的购买行为已从过去的 “被动接受” 转变为 “主动决策”。流量红利消退、获客成本攀升、用户 ...
2026-06-12CDA三级认证是三个级别中的塔尖,全面考察数据战略、团队领导和复杂项目的综合能力。它所对应的《敏捷数据挖掘》教材,不再局限 ...
2026-06-12在游戏产业的商业逻辑中,付费玩家是支撑游戏生存与发展的核心支柱。行业普遍遵循 “二八定律”:20% 的付费玩家贡献了游戏 80% ...
2026-06-11【核心关键词】企业、定位、传统、产品、互联网、可视化、业务侧、数字化、结构化、数据分析、传统制造业、市场状态、发展空间 ...
2026-06-11 解读《CDA二级教材:量化策略分析(2025)》的全景结构与学习逻辑 ” CDA二级认证是企业招聘数据分析师时最常提及的证书门槛 ...
2026-06-11【核心关键词】药企、可视化、营销、分类、数据分析师、销售数据、业务人员、指导方向、分析报告、营销数据、营销医生 【专访摘 ...
2026-06-10在统计学分析、问卷调研、实验验证、业务复盘等场景中,卡方检验与 T 检验是应用最广泛的两类基础假设检验方法。前者专门处理分 ...
2026-06-10 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-06-10在MySQL数据库日常查询、数据统计、后台接口开发、数据导出等场景中,开发者经常需要查询数据表除某几列之外的所有字段。例如查 ...
2026-06-09在Python网络请求、爬虫开发、接口测试、数据抓取等实操场景中,requests库是最常用的第三方请求工具,而content属性是requests ...
2026-06-09 数据分析正在重塑每一个行业。CDA认证的三本官方教材,分别对应Level I、Level II、Level III,为你铺就从业务数据分析到数 ...
2026-06-09在数字财务、智慧财税、业财融合深度推进的当下,传统财务模式下数据标准混乱、业务流程碎片化、知识无法沉淀、系统互通性差等问 ...
2026-06-08随着数字经济深度渗透各行各业,数据正式成为继土地、劳动力、资本、技术之后的第五大生产要素,是企业数字化转型、精细化运营、 ...
2026-06-08 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-06-08【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04