京公网安备 11010802034615号
经营许可证编号:京B2-20210330
数据科学与火箭科学如何将人类送上火星
在最近的CNN专栏中,奥巴马总统再次证实,美国将不遗余力地实行将载人航天器送上火星的任务。如果你觉得自己面临的数据科学难题太有挑战性,那你应该想一想,用挖掘数据的方式来探究火星远征对健康的影响,是多难的一件事。
在太空中生活几年对于宇航员的肌肉张力和肺活量有多大影响?对他们来说减轻体重的安全限度是多少?载人飞船中的二氧化碳含量应有多少?每一件太空服需要配置多少传感器用来计算宇航员的关节灵活性?
想要把人类送到“前无古人”的那些地方,有大量的变量需要纳入考虑,NASA也正刻苦研究未来的火星计划所涉及的健康和安全风险。这些风险影响着制定计划时所需要作出的一系列决策——从预估的潜在机组人员数量,到设备工程、任务后勤以及燃油储备,等等,因而对这些风险的明确了解可谓是重中之重。
虽然代价高昂,但NASA从开始就很明白,他们工作的重点不在于开发一个完美的分析模型,而在于打造一个数据科学程序,使决策者在回答一些不断变动的问题时,能用到分析学的办法。但是如果你想要学习NASA的分析方式,不一定非得跟火箭科学打交道。对于那些想要从事大数据分析,或困于大数据分析的组织来说,这里有从NASA的项目中总结的几个核心要点:
别小题大做
简而言之,数据科学根本没火箭科学那么难(不信的话你看我在那做了什么)。是的,分析大数据是有挑战性,而且根据你所期望获取的见解不同,方法也可能随之变动,但是完全没必要把事情搞得太复杂,想要得到解决方案远远用不着那么复杂。
很多组织时常循环往复试着把数据搬回来分析,其实他们更应该把分析方法带进数据里去。既然称之为大数据,自然是不可能把它搬来搬去的,就算做到了,也得历经艰难险阻。这也就是分散式存储和像Hadoop那样的处理框架存在的原因——云数据的可扩展性,比起硬盘里的数据可高太多了。
对于火星计划来说,涉及到很多层次的数据需要考虑,从曾经完成过太空任务的宇航员(比如说斯考特凯丽),身上取得的健康数据,到无人航天的测试研究,再到模拟太空环境下的研究,其中之一就是休斯顿市约翰逊太空中心的人类探索研究模拟计划(HERA)。
把所有数据归整到同一个地方是关键的第一步。为此,NASA使用了高级协作式分析方法和数据共享平台对数据进行分析,这一平台的开发者是洛克希德马丁公司和几个分析伙伴,比如勇攀科技。因为省去了下载数据到单独的分析环境中的步骤,研究者们现在可以把更多的时间和精力花在提问题、解决问题,然后更好地规划火星计划上面。
发射只是开始
火箭的成功发射只是持续数年的火星远征的第一步。基于从前的经验,NASA已经做好了遇到并解决无数挑战的准备。对于数据分析项目来说亦是如此,光是部署好了模型并不意味着项目大功告成,实际上那些基于实时基础上不断完善和迭代的模型才是最有价值的分析初创。
像科学研究方法一样,充分利用分析结果需要不断地做实验检测,从失败中获取教训,然后接着进行检测。NASA想要的是快速查询供其使用的大量数据,然后把结论传回可以立足于先前结果的新模型中。所以对他们来说,数据科学程序就像一个钟摆,向前的摇摆着重于从研究者那里快速获得结论,而向后的摇摆着重于测量、评估结果、改进模型以及再次向前摇摆。
用现有的数据进行工作,而不是你所期望的数据。
在数据组有缺陷的时候,快速轻巧地改善模型的能力尤其宝贵。(而且说实话,有完全没有缺陷的数据组这回事吗?)。
对NASA来说,最大的数据挑战就是宇航员的样本库太小了,只有三千多人被NASA认定为宇航员。想要取得推断,研究者们得把从这个小样本中取得的数据挖个底朝天才行。
举例来说,基于历时五个月的太空旅行对一个35岁,120磅重的女性的影响,两年的太空旅行对一个32岁,123磅重的会有什么影响呢?对30岁、118磅的呢?此外,到现在还没有宇航员实际踏上过这个红色星球,所以对在火星上居住会有什么健康影响,相关数据还处于空白阶段(马特达蒙不算哦)。
但是NASA从去过月球的宇航员或者在空间站待过一年的宇航员那里可以知道些什么呢?如果把处于模拟太空环境的测试体的数据放入预测模型,会发生什么呢?有了支持模型配置与完善的分析工具,各组织可以试着用各种方式从数据中提取结论来做出更准确的预测,甚至在缺失关键信息的情况下也可以做到。
打破隐喻黑箱
为了火星计划,NASA不仅仅押上了纳税人的数十亿美金,还押上了宇航员的性命,为了科学与探索,这些宇航员不惜担起健康和生命安全的风险。
对于这样的一个计划,关键在于让不是数据科学博士的那些分析工作者(比如说健康研究者、设备工程师和其他策划航行任务的人员)也能够自力完成构建和展开查询、使用数据的任务。这要求商业和IT股东们的通力合作,易用易改的建模工具以及将深入了解转达给需要的人的能力。这也是NASA选择一个这样的协作分析平台的原因,这一平台可以将输出结果直接延伸至火星计划的科学家和决策者所使用的系统和应用中。
大量复杂的数据组给任何想要从事分析部署的组织带来了挑战,但是NASA驾驭数据进行了最困难的行程规划——也就是火星远征,证明了这些挑战绝不是不可逾越的。只要有了正确的工具,以及最为重要的,一致周详的解决方式,数据科学根本不像火箭科学那么吓人。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在问卷调研的数据分析流程中,“先检验信效度,再开展进阶统计分析”是通用的规范逻辑。很多从业者会听到“问卷效度高,后续可以 ...
2026-07-30【核心关键词】大数据、统计学、专业、毕业生、论文、课程、计算机、建模、知识、数据分析、机器学习、数据科学、大数据技术、 ...
2026-07-30 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-07-30在业务数据分析中,按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常 ...
2026-07-29在机器学习建模与特征工程实践中,判断不同特征对模型预测效果的贡献度,是特征筛选、模型解释、业务归因的核心环节。特征置换重 ...
2026-07-29 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-07-29【核心关键词】岗位、数字化、经验、课程、方法论、决策、企业、大方向、数据分析、销售管理、理论知识、思维方式、分析销售、 ...
2026-07-28在问卷调研、用户分群、效果对比等业务数据分析中,分类变量的关联性与差异性验证是高频需求。卡方检验作为针对离散分类数据的经 ...
2026-07-28 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-07-28在Excel数据分析与报表制作中,数据透视表是快速完成多维度汇总、分组统计的核心工具。很多从业者在得到透视表汇总结果后,为了 ...
2026-07-27 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-07-27当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运转的核心动能、滋养人工 ...
2026-07-27【核心关键词】客户、数据分析、指标体系、数据采集、数据指标、业务数据、分析思路、业务需求、分析方法 【专访摘要】本次 CDA ...
2026-07-24在数据分析、业务建模与数字化运营体系中,原始业务数据普遍存在缺失、重复、异常、口径不一致等质量问题,直接用于分析与建模会 ...
2026-07-24 很多数据分析师能熟练计算均值、标准差,但当被问到“如何用一张图让业务方3秒内看懂核心结论”“面对不同数据类型该怎么选 ...
2026-07-24在数据驱动的精细化运营体系中,指标是业务判断、效果复盘、策略优化的核心依据。随着企业数据化程度提升,指标数量持续膨胀,但 ...
2026-07-23在用户运营与产品增长体系中,留存是衡量产品真实价值与用户粘性的核心标尺,也是决定用户生命周期价值、获客投产比的底层因素。 ...
2026-07-23 很多数据分析师精通Excel、SQL、Python等工具,但当被问到“面对一个具体的业务问题,该用什么分析方法”“描述性分析和诊断 ...
2026-07-23【核心关键词】埋点、产品、互联网、数据库、决策、数据分析、产品经理、商业模式、移动互联网、指标体系、运营模块、大数据平 ...
2026-07-22在高并发、大数据量的业务系统中,单表数据量达到千万级甚至亿级后,会出现查询性能骤降、索引维护成本飙升、存储扩容困难等问题 ...
2026-07-22