京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据算法的困境
机器学习和深度神经网络,克服了算法设计中人的局限;只要有数据,只要数据中有统计规律,算法就能找到这些规律。人工智能技术近几年的火热,主要得益于机器学习、深度神经网络方面的技术突破,以及大数据技术的成熟。
2013年,美国有一起充满争议的案子,一个因为偷窃罪被判刑的男人把威斯康星法院告了。原因是他被判整整8年有期徒刑,不是因为他的罪行,也不是因为法官的判断,而是因为一个AI(人工智能)认为,他对社会具有“高危险性”。大数据时代,我们关注最多的是数据的安全和隐私,然而,数据加上算法所带来的问题,或许要比安全和隐私重要得多。
大数据让算法前所未有的强大
机器学习和深度神经网络,克服了算法设计中人的局限;只要有数据,只要数据中有统计规律,算法就能找到这些规律。人工智能技术近几年的火热,主要得益于机器学习、深度神经网络方面的技术突破,以及大数据技术的成熟。这些技术的突破使得从前很多被认为机器不可能解决的问题,变得可以解决。过去技术人员开发信息系统,需要将领域知识在头脑中转换为算法和程序。这些技术突破改变了这一现状,消除了对领域知识的依赖。算法可以通过机器学习的方法,从大量数据中自动提取出来,不再需要人来编写。这不仅减少了错误遗漏、降低了开发成本,并且可以随着数据的变化自动更新,而不会因为现实的变化而落伍。
算法存在的问题
算法没有价值判断,最终是人给计算结果加上了价值判断。但是一旦人们把算法给出的结果,用在处理社会关系上,这些结果就对相关的每个人产生了意义。
算法让一部分人掌握了过大的权力。虽然技术突破和大数据让算法开发变得容易,但是获取到足够的数据和计算资源,开发并利用算法,仍然是一件具有相当门槛的事情。能够掌握利用算法的仍限于少数人,这就使得这些少数人在社会生活中相对于其他人占有了极大的优势。为了社会公平,我们对拥有财产优势的人征收更多的税负,对掌握权力的人施加种种制衡,但是我们对拥有算法优势的人如何限制,仍然没有可行的思路。
对算法的迷信。技术突破让算法不需要人编写,虽然减轻了人开发算法的负担,但也让人更难以理解算法。大多数深度学习产生的算法都让人无法理解,但是由于大多数情况下算法是有效的,人们即使不理解,也乐于利用算法。这就产生了一个风险:没人知道算法的边界和失效条件,因此也就不能判断算法何时会出错。由于不理解,使用者往往倾向于忽视这种风险,于是形成了对算法的迷信。威斯康星州的判案系统就是这种情况。
相应的社会约束机制难以跟上。新技术只要有效,很快就会在社会生活中广泛应用,但是新技术往往深刻地改变了人们的生活方式,而与这些改变相适应的社会约束机制,只能在新技术的社会影响日益明确之后,才能逐渐建立起来。社会规范总是滞后于社会现实,在技术快速发展的当今,这种滞后造成的问题尤为显著。今天人工智能对人们日常生活的影响,恰如一百年前汽车普及造成的影响。当美国普通家庭开始拥有汽车很多年之后,道路信号、交通规则、驾照考试等设施和机制才逐渐完善,跟上技术变革的脚步。
在变化中探索秩序。人工智能技术仍在快速发展过程中,对社会生活的种种影响才刚刚开始显现。对此我们既不能因噎废食,阻碍技术发展,也不能放任自流,任由丛林法则支配,而是必须因应技术发展的潮流和社会现实的变化,不断探索调整,兴利除弊,让技术发展始终作为推动社会进步的动力。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 定义区别 · 场景举例 · 指标分类 · 计算方法 知识体系总览 模块 包含内容 一、核 ...
2026-10-09在数据分析工作流中,业务数据大多存储在各类关系型数据库内,例如MySQL、PostgreSQL、SQLite等。Pandas是Python生态中主流的数 ...
2026-10-09在数字化精细化运营时代,海量用户存在需求差异、行为差异、价值差异与偏好差异。如果企业采用“一刀切”的统一营销、统一服务、 ...
2026-10-09 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-10-09指标体系是企业数字化分析、业务监控、经营决策的核心基础框架,是将零散数据转化为可衡量、可对比、可落地业务价值的关键体系。 ...
2026-10-08随着市场竞争日趋饱和,同质化低价竞争逐渐陷入内卷僵局,传统以价格、渠道、促销为核心的营销模式边际效益持续递减。在此背景下 ...
2026-10-08 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-10-08你有没有想过,手机里点外卖、刷社交软件、转一笔账,背后到底是谁在替你"记着账"? 答案其实很简单:数据库,以及跟它对话的那 ...
2026-10-07CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28