京公网安备 11010802034615号
经营许可证编号:京B2-20210330
谁在读你的微博 大数据分析将给出答案
现在,你的推文(Tweets)正在被哪些人阅读?他们往往是你所购产品的制造商。最近一项融合了许多学科知识的有趣实验正在用于分析淹没在推特(Twitter)宇宙大数据中的各种观点。Esri、IBM等致力于大数据研究的各个厂家目前都在挖掘Twitter内容,并且运用自己开发的方法对其进行分析。近年来,这种合作开启了一个研究的新时代,Esri公司的地理信息系统(GIS)技术联合IBM的语言与心理分析,可以共同解码互联网上那些浩如烟海的信息。
社交媒体地图
众所周知,我们处在信息爆炸的时代,大多数IT大佬都承认,如果不能尽快地控制数据的泛滥成灾,将会对人类进步形成巨大的威胁。驯服大数据需要发明新的技术,通过分析和可视化来更好地了解这个庞然大物。
多年来,社交媒体为Esri地图提供了丰富的数据源。2011年,Esri推出了日本地震图,这是一份概念验证(proof-of-concept)地图,来自日本数百万Tweets信息为地图的绘制提供了数据源,9.0级的本州地震后来自Tweets的数据帮助揭示了在危机中的那些急需物资救援的地点。从此,用社交媒体的内容充实各种地图就成了司空见惯的做法。2013年,Esri正式进入大数据领域,将大数据工作流程整合进该公司的ArcGIS产品中,并推出包括GIS Tools for Hadoop在内的数个GitHub开源项目,这些项目使大数据获得了地理空间能力。
品牌监测
社交媒体的高容量、多样化、高速度及真实性满足大数据的4大典型特征。每天都有超过5亿的Tweets信息发布以及超过35亿类似的自媒体信息发布,社交媒体是一个具有超大信息量并且充满噪声的数据源范例。在这些喋喋不休中,Twitter用户可分享其酸甜苦辣的各种经历和各种观点。但是过滤掉噪声,依然可以从那些充满观点的Tweets中窥见买家的心态和想法。
通过与IBM阿尔马登研究中心的加速发现实验室合作,Esri创建了一种称为舆情监控的交互式概念验证(proof-of-concept)地图,使用Tweets和地理空间技术来了解客户情感并聚焦于品牌管理。IBM阿尔马登研究中心的加速发现实验室是进行跨行业大数据分析的最先进的实验室。
Esri总裁Jack Dangermond说,“和GIS的出现一样,大数据分析的出现也是因为需要对出现的问题提供正确的答案。通过分析,我们提取了某些的答案并帮助各机构能更好地了解其客户。Esri/IBM联合舆情监控示范则结合了GIS系统和舆情监控领域的最新研究成果。”
Esri Tapestry数据为品牌管理提供有用的客户生活方式信息
解码Decahose
Tweets内容包含了大量的客户观点信息,因此早在2010年,Twitter就将其每日的用户输出内容进行商品化。Twitter建立了Tweets流许可制,各个企业以及咨询公司都可从这些数据中淘金。为了着手进行社交媒体分析,IBM从第三方经销商手中获得了Twitter DecaHose授权(特定时间段内随机抽取特定范围内百分之十的Tweets信息)。
针对这些信息,服装零售商所关心的是品牌管理工具是否可以监控Tweets中所有的客户观点。IBM加速发现实验室的研究员们准备利用品牌管理工具,从多个角度来回答这个有趣的问题。2013年3月,8家全国性服装品牌被选作样本,IBM与Esri合作进行联合舆情监控示范项目。
为了设计舆情监控示范系统,Esri的开发人员花了一天的时间与IBM的研究员们进行讨论,实验室中所有的软件、数据和专利技术都对其开放。最后,利用Portal for ArcGIS和ArcGIS for Server,Esri开发了一套交互式地图应用,通过位置和时间可视化Twitter用户数据。这有助于实验室定义Tweets内容模式,对人口统计资料和客户类型进行更直观的认识。IBM的社交媒体分析方法可以解码客户观点、位置及心理语言等各种属性,可以按地区对服装品牌形象进行评价。通过IBM加速发现实验室的算法,可推测出未包括在Tweets中的Tweets发送者的概要信息,如性别及个性特点等,并显示在地图底部。从下拉菜单中选择参与服装品牌,在不同零售商之间轻松比较Tweets提及率和及其客户特点。从更微观的角度,实验室的心理分析与来自Esri Tapestry人口统计数据分析可以并发执行分析得出结果,这个结果可以整合买主本质特征,在个体层面进行数据梳理,为品牌经理提供了一个客户关系管理的超强工具。
监控危机范围
Esri及IBM舆情监控示范实验分别按照品牌的正面提及和负面提及做了划分,并在地图上显示出来
对参加舆情监控实验的一家服装零售商而言,2013年的某一周就像是永远。2013年,该公司因某签名品牌的服装的一个瑕疵而遭到了连珠炮式的投诉。
可以预见的是,在美国某些地区,通过Tweets活动进行品牌监测的现象会增加,这些地区的位置将在舆情监控地图上表示出来。通过地理位置显示Tweets信息,可以了解不同地域的人们对产品瑕疵的反映,对社交媒体进行分析可以为在出现危机时第一时间实施品牌管理提供有利的实时信息。
“GIS可帮助确定问题的范围。”IBM加速发现实验室研究人员兼数据整合专家Mary Roth说,“结合我们的分析,Esri可快速确定这股Tweets风暴来自何方,比如说,如果只是来自罗德岛,地理处理数据会显示出该问题只是地方性问题而没有蔓延至全国。重要的是,这样的信息最终会降低响应成本。”
舆情监控示范是从Twitter信息源中提取和展示分析结果的最简单有效的方法。一旦Tweets信息的价值被发现,品牌经理就可通过研究Tweets发送者的个性特点和人口统计资料进行深入的数据挖掘,但是显示在地图中的数据不会泄露任何用户的隐私。这种方法为各公司彻底了解其客户提供了依据,并借此量身定制其品牌形象,更快、更有针对性地对品牌危机做出反应。
针对所有人的大数据分析
尽管有点吓人,但数据洪流仍为以前不可能进行的研究创造了新的机遇,而不再是陈旧零碎的分析。舆情监控仅是大数据研究的冰山一角,Esri和IBM目前正在设计新的大数据分析方法,该方法将地理分析与其合作研发的方法体系结合在一起。今年,Esri将在进一步加强在此领域的研究,并将发布一系列革命性的针对大数据研究的新工具和方法。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16