京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代要突破的难点
大数据已经成为行业不能不提的话题,它涵盖了4V面向,分别是处理时效(Velocity)、数据格式(Variety)、数据量(Volume)与真实性(Veracity),通过快速的采集、发现和分析,从大量化、多类别的数据中提取价值。
扩展到一个城市来讲,那么多的摄像头每天工作着,每个街道的人流数据、车流数据都在其中,即便不用来刑侦,但作为数据的二次开发却又不可忽略的意义,庞大数据整体汇集起来,就是一个城市的人车分布图,静态的如不同区域人的特征、车的特征,动态的如人车的路径、停留模式,这对城市的规划和管理都有重大的参考价值。但是安防大数据采集、存储、发现和分析依然有不少问题亟待解决。
数据大联网缺乏统一标准
在中国,平安城市发展迅速,越来越多的城市及用户正感受到这一工程带来的安全感。从2005年平安城市建设作为概念走进中国,8年建设中,平安城市建设不仅在技术上实现了突破,在建设理念上也实现了新飞跃。今后几年中,平安城市将不断向智慧城市靠拢。那么建设到何种程度才能算得上智慧呢?离真正智慧城市的路有多遥远呢?
智慧城市中必须实现的是数据的共享,跨区域视频监控联网、监控资源整合与共享,政府各部门之间的视频监控资源的共享等等。但是不同的地方城市,不同的行业类别,不同的管理方式都会有不同的监控系统方案,一直都存在行业标准的缺乏问题,数据的融合或者共享中会有兼容性难题,有些甚至是不可实现的。
大规模视频监控联网的技术难度是比较大的,以实现异构平台互联互通为主要目的的联网接口协议在传统的安防技术规范较少涉及,如果联网接口协议未经验证测试,往往难以实现异构平台的互联互通,就算能够实现互通,在系统功能、稳定性等方面也会存在很多问题。从浙江省发布DB33/T629-2007以来,国内外也陆续发布了可以支持视频监控联网的技术协议,但从成熟度上看都存在一定的问题。
大数据存储容易出现问题
在大数据时代来临之际,我们面临的挑战还有存储问题。大数据中的大容量通常可达到PB级的数据规模,那么对于海量数据存储系统扩展能力的要求也会很高。以国内某省为例,公共视频监控已经超过100多万个摄像头,总保有量近400万,以此估计,全国摄像头数量不少于4000万,某投行的报告称行业每年还在以20%加速增长,行业龙头海康威视(002415,股吧)12年的年报披露的销售量就达570万套(含前后端),增长37%.而另一个数据也很惊人,英国的摄像头数量与人口数量之比已经达到1:15.粗略计世界至少有1亿个摄像头在角落静静的看着,这样的视频监控将是数据的大生成器。从摄像前端的海量数据和到有效数据之间的也存在矛盾,摄像头不停歇的工作,如实记录镜头覆盖范围发生的一切,但对于客户来讲大部分信息是无效,有效信息可能只分布在一个较短的时间段内,大量的数据存储给数据库带来不小的压力,而无效的数据更是对于资源的浪费。
与此同时,存储系统的扩展一定要简便,尽量能通过增加模块或磁盘柜来增加容量,甚至不需要停机。基于这样的需求,客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外,内部还具备数据处理能力以及互联设备,与传统存储系统的烟囱式架构完全不同,Scale-out架构可以实现无缝平滑的扩展,避免存储孤岛。
大数据时代数据的行为分析
数据共享就意味着无可限量的机会。市场调研机构IDC指出,大数据已经走出了“科学研究”阶段,逐渐进入了商业主流。大数据时代,最重要的一点就是数据共享和数据分析处理,从庞大的数据库中,找寻到相对应的线索,贯穿起来创出意想不到的效果。除此之外,还可以通过大数据分析营销习性,海康威视一款智能监控摄像机的应用证实了这一点,它通过对视频信号进行分析理解,透析卖场商铺人流量和产品关注度等。大数据将带来一波生产率增长和消费者盈余浪潮。
电子科技大学互联网科学中心主任周涛教授介绍了今年公开的一项最新研究成果:某个手机用户只要曾出现在4个基站的服务区,利用大数据模型,研究者就能把他从百万用户中区分出来,识别他的身份,准确率为95%.同样的案例在安防领域也时有发生,监控视频数据,透过智能分析发现某人、车在银行外无故多次徘徊,就可以从实施重点监控,以防不测。常见的应用包括入侵检测、周界告警、车辆识别、交通违法监控等。
全国性的大数据时代在安防行业还有一段路要走,亟待解决的问题还很多。但是从局部的的数据共享,数据联网来看,已经表现出了不俗的前景,可以预见未来市场更为广阔。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据指标体系搭建工作中,从业者常困惑于指标搭建的核心逻辑:究竟是依托一线零散数据自下而上汇总指标,还是基于战略目标自上 ...
2026-07-31在数据分析、问卷研究、实验复盘、业务建模的工作中,大多数人最关注的是“用什么统计方法”:是做T检验、方差分析、卡方检验, ...
2026-07-31 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-07-31在问卷调研的数据分析流程中,“先检验信效度,再开展进阶统计分析”是通用的规范逻辑。很多从业者会听到“问卷效度高,后续可以 ...
2026-07-30【核心关键词】大数据、统计学、专业、毕业生、论文、课程、计算机、建模、知识、数据分析、机器学习、数据科学、大数据技术、 ...
2026-07-30 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-07-30在业务数据分析中,按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常 ...
2026-07-29在机器学习建模与特征工程实践中,判断不同特征对模型预测效果的贡献度,是特征筛选、模型解释、业务归因的核心环节。特征置换重 ...
2026-07-29 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-07-29【核心关键词】岗位、数字化、经验、课程、方法论、决策、企业、大方向、数据分析、销售管理、理论知识、思维方式、分析销售、 ...
2026-07-28在问卷调研、用户分群、效果对比等业务数据分析中,分类变量的关联性与差异性验证是高频需求。卡方检验作为针对离散分类数据的经 ...
2026-07-28 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-07-28在Excel数据分析与报表制作中,数据透视表是快速完成多维度汇总、分组统计的核心工具。很多从业者在得到透视表汇总结果后,为了 ...
2026-07-27 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-07-27当下,我们已然步入数据要素价值全面释放的智能时代。数据不再只是零散的数字记录,更是驱动新质生产力运转的核心动能、滋养人工 ...
2026-07-27【核心关键词】客户、数据分析、指标体系、数据采集、数据指标、业务数据、分析思路、业务需求、分析方法 【专访摘要】本次 CDA ...
2026-07-24在数据分析、业务建模与数字化运营体系中,原始业务数据普遍存在缺失、重复、异常、口径不一致等质量问题,直接用于分析与建模会 ...
2026-07-24 很多数据分析师能熟练计算均值、标准差,但当被问到“如何用一张图让业务方3秒内看懂核心结论”“面对不同数据类型该怎么选 ...
2026-07-24在数据驱动的精细化运营体系中,指标是业务判断、效果复盘、策略优化的核心依据。随着企业数据化程度提升,指标数量持续膨胀,但 ...
2026-07-23在用户运营与产品增长体系中,留存是衡量产品真实价值与用户粘性的核心标尺,也是决定用户生命周期价值、获客投产比的底层因素。 ...
2026-07-23