京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代要突破的难点
大数据已经成为行业不能不提的话题,它涵盖了4V面向,分别是处理时效(Velocity)、数据格式(Variety)、数据量(Volume)与真实性(Veracity),通过快速的采集、发现和分析,从大量化、多类别的数据中提取价值。
扩展到一个城市来讲,那么多的摄像头每天工作着,每个街道的人流数据、车流数据都在其中,即便不用来刑侦,但作为数据的二次开发却又不可忽略的意义,庞大数据整体汇集起来,就是一个城市的人车分布图,静态的如不同区域人的特征、车的特征,动态的如人车的路径、停留模式,这对城市的规划和管理都有重大的参考价值。但是安防大数据采集、存储、发现和分析依然有不少问题亟待解决。
数据大联网缺乏统一标准
在中国,平安城市发展迅速,越来越多的城市及用户正感受到这一工程带来的安全感。从2005年平安城市建设作为概念走进中国,8年建设中,平安城市建设不仅在技术上实现了突破,在建设理念上也实现了新飞跃。今后几年中,平安城市将不断向智慧城市靠拢。那么建设到何种程度才能算得上智慧呢?离真正智慧城市的路有多遥远呢?
智慧城市中必须实现的是数据的共享,跨区域视频监控联网、监控资源整合与共享,政府各部门之间的视频监控资源的共享等等。但是不同的地方城市,不同的行业类别,不同的管理方式都会有不同的监控系统方案,一直都存在行业标准的缺乏问题,数据的融合或者共享中会有兼容性难题,有些甚至是不可实现的。
大规模视频监控联网的技术难度是比较大的,以实现异构平台互联互通为主要目的的联网接口协议在传统的安防技术规范较少涉及,如果联网接口协议未经验证测试,往往难以实现异构平台的互联互通,就算能够实现互通,在系统功能、稳定性等方面也会存在很多问题。从浙江省发布DB33/T629-2007以来,国内外也陆续发布了可以支持视频监控联网的技术协议,但从成熟度上看都存在一定的问题。
大数据存储容易出现问题
在大数据时代来临之际,我们面临的挑战还有存储问题。大数据中的大容量通常可达到PB级的数据规模,那么对于海量数据存储系统扩展能力的要求也会很高。以国内某省为例,公共视频监控已经超过100多万个摄像头,总保有量近400万,以此估计,全国摄像头数量不少于4000万,某投行的报告称行业每年还在以20%加速增长,行业龙头海康威视(002415,股吧)12年的年报披露的销售量就达570万套(含前后端),增长37%.而另一个数据也很惊人,英国的摄像头数量与人口数量之比已经达到1:15.粗略计世界至少有1亿个摄像头在角落静静的看着,这样的视频监控将是数据的大生成器。从摄像前端的海量数据和到有效数据之间的也存在矛盾,摄像头不停歇的工作,如实记录镜头覆盖范围发生的一切,但对于客户来讲大部分信息是无效,有效信息可能只分布在一个较短的时间段内,大量的数据存储给数据库带来不小的压力,而无效的数据更是对于资源的浪费。
与此同时,存储系统的扩展一定要简便,尽量能通过增加模块或磁盘柜来增加容量,甚至不需要停机。基于这样的需求,客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外,内部还具备数据处理能力以及互联设备,与传统存储系统的烟囱式架构完全不同,Scale-out架构可以实现无缝平滑的扩展,避免存储孤岛。
大数据时代数据的行为分析
数据共享就意味着无可限量的机会。市场调研机构IDC指出,大数据已经走出了“科学研究”阶段,逐渐进入了商业主流。大数据时代,最重要的一点就是数据共享和数据分析处理,从庞大的数据库中,找寻到相对应的线索,贯穿起来创出意想不到的效果。除此之外,还可以通过大数据分析营销习性,海康威视一款智能监控摄像机的应用证实了这一点,它通过对视频信号进行分析理解,透析卖场商铺人流量和产品关注度等。大数据将带来一波生产率增长和消费者盈余浪潮。
电子科技大学互联网科学中心主任周涛教授介绍了今年公开的一项最新研究成果:某个手机用户只要曾出现在4个基站的服务区,利用大数据模型,研究者就能把他从百万用户中区分出来,识别他的身份,准确率为95%.同样的案例在安防领域也时有发生,监控视频数据,透过智能分析发现某人、车在银行外无故多次徘徊,就可以从实施重点监控,以防不测。常见的应用包括入侵检测、周界告警、车辆识别、交通违法监控等。
全国性的大数据时代在安防行业还有一段路要走,亟待解决的问题还很多。但是从局部的的数据共享,数据联网来看,已经表现出了不俗的前景,可以预见未来市场更为广阔。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA一级知识点汇总手册 第四章 战略与业务数据分析考点43:战略数据分析基础考点44:表格结构数据的使用考点45:输入数据和资源 ...
2026-02-22CDA一级知识点汇总手册 第三章 商业数据分析框架考点27:商业数据分析体系的核心逻辑——BSC五视角框架考点28:战略视角考点29: ...
2026-02-20CDA一级知识点汇总手册 第二章 数据分析方法考点7:基础范式的核心逻辑(本体论与流程化)考点8:分类分析(本体论核心应用)考 ...
2026-02-18第一章:数据分析思维考点1:UVCA时代的特点考点2:数据分析背后的逻辑思维方法论考点3:流程化企业的数据分析需求考点4:企业数 ...
2026-02-16在数据分析、业务决策、科学研究等领域,统计模型是连接原始数据与业务价值的核心工具——它通过对数据的规律提炼、变量关联分析 ...
2026-02-14在SQL查询实操中,SELECT * 与 SELECT 字段1, 字段2,...(指定个别字段)是最常用的两种查询方式。很多开发者在日常开发中,为了 ...
2026-02-14对CDA(Certified Data Analyst)数据分析师而言,数据分析的核心不是孤立解读单个指标数值,而是构建一套科学、完整、贴合业务 ...
2026-02-14在Power BI实操中,函数是实现数据清洗、建模计算、可视化呈现的核心工具——无论是简单的数据筛选、异常值处理,还是复杂的度量 ...
2026-02-13在互联网运营、产品迭代、用户增长等工作中,“留存率”是衡量产品核心价值、用户粘性的核心指标——而次日留存率,作为留存率体 ...
2026-02-13对CDA(Certified Data Analyst)数据分析师而言,指标是贯穿工作全流程的核心载体,更是连接原始数据与业务洞察的关键桥梁。CDA ...
2026-02-13在机器学习建模实操中,“特征选择”是提升模型性能、简化模型复杂度、解读数据逻辑的核心步骤——而随机森林(Random Forest) ...
2026-02-12在MySQL数据查询实操中,按日期分组统计是高频需求——比如统计每日用户登录量、每日订单量、每日销售额,需要按日期分组展示, ...
2026-02-12对CDA(Certified Data Analyst)数据分析师而言,描述性统计是贯穿实操全流程的核心基础,更是从“原始数据”到“初步洞察”的 ...
2026-02-12备考CDA的小伙伴,专属宠粉福利来啦! 不用拼运气抽奖,不用复杂操作,只要转发CDA真题海报到朋友圈集赞,就能免费抱走实用好礼 ...
2026-02-11在数据科学、机器学习实操中,Anaconda是必备工具——它集成了Python解释器、conda包管理器,能快速搭建独立的虚拟环境,便捷安 ...
2026-02-11在Tableau数据可视化实操中,多表连接是高频操作——无论是将“产品表”与“销量表”连接分析产品销量,还是将“用户表”与“消 ...
2026-02-11在CDA(Certified Data Analyst)数据分析师的实操体系中,统计基本概念是不可或缺的核心根基,更是连接原始数据与业务洞察的关 ...
2026-02-11在数字经济飞速发展的今天,数据已成为核心生产要素,渗透到企业运营、民生服务、科技研发等各个领域。从个人手机里的浏览记录、 ...
2026-02-10在数据分析、实验研究中,我们经常会遇到小样本配对数据的差异检验场景——比如同一组受试者用药前后的指标对比、配对分组的两组 ...
2026-02-10在结构化数据分析领域,透视分析(Pivot Analysis)是CDA(Certified Data Analyst)数据分析师最常用、最高效的核心实操方法之 ...
2026-02-10