大数据时代的潜在风险与监管

2018-01-01

大数据时代的潜在风险与监管 当前，整个社会正迎来大数据时代。围绕数据的收集、存储、交易、开发等，相继诞生了一系列相关产业，逐渐展现出巨大经济潜力。甚至有一种观点认为，大数据是新时代的“黄金与石油” ...

大数据的赚钱之道与亏损陷阱

2018-01-01

大数据的赚钱之道与亏损陷阱 大数据无疑是时下炙手可热的流行词汇，随着大数据技术在各个行业当中的不断深入，我们可以看到已经有很多个人乃至企业开始利用大数据来赚钱了。     大数据无疑是时 ...

大数据学习之BigData常用算法和数据结构

2018-01-01

大数据学习之BigData常用算法和数据结构 1.Bloom Filter     由一个很长的二进制向量和一系列hash函数组成     优点：可以减少IO操作，省空间     缺点：不支持 ...

关于大数据的处理的一些经验

2017-12-31

1.数据库的技术上，目前我们公司在研究hadoop分层数据库，具体了解不多；外面流行的NoSql非关系型数据库，像亚马逊、谷歌还有一些日本企业都有自己的NoSql数据库； 2.传统关系型数据库的优化，数 ...

别让商务大数据的思路，误了工业大数据

2017-12-31

别让商务大数据的思路，误了工业大数据 大数据是最近几年才热起来的一个概念。大数据热大约在2012年前后在中国出现。其中，涂子沛先生的《大数据》一书起到了重要的作用。“除了上帝，任何人都必须用数据来说话 ...

大数据算法的困境

2017-12-30

大数据算法的困境 机器学习和深度神经网络，克服了算法设计中人的局限;只要有数据，只要数据中有统计规律，算法就能找到这些规律。人工智能技术近几年的火热，主要得益于机器学习、深度神经网络方面的技术突破 ...

大数据在企业运营中可落地的八大应用

2017-12-30

大数据在企业运营中可落地的八大应用 由于任何问题都有可能在某种程度得到优化，问题在于，大数据在企业运营中到底有哪些应用值得我们关注? 无论规模大小，无论是生产型还是服务型，无论是盈利还是非盈利 ...

从大数据到AI, 我们走了多远?

2018-01-03

从大数据时代来到人工智能时代，我们究竟走了多远？ 11月6日，京东举行 JDD京东金融全球数据探索者大会，在全球范围内寻求志同道合的伙伴共同探索大数据和人工智能在金融领域的最佳实践 。中国工程程院院士、北 ...

对大数据和人工智能的冷思考

2017-12-29

对大数据和人工智能的冷思考 大数据和人工智能是今年最热门的话题，在司法领域更是如火如荼，司法在大数据时代的范式革命已经到来。但利之所在弊亦随之，如果对大数据和人工智能的风险缺乏充分认识，不能在热情 ...

利用大数据和预测分析优化供应链

2017-12-29

利用大数据和预测分析优化供应链 大数据和分析可以帮助组织预测未来的供应链中断，并获得优于竞争对手的优势。 如今，业界人士都在谈论大数据，但这究竟意味着什么呢?大数据被定义为极其庞大的数据集，无论 ...

大数据量并发处理

2017-12-28

大数据量并发处理 大并发大数据量请求的处理方法 大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量 ...

有点意思!如果圣诞老人利用大数据派送礼物是这样的……

2017-12-28

有点意思!如果圣诞老人利用大数据派送礼物是这样的…… 如果圣诞老人拥有物联网、大数据和智能设备，他会这样发放礼物。 12月24日，几十年来，圣诞老人一直没有升级他的装备。但他对高科技并不陌生，今年， ...

大数据量数据库设计与优化方案

2017-12-27

大数据量数据库设计与优化方案 一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之 ...

阻碍大数据项目实施的四大绊脚石

2017-12-27

阻碍大数据项目实施的四大绊脚石 在实施大数据时，往往有许多绊脚石阻碍项目的进，比如复杂的软件、懂技术的员工不够多、投资回报率难以平衡等等 。我们究竟该如何解决在实施大数据过程中出现的如上障碍? 有 ...

大数据和数据可视化的重要性

2017-12-27

大数据和数据可视化的重要性 什么是大数据?数据可视化如何帮助企业更好地利用数据资源?一些人知道大数据的真正含义，然而其他人声称自己懂大数据，只是为了让他们看起来并不低人一等。尽管大数据是一个热门话题 ...

运用大数据提升政府治理能力

2017-12-27

运用大数据提升政府治理能力 互联网是我国在全球经济当中跟西方发达国家距离比较近的领域之一，或者说是我们发展比较好的领域。以互联网为平台打造现代的信息经济，对扩大投资消费，提升老百姓的生活便利性，都 ...

大数据量的系统的数据库结构如何设计

2017-12-26

大数据量的系统的数据库结构如何设计 1、把你表中经常查询的和不常用的分开几个表，也就是横向切分 2、把不同类型的分成几个表，纵向切分 3、常用联接的建索引 4、服务器放几个硬盘，把数据、日志、 ...

关于Execl导入大数据量文件的处理思路

2017-12-25

关于Execl导入大数据量文件的处理思路 Execl作为微软的早期产品，功能强大的同时，性能也相应的差很多，处理大数据量时,尤其明显。最近项目中有一个需求，要求导入人员信息，Execl的数据量大概5000左右，但是会 ...

大数据排序或取重或去重相关问题

2017-12-25

大数据排序或取重或去重相关问题 1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？  方案1：可以估计每个文件安的大小为50G×64=320G， ...

经典算法题：大数据处理常见算法题

2017-12-25

经典算法题：大数据处理常见算法题 第一部分、十道海量数据处理 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还 ...