与你相关！大数据带你读懂2017移动互联网的那些事儿

2017-12-29

与你相关！大数据带你读懂2017移动互联网的那些事儿 你是否经常出门只带一部手机？你是否经常四处寻觅一辆共享单车代步？你是否经常点开外卖软件寻找美食？马上过去的这一年，移动互联网发展依然风起云涌，深刻 ...

大并发大数据量请求的处理方法

2017-12-28

大并发大数据量请求的处理方法 大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 3.大 ...

没有数据安全，就没有大数据产业发展

2017-12-28

没有数据安全，就没有大数据产业发展 数字经济以数据为关键要素，以安全为前提。中共中央政治局第二次集体学习，提出推动实施国家大数据战略的同时，强调保障数据安全。中国工程院院士、贵州大数据及网络安全专 ...

大数据量高并发访问数据库结构的设计

2017-12-28

大数据量高并发访问数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数 ...

大数据变现给了数据建模者自证价值的最好机会

2017-12-28

大数据变现给了数据建模者自证价值的最好机会 从 BI 时代开始，笔者曾经做过取数，报表，建模，挖掘，分析等各类数据支撑工作，有个问题一直萦绕心中，数据支撑者如何证明自己工作的价值。 一、关于量 ...

2017产业大数据应用会议在北京举办

2017-12-28

2017产业大数据应用会议在北京举办 为进一步贯彻落实国家大数据发展战略，提升城市社会经济发展新动能，中国统计信息服务中心、首页大数据联合举办的“2017产业大数据应用会议”26日在北京拉开帷幕。本次会议以 ...

面试题-关于大数据量的分布式处理

2017-12-27

面试题-关于大数据量的分布式处理 题目：生产系统每天会产生一个日志文件F，数据量在5000W行的级别。文件F保存了两列数据，一列是来源渠道，一列是来源渠道上的用户标识。文件F用来记录当日各渠道上的所有访问 ...

大数据量快速处理的架构设计

2017-12-27

大数据量快速处理的架构设计 在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这 ...

我国将加强健康医疗大数据应用

2017-12-27

我国将加强健康医疗大数据应用 健康医疗大数据是重要的基础性战略资源之一，其应用发展将带来健康医疗模式的深刻变革。日前，国家卫生计生委副主任金小桃表示，我国将加强健康医疗大数据应用与发展，推进医学知 ...

用“互联网+大数据”监管外卖商户

2017-12-27

用“互联网+大数据”监管外卖商户 近日，记者从市食药监局丰泽分局获悉，丰泽区率先在全市引入网络餐饮服务监管系统，运用“互联网+大数据”技术，将美团、饿了么、百度外卖等网络餐饮服务平台的餐饮商家全部纳 ...

浅谈使用ArcPy执行大数据量处理任务

2017-12-27

浅谈使用ArcPy执行大数据量处理任务 Python功能强大而易于学习。对于ArcGIS for Desktop用户来讲，Python是提高工作效率的不二选择。 Arcpy是esri提供的用于高效数据处理分析、制图等的Python站点包。 利用A ...

大数据在金融行业的应用与挑战

2017-12-27

大数据在金融行业的应用与挑战 A    具有四大基本特征 金融业基本是全世界各个行业中最依赖于数据的，而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概 ...

中国电科院卫星大数据应用平台上线

2017-12-26

中国电科院卫星大数据应用平台上线 12月15日，由中国电力科学研究院有限公司组织建设的卫星大数据应用平台正式上线运行，成为国内首个面向电力行业的卫星大数据应用平台。 卫星科学与技术是当代高新技术的重 ...

大数据量的数据库表设计技巧

2017-12-26

大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 ...

大数据量最近的存储分表常见算法

2017-12-26

大数据量最近的存储分表常见算法 当一个应用的数据量大的时候，我们用单表和单库来存储会严重影响操作速度，如mysql的myisam存储，我们经过测试，200w以下的时候，mysql的访问速度都很快，但是如果超过200w ...

将大数据量导成Execl表思路

2017-12-26

将大数据量导成Execl表思路 一、需求 最近客户有一个需求，将多个物理表导成Execl表，可是问题是其中有几个表的数据量在20W以上，一个Execl的Sheet只能导入65536条数据，直接使用SQL Server的导出 ...

共话医疗大数据标准体系

2017-12-26

共话医疗大数据标准体系 日前，由吴阶平医学基金会、京津冀医疗大数据促进会主办，天津市滨海新区人民政府、天津市卫计委支持的“医疗大数据应用及标准体系建设高级研讨会”在滨海举行。 本次研讨会组织包括 ...

如何防范人工智能、大数据、区块链、云计算的技术风险

2017-12-25

如何防范人工智能、大数据、区块链、云计算的技术风险 众所周知，人工智能、大数据、区块链、云计算这四项技术是Techfin市场中的顶梁柱。近日京东金融研究院发布了《2017金融科技报告——行业发展与法律前沿》( ...

面向大数据的分布式调度

2017-12-25

面向大数据的分布式调度 大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些 ...

大数据：算得出数字，算不出人性

2017-12-25

大数据：算得出数字，算不出人性 信息时代，没有人能逃脱数字的包围，我们的日常活动情况都被数字化的信息形式记录下来，就连手机里的好友都拦不住大数据无形的手。最近微信新增了删除“不常联系好友”功能—— ...