使用Python操作Elasticsearch数据索引的教程

2018-06-24

使用Python操作Elasticsearch数据索引的教程 Elasticsearch是一个分布式、Restful的搜索及分析服务器，Apache Solr一样，它也是基于Lucence的索引服务器，但我认为Elasticsearch对比Solr的优点在于：  &nb ...

从奇异值分解(SVD)看潜在语义索引(LSI)

2017-12-22

从奇异值分解(SVD)看潜在语义索引(LSI) 1. SVD 简介 SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下： 定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A ...

文本主题模型之潜在语义索引(LSI)

2017-12-22

文本主题模型之潜在语义索引(LSI) 在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 ...

利用解决大数据查找死锁问题索引的三种方法

2017-11-19

利用解决大数据查找死锁问题索引的三种方法 一、主题描述 先看看问题描述：当机房人数达到上限时，评教过程中就遇到了无法提交的情况。遇到问题后大家第一时间发现了是由于死锁造成的。 再来看出现这个问 ...

数据库索引的作用和原理

2017-07-13

数据库索引的作用和原理 数据库索引是为了增加查询速度而对表字段附加的一种标识。很多人机械的理解索引的概念，认为增加索引只有好处没有坏处。其实远不是那样的，这里将其介绍尽量详细些。 首先明白为 ...

数据库索引的实现原理

2017-02-18

数据库索引的实现原理 一、概述 数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特定查 ...

【CDA干货】Python DataFrame新增行数据的方法与实战应用

2026-09-07

在Python数据分析中，Pandas库的DataFrame是最核心、最常用的结构化数据表对象，类似于Excel的二维表格，具备规整的行列结构、字段类型与索引体系。在数据处理、数据清洗、数据整合与批量数据录入的实战场景中，经常 ...

【CDA干货】基于Python实现JSON文件批量转换CSV格式的方法与实战

2026-08-27

在数据分析、爬虫采集、接口开发、数据归档等场景中，JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式，适配程序读取、嵌套数据存储，灵活性强但可读性差、不便于表格统计；CSV为纯文本表格格式， ...

【CDA干货】Pandas时间数据处理：pd.to_datetime与pd.date_range原理与实战应用

2026-08-26

在数据分析工作中，时间序列是最常见的数据类型之一，订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据中的时间大多以字符串、数字时间戳、不规则文本等格式存储，无法直接完成时间筛选、周 ...

【CDA干货】数据清洗完整基本流程与Python实战案例分析

2026-08-20

在数据分析领域有一句核心准则：垃圾数据进，垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序，也是保障数据质量、确保分析结论真实有效的核心基础。原始业务数据普遍存在缺失、重复、异常 ...

【CDA干货】Python字典按行插入DataFrame的实现方法与数据处理实战

2026-08-19

在Python数据分析与数据清洗工作中，Pandas是最核心的数据处理库，DataFrame是结构化数据的标准存储格式。在实时数据采集、循环数据生成、接口数据接收、批量数据拼接等场景中，程序经常以字典（dict）格式获取单条 ...

从“数据存储”到“智能取数”：CDA数据分析师视角下的创建表或视图

2026-08-13

 很多数据分析师写过无数个SELECT查询，但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视图的优缺点分别是什么”时，却常常陷入支支吾吾的困境。其实，SELECT只是从表中“取” ...

【CDA干货】基于Pandas库的Excel多字段条件筛选数据处理方法与实战应用

2026-08-12

在数据分析日常工作中，Excel数据筛选是数据清洗、数据提取、样本筛选的核心基础操作。传统Excel手动筛选、函数筛选方式，面对多字段叠加条件、复杂逻辑筛选、大批量数据处理时，存在操作繁琐、卡顿低效、易出错、无 ...

【CDA干货】SQL统计月度每日夜间数据：口径定义、多数据库实现与避坑指南

2026-07-29

在业务数据分析中，按天拆分统计夜间时段的数据是高频需求——比如电商夜间订单监测、平台夜间用户活跃度分析、运维系统夜间异常告警统计、金融夜间交易风控排查等。这类需求的核心难点在于夜间时段跨自然日，直接按 ...

【CDA干货】MySQL分表数据读取：核心方案、查询优化与实战落地指南

2026-07-22

在高并发、大数据量的业务系统中，单表数据量达到千万级甚至亿级后，会出现查询性能骤降、索引维护成本飙升、存储扩容困难等问题。分表是 MySQL 架构中解决海量数据存储与查询性能的核心方案，通过将一张大表拆分为 ...

从“数据描述”到“业务预判”：CDA数据分析师视角下的数据建模

2026-07-16

 很多数据分析师能熟练地写SQL、做透视表、算描述性统计，但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素”“不同行业的数据模型选型有何差异”时，却常常语塞。其实，数据建模正是实现数据分 ...

【CDA干货】MySQL固定时间间隔数据查询：语法原理、实操场景与数据分析应用

2026-07-15

在企业数据存储、业务统计与数据分析工作中，绝大多数业务数据都带有时间维度属性，例如订单创建时间、用户注册时间、支付完成时间、设备日志生成时间等。MySQL作为主流关系型数据库，承担着业务原始数据的存储与查 ...

【CDA干货】用户决策流程全解析：核心环节、影响因素与商业优化策略

2026-07-10

在互联网运营、产品设计、市场营销与商业数据分析领域，所有转化、成交、复购行为的底层逻辑，都依托于用户决策流程。用户从产生需求、筛选对比，到最终消费、持续复购的全过程，是一套可预判、可拆解、可优化的标准 ...

CDA持证人专访：曾津谈互联网数据分析与业务赋能实践

2026-07-06

【核心关键词】转化率、企业、策略、岗位、互联网、拆分、产品、运营、分析师、指标体系、数据分析、用户画像、数据诊断、产品经理、数据科学、工作经验、业务效果、业务诊断 【专访摘要】本次CDA持证专访邀请到CDA ...

从“数据存储”到“智能取数”：CDA数据分析师视角下的创建表或视图

2026-07-06

 很多数据分析师写过无数个SELECT查询，但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视图的优缺点分别是什么”时，却常常陷入支支吾吾的困境。其实，SELECT只是从表中“取” ...