使用Python操作Elasticsearch数据索引的教程

2018-06-24

使用Python操作Elasticsearch数据索引的教程 Elasticsearch是一个分布式、Restful的搜索及分析服务器，Apache Solr一样，它也是基于Lucence的索引服务器，但我认为Elasticsearch对比Solr的优点在于：  &nb ...

从奇异值分解(SVD)看潜在语义索引(LSI)

2017-12-22

从奇异值分解(SVD)看潜在语义索引(LSI) 1. SVD 简介 SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下： 定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A ...

文本主题模型之潜在语义索引(LSI)

2017-12-22

文本主题模型之潜在语义索引(LSI) 在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 ...

利用解决大数据查找死锁问题索引的三种方法

2017-11-19

利用解决大数据查找死锁问题索引的三种方法 一、主题描述 先看看问题描述：当机房人数达到上限时，评教过程中就遇到了无法提交的情况。遇到问题后大家第一时间发现了是由于死锁造成的。 再来看出现这个问 ...

数据库索引的作用和原理

2017-07-13

数据库索引的作用和原理 数据库索引是为了增加查询速度而对表字段附加的一种标识。很多人机械的理解索引的概念，认为增加索引只有好处没有坏处。其实远不是那样的，这里将其介绍尽量详细些。 首先明白为 ...

数据库索引的实现原理

2017-02-18

数据库索引的实现原理 一、概述 数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特定查 ...

SQL应用实例：从电商业务场景看经典查询写法

2026-10-20

一、为什么要通过实例学SQL SQL是数据从业者最基础也最高频的工具。很多人学过SELECT、WHERE、GROUP BY，但一到真实业务里就写不出有效查询——问题不在语法，而在于不知道"业务问题该翻译成哪种查询结构"。 本文围 ...

【CDA干货】SQL在金融量化投资中的应用与实战解析

2026-10-14

一、SQL在金融量化体系中的定位 量化投资的本质是用数据驱动决策，而数据处理贯穿量化研究的全生命周期。从原始行情数据清洗、因子挖掘、策略回测到实盘风险监控，SQL都是最基础也最核心的数据操作语言。与Python、R ...

【CDA干货】数据库表转换为Pandas DataFrame的实现方法与实战分析

2026-10-09

在数据分析工作流中，业务数据大多存储在各类关系型数据库内，例如MySQL、PostgreSQL、SQLite等。Pandas是Python生态中主流的数据处理库，DataFrame作为其核心数据结构，支持筛选、聚合、统计、可视化等丰富的数据操 ...

零基础学 SQL：写给初学者的完整上手指南

2026-10-07

你有没有想过，手机里点外卖、刷社交软件、转一笔账，背后到底是谁在替你"记着账"？ 答案其实很简单：数据库，以及跟它对话的那门语言——SQL。 这篇文章就是为完全没接触过数据库的你写的。跟着读下去，你会明白 SQ ...

【CDA干货】MySQL千万级数据是否需要分表及分表实施步骤详解

2026-09-28

在MySQL数据库运维与业务开发中，行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中，千万条数据并不是强制分表的硬性标准。InnoDB引擎性能并不单纯由数据行数决定，而是由单表数据体积、索引设 ...

从“数据存储”到“智能取数”：CDA数据分析师视角下的创建表或视图

2026-09-22

 很多数据分析师写过无数个SELECT查询，但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视图的优缺点分别是什么”时，却常常陷入支支吾吾的困境。其实，SELECT只是从表中“取” ...

【CDA干货】MySQL数据量较小但内存占用过高的原因分析与优化方案

2026-09-11

在MySQL数据库运维与开发实践中，经常出现一种典型现象：数据库实际存储的数据量很小，数据表条数少、文件体积低，但服务器整体内存或MySQL进程内存占用持续偏高，甚至出现内存溢出、卡顿、swap交换频繁等问题。很多 ...

【CDA干货】累计柱形图的数据原理、可视化价值与实战应用分析

2026-09-10

在数据可视化体系中，柱形图是最基础、应用最广泛的图表类型，其中**累计柱形图（堆积柱状图）**是兼顾整体总量与内部结构的核心图表。不同于普通并列柱形图仅能对比单一整体数据，累计柱形图通过将多个细分维度数据 ...

【CDA干货】Python DataFrame遍历与元素修改的方法及实战应用

2026-09-09

在Python Pandas数据分析中，DataFrame是承载结构化数据的核心载体，数据清洗、数据修正、条件赋值、字段更新等实操场景，都离不开数据遍历与元素修改操作。遍历是逐行、逐列读取DataFrame数据的基础手段，而元素修 ...

【CDA干货】Python DataFrame新增行数据的方法与实战应用

2026-09-07

在Python数据分析中，Pandas库的DataFrame是最核心、最常用的结构化数据表对象，类似于Excel的二维表格，具备规整的行列结构、字段类型与索引体系。在数据处理、数据清洗、数据整合与批量数据录入的实战场景中，经常 ...

CDA新一级模拟题常见错题总结

2026-09-07

CDA数据分析师 出品 作者：李诗怡 1. 销售漏斗阶段判断 题目：销售漏斗模型中，通过广告、社交媒体等方式触达品牌信息（如浏览品牌官网首页、点击信息流广告等），但未深入互动的用户，所处的阶段是？ A. 接触 B. 意 ...

【CDA干货】基于Python实现JSON文件批量转换CSV格式的方法与实战

2026-08-27

在数据分析、爬虫采集、接口开发、数据归档等场景中，JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式，适配程序读取、嵌套数据存储，灵活性强但可读性差、不便于表格统计；CSV为纯文本表格格式， ...

【CDA干货】Pandas时间数据处理：pd.to_datetime与pd.date_range原理与实战应用

2026-08-26

在数据分析工作中，时间序列是最常见的数据类型之一，订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据中的时间大多以字符串、数字时间戳、不规则文本等格式存储，无法直接完成时间筛选、周 ...

【CDA干货】数据清洗完整基本流程与Python实战案例分析

2026-08-20

在数据分析领域有一句核心准则：垃圾数据进，垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序，也是保障数据质量、确保分析结论真实有效的核心基础。原始业务数据普遍存在缺失、重复、异常 ...