大数据分析师教程-1.1 Hadoop安装与HDFS、MapReduce实验：集群网络配置、JDK安装、无密码登录ssh

2024-10-12

大数据分析师教程 大数据分析师教程-Hadoop安装与HDFS、MapReduce实验：集群网络配置、JDK安装、无密码登录ssh 新建虚拟机集群逻辑说明集群网络配置介绍Hadoop的安装和配置安装JDK大数据分析师证书考试范围 新建虚 ...

MySQL主从复制属于集群技术还是负载均衡技术？

2023-04-21

MySQL主从复制（Master-Slave Replication）是一种常用的数据库技术，用于提高数据库可用性和可靠性。但是，它既不属于集群技术也不是负载均衡技术。 首先，让我们了解一下什么是集群技术和负载均衡技术。集群技术是 ...

kubernetes 的master节点挂了对整个集群有什么影响？

2023-04-04

Kubernetes是一种开源的容器编排系统，它可以自动化管理和部署容器化应用程序。在Kubernetes中，有两个主要组件：Master节点和Worker节点。Master节点负责管理集群级别的任务，例如调度Pod、监控集群状态、管理节 ...

ejabberd做IM集群里面的数据库中mnesia好还是mysql好？

2023-04-04

对于ejabberd做IM集群中的数据库，应该考虑使用何种数据库类型来存储数据。其中，mnesia和mysql都是比较常见的选择。在选择数据库类型之前，我们需要先明确ejabberd的特点和需求。 ejabberd是基于Erlang/OTP语言构建 ...

我国崛起多个大数据产业集群

2017-05-28

我国崛起多个大数据产业集群 正在举行的“２０１７中国国际大数据产业博览会”上，旨在提升政府治理能力的大数据应用技术国家工程实验室在贵阳揭牌。 “实验室致力于政府治理大数据应用的关键技术研究，以 ...

Hadoop集群搭建

2017-05-21

Hadoop集群搭建 目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决 ...

【广州市集群车宝汽车服务连锁有限公司】招聘数据分析师

2017-04-26

【广州市集群车宝汽车服务连锁有限公司】招聘数据分析师  集群车宝集团成立于2013年初，专注于中国汽车后市场，是一家以汽车服务为主营业务的集团化企业，下辖广州市集群车宝汽车服务连锁有限公司、广州市集群 ...

【CDA干货】大模型稳定性测试指南：从指标定义到落地实践

2025-10-15

在大模型从实验室走向生产环境的过程中，“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型，若在高并发、长周期运行或异常输入下出现响应超时、输出错乱、崩溃等问题，将直接影响业务可用性 ...

【CDA干货】解锁分库分表后的JOIN密码：突破数据库性能瓶颈

2025-10-13

分库分表，为何而生？ 在信息技术发展的早期阶段，数据量相对较小，业务逻辑也较为简单，单库单表的数据库架构就能够满足大多数应用的需求。以一个小型电商网站为例，在创业初期，用户数量可能只有几千人，商品种类 ...

企业名称：石头科技 招聘岗位：bi报表开发工程师 20-35K·16薪（数据分析岗位招聘信息）

2025-09-23

岗位职责： ① 负责集团BI系统前端展现功能界面设计与数据可视化开发，确保交互直观、视觉效果专业目符合业务需求。 ② 对接业务部门需求，独立完成需求分析、方案设计、原型设计、开发测试及上线部署全流程工作。 ...

【CDA干货】解析 DataHub 与 Kafka：数据生态中两类核心工具的差异与协同

2025-09-19

解析 DataHub 与 Kafka：数据生态中两类核心工具的差异与协同 在数字化转型加速的今天，企业对数据的需求已从 “存储” 转向 “高效流转” 与 “有序管理”。然而，数据生态中的工具种类繁多，功能交叉易造成混淆 — ...

【CDA干货】Excel 数据聚类分析：从操作实践到业务价值挖掘

2025-09-10

Excel 数据聚类分析：从操作实践到业务价值挖掘 在数据分析场景中，聚类分析作为 “无监督分组” 的核心工具，能从杂乱数据中挖掘隐藏的相似性规律（如用户分群、产品分类、区域特征聚合）。相较于 SPSS、Python 等 ...

【CDA干货】解析 loss.backward ()：深度学习中梯度汇总与同步的自动触发核心

2025-09-02

解析 loss.backward ()：深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中，loss.backward()是连接 “前向计算” 与 “参数更新” 的关键桥梁。它不仅负责触发梯度的反向传播计算，在分布式训练场 ...

【CDA干货】数据清洗工具全景指南：从入门到进阶的实操路径

2025-08-29

数据清洗工具全景指南：从入门到进阶的实操路径 在数据驱动决策的链条中，“数据清洗” 是决定后续分析与建模有效性的 “第一道关卡”—— 据 Gartner 统计，数据分析师约 60% 的时间消耗在清洗脏数据（如缺失值、异 ...

【CDA干货】基于经纬度数据生成城市医疗机构分布热力图的方法与实践

2025-08-07

基于经纬度数据生成城市医疗机构分布热力图的方法与实践 在城市规划、公共卫生管理和医疗资源优化等领域，直观展示医疗机构的空间分布特征具有重要意义。热力图作为一种通过颜色梯度反映地理要素密度的可视化工具， ...

企业名称：南京融逸晟科技有限公司 招聘岗位：大数据运维工程师 1-1.5万（数据分析师岗位招聘信息）

2025-07-17

南京融逸晟科技有限公司 大数据运维工程师       1-1.5万 广州市白云区白云大厦 【工作内容】 - 负责公司大数据平台的日常运维与监控，确保系统稳定运行； - 参与大数据 ...

Spark SQL 结构化数据处理流程及原理是什么？

2025-01-09

SparkSQL 结构化数据处理流程及原理是什么？Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODBC 连接到现有的 BI 工具。有了 Spark SQL，用户可以编写 SQL 风格的查询。 ...

怎样安装和配置hadoop

2024-12-06

在当今数据驱动的世界中，处理大数据变得至关重要。Hadoop作为一个强大的工具，在处理海量数据方面表现突出。本文将带您深入了解如何在Ubuntu或其他Linux系统上安装和配置Hadoop，让您进入大数据处理的世界。 Hadoop ...

hadoop的工作原理解析

2024-12-06

在当今信息爆炸的时代，处理大规模数据集变得至关重要。Hadoop作为一个开源的分布式计算框架，在大数据处理领域发挥着重要作用。本文将深入探讨Hadoop的核心工作原理，主要围绕Hadoop分布式文件系统（HDFS）和MapRed ...

数据分析相关的数学知识

2024-12-02

在今天的数字化时代，数据扮演着至关重要的角色。对于数据分析师而言，熟练掌握各种数据可视化技术至关重要。通过恰到好处的数据呈现和分析，数据分析师能够为企业决策提供有力支持。让我们一起深入探讨数据分析中必 ...