51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
AI课堂
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程AI课堂软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9498内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9498 条
如何利用数据合约构建高质量的数据湖
数据湖应该是一个纯净的信息库，供各个团队探索和转换。然而，在实践中，许多数据湖却变成了数据沼泽，充斥着浑浊、混乱的数据，难以查找或信任。其根本原因往往在于数据治理不善、缺乏元数据以及缺乏标准的无序数据增长。

2026-01-12 10:00:00

数据合约数据湖大数据
利用数据产品市场模式提升数据应用率
数据产品市场的真正优势在于减少冗余。当每个产品都经过一次精心设计，并明确其用途和治理结构时，系统自然会剔除重复数据。计算成本降低，数据管道简化，数据创建也与实际需求保持一致。这并非简单的清理工作，而是从囤积数据到合理利用数据的文化转变。

2026-01-12 09:30:00

数据产品数据应用率大数据
Pandas 清洗数据太繁琐？pyjanitor 让代码精简一半，新手也能写优雅流程
今天给新手小白安利一款「Pandas增强包」——pyjanitor！它就像Pandas的“清洗小助手”，把常见的数据清洗操作做成了直观的动词方法，支持链式调用，不用写中间变量，流程清晰又简洁，新手五分钟就能上手。

2026-01-08 12:00:00

Pandas增强包Pandaspyjanitor
Cloudera & Hadoop 的十年浮沉：一场被高估的大数据革命
Hadoop 最初的核心价值是 以低成本存储海量非结构化数据（HDFS）。但很快，企业将其等同于“数据价值中枢”。于是，日志、点击流、传感器数据、邮件、文档……一切可抓取的数据都被灌入 Hadoop 集群，美其名曰“建设数据湖”。

2026-01-05 02:25:00

ClouderaHadoop大数据
数据质量决定AI命运
2025年，AI智能体和高质量数据集建设的双重推进，将把人工智能带入一个新的发展阶段。这个阶段的特征是数据质量成为决定性因素，技术创新与数据资源同等重要。

2026-01-04 08:27:14

数据质量大数据AI
数据分析师的尴尬：为什么你的BI报表没人看？
数据分析师的价值，不是会用什么工具，而是能基于干净的数据，给出有价值的商业洞察。而要实现这一点，从数据治理开始，这是一条绕不过去的路。

2025-12-31 01:00:00

数据分析师BI报表大数据
阿里面试：讲讲 Flink CEP 复杂事件处理引擎的工作机制，它的应用场景是怎么样的？
与传统的基于规则的事件处理系统相比，Flink CEP 提供了更灵活、更高效的模式定义语言和匹配引擎，同时充分利用了 Flink 的分布式计算能力和容错机制，确保在大规模生产环境中的稳定运行。

2025-12-30 09:19:00

Flink CEP大数据
阿里面试：讲讲 Flink State 是怎么存储的，文件目录是怎么组织的？
Flink 的 State 和 Checkpoint 机制为流式计算提供了强大的容错保障和精确一次语义支持。

2025-12-29 06:25:00

Flink容错大数据
阿里面试：讲讲 Flink KeyGroup 机制，Flink 的状态分配与扩缩容的原理是怎么样的？
本文将深入剖析 KeyGroup 的工作原理，并通过详细的示意图帮助读者建立直观的理解。

2025-12-26 10:12:13

KeyGroup大数据Flink
告别繁琐的 Ctrl+C/V：Python 办公自动化实战指南
Python 办公自动化，本质上不是一种技术，而是一种思维方式。它教会我们：遇到重复、机械、枯燥的事情，先停下来，想一想，是不是可以交给机器去做？

2025-12-26 09:38:12

Python办公自动化Excel
数据治理框架：贯穿人员、流程和技术的三重要素
什么构成不良数据？治理框架的重点领域是什么？以及如何在大型组织中驾驭人员、流程和技术方面的细微差别？

2025-12-26 08:26:08

数据治理脏数据大数据
现代数据仓库的崛起：八个时代的二十年历程
企业如何从手工构建的销售报告发展到拥有数千消费者的PB级多租户平台以及未来十年将如何发展。

2025-12-25 10:52:06

数据仓库数据湖大数据
一文讲透冷热分层、存算分离与存算一体
冷热分层、存算分离和存算一体代表了大数据架构演进的不同阶段和不同侧面。没有一种架构是万能的，关键是根据业务特点、数据特征、成本预算和性能要求做出合理选择。

2025-12-25 09:11:50

大数据冷热分层存算分离
Paimon Tag 机制允许用户为数据的特定版本创建持久化的标记点
Tag 本质上是对特定快照（Snapshot）的命名引用，它允许用户为数据的特定版本创建持久化的标记点，从而实现数据版本管理、时间旅行查询和数据保护等核心功能。

2025-12-25 06:00:00

Paimon Tag大数据数据湖
Doris 优化器 CBO 与 RBO 有什么区别？它们是怎么协同工作的？
Doris 的查询优化器通过 RBO 和 CBO 的深度结合，实现了高效、智能的查询优化。

2025-12-24 10:00:00

Doris查询优化器大数据
流式计算领域新霸主 Flink 的那些事儿
Flink主要包括DataStream API、DataSet API、Table API、SQL、Graph API和FlinkML等。现在Flink也有自己的生态圈，涉及离线数据处理、实时数据处理、SQL操作、图计算和机器学习库等。

2025-12-24 09:33:45

Flink流式计算大数据
中国数据治理与西方国家模式的不同点
中国的数据要素倡议代表了一种国际人工智能从业者不容忽视的数据治理新架构。该框架通过与西方模式截然不同的机制，解决了实际的协调难题——打破数据孤岛、促进跨组织协作、建立定价机制。

2025-12-24 09:31:42

数据治理大数据人工智能
Numpy 应知应会 30 招
本文将剥离细枝末节，聚焦于那 20% 最常用、却能覆盖主要数据分析数据处理场景的30个核心 API。

2025-12-24 09:19:54

Numpy数据分析Python
阿里面试：Flink 中 TaskManager 架构、内存管理与任务执行机制是怎么样的？
TaskManager 作为 Flink 的工作引擎，其设计体现了分布式计算的核心理念：资源隔离、并行执行、高效通信。

2025-12-24 06:00:00

Flink大数据分布式计算
Doris 中 FE 与 BE 各自的职能是什么？它们之间是如何协同工作的？
Apache Doris 的 FE 和 BE 架构体现了分布式系统设计的经典智慧：通过职责分离实现模块化，通过副本机制保障高可用，通过并行执行提升性能。

2025-12-23 10:05:00

大数据Doris数据仓库
别再用 Excel “苦哈哈”搬砖了！Pandas 这十个“骚操作”，让你的 Python 数据分析效率原地起飞！
这个能让你在数据世界里“飞檐走壁”的神器，就是Python数据分析界的“瑞士军刀”——Pandas！

2025-12-23 10:00:00

PandasPython数据分析
不要总是为数据治理失败找借口
数据治理被普遍认为是人工智能经济的基石，然而，旨在保护和优化这一资产的项目却以惊人的速度失败。行业分析表明，到2027年，约80%的数据和分析治理举措将无法实现其既定目标，这通常是由于各种挑战，特别是组织协调方面的困难。

2025-12-23 09:50:56

数据治理大数据人工智能
Python 数据可视化：打造精美图表的完整指南
精美的数据可视化是技术与艺术的完美结合。通过掌握本文介绍的技术、原则和最佳实践，你将能够创造出不仅信息丰富，而且视觉震撼的图表作品。

2025-12-23 06:30:00

数据可视化Python
阿里面试：Flink 中 JobManager 的工作机制是什么？
JobManager 作为 Flink 集群的控制中心，其设计体现了分布式系统的经典架构模式。

2025-12-23 06:25:00

JobManagerFlink大数据
可信数据空间：技术架构与建设路径 原创 精选
本文旨在深入剖析可信数据空间的核心理念、关键技术架构，并提出一套系统化、分阶段的建设路径，为各行业组织构建和应用可信数据空间提供理论参考与实践指引。

2025-12-22 10:24:01

可信数据空间数据基础设施大数据
Python 数据清洗教科书：40 个 Pandas 技巧解决 90% 的脏数据
本文从实战角度出发，将40个最常用的高频方法划分为 IO 操作、数据预览、数据清洗、筛选索引、高级变换、统计聚合、数据合并、时间序列 八大核心模块，带你构建完整的数据处理知识体系。

2025-12-19 10:28:56

Python数据清洗Pandas
关于工业数据的五个特点
工业数据杂乱无章、难以捉摸，而且充满变数。但也正因如此，这项工作才如此引人入胜。技术问题固然存在，但大多数时候，其根源在于人为因素——习惯、捷径，或者仅仅是墨守成规。如果你想让工厂更智能、更互联，那就从倾听、实地考察和质疑自己的假设开始。

2025-12-19 09:08:59

工业数据数据质量大数据
Paimon 分支功能使得数据湖从"单一时间线"走向"多时间线并行"
Paimon 的分支功能为数据湖带来了革命性的版本管理能力，它不仅解决了数据回填、特性测试等传统难题，更为流批一体架构提供了优雅的实现方案。

2025-12-18 09:19:40

数据湖Paimon大数据
转转大数据与AI——数据治理安全打标实践
安全打标也是数据治理的一个环节，为了满足安全管控，合规使用，权限隔离需要对每一张表和字段合理打上标记，它也是属于数据治理两大体系中的分析体系治理中的一个重要环节。

2025-12-18 02:10:00

大数据AI安全打标
数据领导力系列：为什么大多数首席数据与分析官（CDAO）角色都注定失败
数据和分析领域的领导角色正在快速演变，但组织结构和思维模式却未能跟上步伐。尤其是在人工智能成为热门话题的当下，我们更需要从根本上重新思考这一角色的运作方式以及成功的定义。

2025-12-17 10:13:48

数据治理首席数据与分析官人工智能官
从业务系统到数据智能：数据分析系统的完整演进
展望2025年，发展趋势清晰可见：数据系统正从需要专业知识的工具演变为能够理解意图并适应需求的平台。下一代OLAP系统不仅能更快地执行查询，还能理解您应该提出的问题。

2025-12-17 09:41:14

数据治理数据智能数据架构
Seatunnel 是如何做到断点续传的
本文将深入解析 SeaTunnel 的断点续传机制，从架构设计、核心组件、实现流程到实际应用，全面阐述其工作原理。

2025-12-17 06:20:00

Seatunnel大数据数据
美团面试：Paimon LSM-Tree 分层机制是怎么样的？
Paimon 文件系统不仅支持高吞吐量的数据写入，还能保证数据的强一致性和事务特性，这使其成为构建实时数据湖的理想选择。

2025-12-16 09:52:51

Paimon数据湖
如何规划企业数据湖以成功实现数据价值
在本文中，我们将探讨数据湖的定义、构建数据湖对企业成功的重要性，以及如何有效地设计数据湖。您还将了解到最佳实践、需要避免的常见陷阱，以及领先企业如何将数据湖转化为创新和竞争优势引擎的真实案例。

2025-12-16 09:49:21

数据湖大数据
AI时代的数据安全困局，怎么破？
在AI浪潮席卷而来的今天，数据就是企业的血液，数据安全就是企业的免疫力。免疫力强的企业才能在激烈的竞争中存活下来，免疫力弱的，往往一击即溃。

2025-12-15 09:04:52

数据安全大数据AI
为什么看似完美的HTAP，始终不如OLTP+OLAP分离架构
HTAP这个概念，从2018年火到现在，每年都被称为元年，每家数据库厂商都声称自己支持HTAP。但现实很残酷——绝大多数企业依然固执地使用着古老的OLTP+OLAP分离架构。 到底发生了什么？为什么看似完美的HTAP，始终得不到企业的青睐？

2025-12-15 08:26:25

HTAP数据库大数据
公司新来的老哥把 Spark 架构讲的真透彻
本文将深入剖析Spark的核心架构、组件设计以及执行机制，帮助读者全面理解这一强大的分布式计算引擎的架构精髓。

2025-12-15 06:25:00

Spark大数据
Flink 与 Kafka 参数配置与性能优化实战指南
本文将从架构设计、参数配置、检查点机制到监控调优，全方位解析 Flink 与 Kafka 的深度整合实战方案。

2025-12-12 10:09:32

FlinkKafka大数据
Pandas 数据索引机制深度解析：从 iloc/loc到iat/at 的优秀实践
Pandas 提供了多种数据访问接口（Accessors），其中iloc、loc、iat和at是最基础也最关键的四种方式。本文将从索引原理和数据维度两个维度，系统性地解析这四种方法的逻辑与应用策略。

2025-12-12 09:52:45

Pandas数据索引数据分析
Paimon 合并引擎与 Changelog Producer 最优搭配指南
合并引擎决定了当多条记录具有相同主键时的处理策略,而 Changelog Producer 则负责生成描述数据变化的详细日志。本文将深入剖析这两大核心机制,帮助您在实际项目中做出最佳选择。

2025-12-12 08:53:23

Paimon数据湖合并引擎
2026年数据智能化的底层逻辑
2026年的数据革命不是技术革命，而是思维革命。不要再把数据当作要处理的材料，而是要把数据当作要培养的伙伴。不要再想着如何控制数据，而是要想如何与数据协作。

2025-12-11 09:08:20

数字化大数据人工智能
vivo Celeborn PB级Shuffle优化处理实践
本文将分享vivo在Celeborn实际应用过程中对遇到问题的分析和解决方案，用于帮助读者对相似问题进行参考。

2025-12-11 08:49:14

vivo大数据
同样是检索，为啥 ES 干不过 Milvus？专家拆解核心差异
说实话，看到你拿 Elasticsearch 和 Milvus 比向量检索，拿 10MB 数据压测把 CPU 跑满，我第一反应不是 ES 性能差，而是你的用法姿势可能有点野。

2025-12-11 07:35:21

Milvus向量检索数据
存储成本节省54%！货拉拉大数据存储架构演进与跨云生产实践
货拉拉成立于2013年，是一家互联网物流商城，提供同城与跨城的货运服务。货拉拉目前拥有八条以上业务线（企业服务、零担物流、长途运输、汽车租赁等），覆盖14个全球市场及400多个城市；年订单量超7.79亿，月活跃商户1400万+，月活跃司机120万+；并在全球运营6个以上数据中心。

2025-12-11 07:32:45

存储成本存储架构大数据
一文吃透正态分布！从考试成绩到 Python 实操，新手也能直接上手
正态分布是统计学的“基石”，从数据分析到机器学习都离不开它。今天用生活化案例+手把手Python代码，帮新手小白彻底搞懂正态分布：是什么、怎么用、什么时候用。

2025-12-11 06:00:00

数据分析正态分布Python
深入剖析 Hudi 事务机制
Apache Hudi的事务机制通过时间轴、MVCC和灵活的并发控制策略，在分布式文件系统之上实现了完整的ACID保证。

2025-12-10 09:30:34

Hudi事务机制大数据
数据领导力系列：数据平台平衡之道是规模、敏捷性和实际业务影响
十多年来，我们与全球团队合作构建数据平台，始终有一个真理：平台成功的关键在于平衡。这不仅体现在技术层面，还体现在基础设施与成果、集中控制与团队自主性、强大功能与简洁易用性之间。

2025-12-10 09:13:01

大数据数据治理
崩溃！日期格式五花八门怎么破？Python 时间处理最全指南
今天，我们不谈虚的，直接把 Python 处理时间数据的底层逻辑、神级库以及高性能处理方案一次性讲透。

2025-12-10 09:11:30

Python时间处理Excel
如何接手一个数据团队？ 原创
又快到年底了， 一个好友换了一份新的工作，负责数据团队。和他聊了很多，收获满满。经他同意， 将我们讨论的内容整理成文，希望对更多的朋友有所帮助。当许多数据工程师、分析师和科学家被推到数据团队负责人或主管的岗位时，并没有得到太多的指导或建议。因此，这里想整理一份清单，列出要成为数据团队的领导者，你需要知道和做的事情。

2025-12-10 08:54:37

数据ODS数据仓库
Python 正则表达式：文本处理的终极武器与实战指南
今天要和大家分享的是 “正则表达式介绍及应用”，这是一个在 “文本数据分析” 中非常实用的 方法。

2025-12-10 06:25:00

数据分析Python正则表达式
上一页 1 23456 ··· 190
点赞

51CTO技术栈公众号

业务
速览
在线客服