51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
AI课堂
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程AI课堂软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9498内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9498 条
深入剖析 Iceberg 事务机制
Iceberg 通过创新的元数据管理和快照机制，实现了完整的 ACID 事务保证，为数据湖提供了与传统数据库相媲美的事务能力。

2025-12-10 06:05:00

Iceberg数据湖大数据
深入剖析 Paimon 事务机制
与传统的数据湖方案相比，Paimon 最大的创新之一就是提供了完整的 ACID 事务保证，使得数据湖也能像数据库一样支持可靠的事务操作。

2025-12-09 06:20:00

Paimon数据湖数据库
Flink CDC 从 1.x 到 3.x 的演进之路
本文将系统性地剖析 Flink CDC 在 1.x、2.x 和 3.x 三个主要版本中的工作原理、核心架构及关键特性演进。

2025-12-08 06:45:00

大数据Flink CDC
构建知识闭环：用 CodeBuddy 打造自我进化的数据分析体系
知识闭环的价值： 这套体系最大的价值在于形成了正向循环。每次数据分析任务都在为知识库添砖加瓦，知识库越丰富，AI生成的代码就越准确，团队效率就越高。

2025-12-08 06:10:00

数据分析CodeBuddyAI
Flink 2.2.0 正式发布，核心亮点都在这里了
Flink 2.2.0 的核心目标是深度融合实时数据处理与人工智能能力，为构建低延迟、高智能的数据管道提供强大支撑。

2025-12-05 11:00:00

Flink数据处理人工智能
用一份“豪车购买预测数据”，带你玩转 Pandas
今天，我们不讲枯燥理论，而是借助一份 真实案例数据——豪华汽车购买预测，带你从基础到建模一站式掌握 Pandas的常用操作与实战思维。

2025-12-05 10:20:00

Pandas数据分析
阿里面试：Redis 是单线程的，为什么那么快？
Redis 的“单线程”不是技术落后，而是在其特定场景下的最优解——用最简单的方式，实现最高的性能和可靠性。​

2025-12-05 09:33:40

Redis单线程大数据
Pandas 实用的十个数据处理方法
本文将深入介绍Pandas中最常用且最具价值的十个经典操作，结合实战案例和性能优化建议，帮助你从数据处理新手进阶为高手。

2025-12-05 08:48:49

Pandas数据处理Python
Pandas 新手封神指南：十个必学技巧，轻松搞定 Excel 搞不定的数据分析
Pandas的核心就是“用最简单的代码做最复杂的数据处理”，新手不用死记硬背，先掌握这10个技巧，遇到实际问题时对照场景找代码，很快就能上手。

2025-12-05 06:00:00

PandasExcelPython
一文讲透 Flink 背压机制
背压机制是Flink提供高可靠性流处理的基础。理解和掌握背压机制，能够帮助我们构建更加稳定、高效的实时数据处理系统。​

2025-12-04 09:14:06

Flink背压机制
Python 循环语句进阶：五个让你告别低效循环的高级技巧
​今天要和大家分享的是 Python 循环语句进阶，这些在日常数据分析中是非常实用的技巧。

2025-12-03 09:30:19

Python循环语句数据分析
一文讲透 Flink Checkpoint 全生命周期
Checkpoint 机制不仅仅是简单的状态备份，它是一个精心设计的分布式快照算法的实现，基于 Chandy-Lamport 算法的变体。

2025-12-03 08:59:00

CheckpointFlink算法
Apache Paimon 1.3 核心亮点总结
Apache Paimon 1.3 版本经过三个多月的开发，汇集了 500 多项代码提交，带来了一系列面向现代数据湖和 AI 应用场景的关键能力提升，主要体现在以下五个方面。

2025-12-03 06:45:00

数据湖大数据
Flink Delta Join 彻底解决状态膨胀问题
Delta Join 使得原本因状态爆炸而不可行的复杂实时 Join 场景变得可落地，显著拓展了 Flink 在超大规模实时数仓、风控、营销等领域的应用能力。​

2025-12-02 06:00:00

Delta JoinFlink大数据
油气行业高质量数据集落地建设路径思考 原创 精选
在油气行业，数据质量问题不是“可选项”，而是生存底线。本文结合最新实践，提出一条适配油气行业特性的高质量数据集建设路径——它必须尊重工程现实，承认沉默成本，并以“信任重构”为核心目标。

2025-11-28 10:19:32

油气行业数据集数字化
年度经营计划&预算怎么做？全面攻略来了！
经营分析里最重要，也最让人头大的部分，莫过于制定经营计划。制定经营计划→为业务设定目标→制定财务预算，经常是一体化工作，需要前前后后忙活一两个月，期间充满了瞎拍脑袋、相互扯皮、改来改去，让人充满挫败感。到底合理的经营计划该怎么定？又该如何破解难题呢？今天系统跟大家分享一下。

2025-11-27 03:00:00

年度经营计划预算逻辑搭架构
Flink Slot、算子和算子链的关系，这篇文章彻底给讲清楚了
今天我们聊聊 Apache Flink 中 Slot、算子（Operator） 和 算子链（Operator Chain） 这三个概念之间的关系和区别是怎么样的。

2025-11-26 07:15:00

Slot算子链大数据
Flink SQL 语法和 Flink Streaming API 函数的对应关系是怎么样的？
理解 Apache Flink 的SQL 和 Streaming API的对应关系，能让你在调试性能、排查问题或混合使用两种 API 时更加得心应手。​

2025-11-25 08:40:48

Flink SQLFlink大数据
Flink 内存模型原来是这样设计的，涨姿势了
Flink 的内存模型就是一套对 JobManager和TaskManager 进程内存进行结构化划分和管理的机制。

2025-11-24 09:01:03

Flink内存模型
不是数据越多越好，而是数据质量越高越强：构建企业高质量数据集的五大认知革命 原创 精选
本文基于真实企业实践与数据治理框架，系统提出构建高质量数据集的五大认知革命：从“数据量优先”转向“关键数据可信”、从“IT主导”转向“业务主责”、从“事后清洗”转向“流程嵌入”、从“追求完美”转向“场景化阈值”、从“工具依赖”转向“文化驱动”。

2025-11-24 09:00:00

数据治理数据集大数据
Flink 水位线到底有什么作用，只有窗口计算场景下才会用到它吗？
水位线不是数据，而是 Flink 用来判断“事件时间走到哪了”的进度条；它决定了什么时候可以安全地做计算，而不仅仅是关窗口。​

2025-11-24 06:00:00

Flink水位线大数据
学习 Kafka ，只需要关注这十点就可以了
本文我会按照由浅入深的顺序，把学习 Kafka 需要掌握的核心概念和关键点讲清楚，尽量避免技术黑话，让你即使没接触过也能理解。

2025-11-21 09:00:13

Kafka大数据
定义2026年的八大数据趋势
到2026年，AI的迅猛发展将彻底改写企业的数据战略，从数据的获取、处理方式，到其合规要求和基础设施布局，都将进入全新阶段。智能体将成为企业运营的核心力量，它们需要高质量、可访问、结构化的“可用数据”。

2025-11-21 07:20:00

大数据智能体AI
Apache Paimon 核心配置参数详解（七）
Apache Paimon 是一种流式数据湖存储技术，以下参数提供了对其功能的精细控制，分为四大类别：增量读取、文件索引和缓冲、Lookup压缩以及Lookup缓存。

2025-11-20 09:00:11

数据湖大数据Apache
数据要素化时代，数据治理要这么做
在数据要素化时代，以数据治理为基础，构建组织数据资产管理体系，提供可用、好用的数据，支撑组织业务流程改造、产品创新、风险防控，不断提升组织数据能力，挖掘组织数据资产价值，已经成为组织数字化转型的必由之路。

2025-11-20 08:24:27

数据要素数据治理元数据
Apache Paimon 核心配置参数详解（六）
本文将详细介绍Paimon的关键参数，并提供相应的SQL配置示例，帮助您更好地理解和应用这些参数。

2025-11-20 06:05:00

PaimonSQL大数据
Apache Paimon 核心配置参数详解（五）
本文将详细介绍Paimon的关键参数，并提供相应的SQL配置示例，帮助您更好地理解和应用这些参数。

2025-11-19 09:14:59

Paimon大数据
高管必须了解哪些内容才能构建数据和人工智能驱动型组织
领导者应该专注于识别并克服阻碍利用数据、分析和人工智能创造价值的障碍。当这些障碍得到解决时，企业利用数据取得成功的几率就会提高——而适宜的数据文化也会随之形成，从而形成良性循环，积极增强整体数据价值的创造。

2025-11-18 08:00:00

人工智能大数据数据治理
一文读懂大数据时代的数据格式特征：CSV、JSON、Parquet、Avro、ORC
在我看来，根据项目需求选择合适的数据格式是大数据时代最关键的决策之一。在本文中，我将解释这些格式的特性、优势和劣势，并讨论哪种格式最适合特定场景。

2025-11-18 07:00:00

大数据数据格式
Flink 的 RocksDB 状态后端在 vivo 的实践
本文简要介绍了特征拼接在实时推荐中的重要作用，并讲述了vivo实时推荐系统中特征拼接模块的架构演进过程以及采用现有的“基于RocksDB的大状态解决方案”的原因，重点叙述了该方案所遇到的一系列问题。

2025-11-18 05:00:00

FlinkRocksDBvivo
百分点科技发布业内首个数据治理大模型，开启“智理”新范式
2025年11月16日，在“2025第四届数据治理年会”主论坛上，国内领先的数据智能企业百分点科技正式发布百思数据治理大模型（BS-LM）与百思数据治理平台（AI-DG）。

2025-11-17 10:51:05

百分点数据治理大模型数据治理
Seatunnel 是如何将数据行中的元数据信息提取并转换为普通字段的？
Metadata 转换插件用于将数据行中的元数据信息提取并转换为普通字段，方便后续处理和分析。

2025-11-13 09:43:51

Metadata转换插件大数据
成功的数据与人工智能战略是什么样的
对于任何战略数据管理领导者而言，首要步骤之一便是制定数据和人工智能战略。该战略必须以事实为依据，解决用户面临的实际挑战，并使用高管、股东和一线数据工作者都能理解的语言。

2025-11-12 11:15:46

人工智能大数据数据治理
Apache Paimon 核心配置参数详解（四）
本文将深入解析 Paimon 中七个关键的压缩参数，帮助您理解其工作机制并进行性能调优。

2025-11-11 09:41:20

压缩参数Paimon大数据
如何让你的数据为人工智能做好准备
智能体人工智能正在颠覆大数据范式，它要求我们主动将数据引入专门的智能计算平台，而不是反过来。这种转变从根本上改变了我们对数据建模和存储的固有认知，因为低级机器学习（LLM）能够利用远小于传统机器学习的数据集进行上下文学习。

2025-11-11 09:12:41

人工智能智能体大数据
用 Python 制作炫酷的数据可视化：从散点图到交互式图表
Python有多个可视化库，从基础的Matplotlib到高级的Plotly，本文将手把手教你用这些工具创建专业的数据可视化。

2025-11-10 07:05:00

Python数据可视化数据
做数据十年，终于见到能落地的“经营分析思路”
“做经营分析不要光堆数据，要有洞察，要能找到业绩增长机会”。这是很多公司的要求，然而却让同学们犯难：到底该怎么弄？怎么就从数字里看到机会呢？

2025-11-04 08:10:43

数据经营分析ROI
Apache Paimon 核心配置参数详解（三）
本文将详细解析 Paimon 中的集群配置参数和提交配置参数，帮助用户更好地理解和应用这些参数。

2025-11-03 09:18:35

Paimon集群大数据
Flink Checkpoint 完整过程技术解析（附源码）
本文的目标读者是希望深入理解 Flink 内部机制的数据平台工程师、流计算架构师及技术负责人。

2025-10-31 07:25:00

Flink数据大数据
腾讯面试：Flink 与 Spark 容错机制有什么区别？
本文将从分布式容错的基础理论出发，深入剖析Flink基于Chandy-Lamport分布式快照的流处理容错机制，以及Spark基于RDD Lineage的批处理容错机制，并扩展至Spark Streaming的微批容错和Structured Streaming的流处理容错演进

2025-10-29 07:00:00

FlinkSpark大数据
现代数据建模：推动人工智能驱动型企业的革命
现代数据建模并非要取代以往的数据模型，而是要提升它。它尊重结构和逻辑的原则，并赋予其协作、智能和意义。它是架构与同理心的交汇，也是数据的未来将更加人性化的地方。

2025-10-23 10:09:57

数据建模人工智能数据架构
利用AI全方位优化数据分析工作流的实战技巧
在数据量爆炸式增长的时代，企业掌握的海量信息中有高达73%未被利用。传统分析模式在数据孤岛与复杂性面前节节败退，而AI正在改写这一局面。

2025-10-23 07:23:00

数据分析AI数据孤岛
数据架构中最昂贵的错误：混淆运行成本与总拥有成本（TCO）
在签署新的数据平台合同或续签合同之前，不要只追求最低的运行成本——要考虑总拥有成本。问问它如何影响互操作性、人力投入、灵活性和长期变化。因为在数据世界中，启动成本低往往意味着维持成本高昂。

2025-10-21 10:19:28

数据架构大数据
数据战略终极指南：框架、最佳实践和示例极指南
数据战略是指导组织如何收集、管理和使用数据，从而做出明智决策、提高效率并保持合规性的计划。本指南将解释什么是数据战略、它为何重要以及它带来的主要优势。

2025-10-20 08:28:48

数据战略数据治理大数据
Apache Paimon 核心配置参数详解（二）
本文将围绕 Bucket 相关参数、缓存相关参数、Changelog 文件相关参数、Changelog Producer 相关参数 和 Changelog 保留策略参数 五大类，详细解析每个参数的作用、配置方法及适用场景，帮助用户深入理解并优化 Paimon 表的运行行为。

2025-10-17 11:30:00

Paimon大数据数据湖
Vue3 新趋势：弃用 ECharts！最强图表库诞生！
随着 Vue3 的不断发展，一款全新的全能图标库 Vue Data UI 逐渐崭露头角，它凭借着诸多优势，有望成为新的数据可视化利器，甚至有取代传统图表库的趋势。

2025-10-17 09:28:21

开发前端图表库
Apache Paimon 核心配置参数详解（一）
本文将详细解读 Paimon 中五个核心配置参数的作用机制、适用场景及最佳实践，帮助开发者充分发挥 Paimon 的潜力。

2025-10-17 08:46:54

数据湖Paimon
从入门到精通：Python 可视化实战，这一篇就够了（含完整代码）
本文将介绍如何使用 Python 创建精美的数据可视化图案，并通过一个完整案例展示其强大功能。

2025-10-17 07:05:00

Python数据可视化数据科学
vivo HDFS EC 大规模落地实践
vivo目前HDFS集群节点达万台级别，数据规模接近EB级别，并且业务数据规模还在以较高速度持续增长中。在推进压缩算法缓解存储压力的同时，EC编码的推进也是存储降本的一大有力手段。

2025-10-16 09:14:48

vivo纠删码EC编码
一条 SparkSQL 可歌可泣的一生
本文将带领读者踏上一段深入 Spark 内核的旅程，详细剖析一条 Spark SQL 语句从被提交到最终执行结束所经历的每一个关键阶段。

2025-10-16 07:05:00

SparkSQLSpark 内核
上一页 1 23456 ··· 190
点赞

51CTO技术栈公众号

业务
速览
在线客服