鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程 AI课堂软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9498内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9498 条

世界数据组织在北京成立：开启全球数字治理新纪元原创精选

世界数据组织在2026年3月30日于北京正式宣告成立。这不仅是中国积极参与并引领全球数字治理体系变革的里程碑，更是国际社会为构建一个开放、公平、安全、普惠的全球数据空间所迈出的关键一步。

2026-03-31 10:53:04

世界数据组织数字治理大数据

Kafka 太重？试试 NSQ：一个优雅到极致的消息队列

通过本文，我们不仅深入了解了 NSQ 的架构、核心概念、优缺点，还与其他主流消息队列做了对比，并通过 Docker 快速搭建了一套可用的开发环境，最后给出了完整的 Go 代码示例。

2026-03-31 08:48:57

NSQ 消息队列开源

访问者模式：可以在不改变类的前提下给它加功能？访问者模式太神奇了！

访问者模式让你把“数据结构”（商品）和“操作”（生成报表）分离开。你不需要修改商品类，只需要写一个新的“访问者”，然后让商品“接受”这个访问者即可。

2026-03-23 10:00:00

访问者模式数据结构开发

迭代器模式：处理大数据集合的利器，如何用迭代器避免内存溢出？

迭代器模式 (Iterator Pattern) 提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象的内部表示。

2026-03-16 09:36:59

迭代器模式大数据迭代器

Pandas 性能优化的 20 个实战技巧

本文整理了 20 个经过实测的 Pandas 性能优化技巧，从内存压缩到向量化运算，帮你把数据处理速度提升 10～100 倍。

2026-03-10 09:47:27

Pandas 数据处理内存

Python 时间序列分析与预测：从统计模型到深度学习

本文从时序数据的基础分析到 ARIMA、Prophet、LSTM 等主流预测方法，带你系统掌握时间序列全链路。

2026-03-09 09:11:59

时间序列预测数据分析 Python

数据治理工程化与运营化：从单一工具向可持续、可度量体系转变原创精选

强化业务赋能，构建可信、自动、增值的数据未来

2026-03-09 09:00:00

数据治理数据治理工程化大数据

Python 处理 Excel 的正确姿势，会这四个操作就够了

用Python处理Excel，3小时的工作量3秒就能搞定。今天小甲鱼就手把手教你，用Python实现Excel自动化处理，让你准时下班！

2026-03-09 06:25:00

Python Excel 数据分析

Fluss 0.9 正式发布，核心亮点都在这里了

作为面向实时分析、AI 及重状态流处理的流式存储系统，Fluss 0.9 在数据模型、存储层处理、生产运维及生态集成等方面带来了显著增强，为构建统一的流处理与湖仓架构提供了更强大的基础能力。

2026-03-05 05:25:00

大数据 AI 湖仓架构

NumPy 常用的 25 个经典操作

本文整理了 25 个最常用的 NumPy 操作，配合代码示例，基本覆盖了数据分析和科学计算中的日常需求，适合收藏查阅。

2026-03-05 05:00:00

NumPy Python 数据分析

别再推销模型了！数据科学换个“生意经”，才能从成本中心变身利润中心

2020年的疫情暴发暴露出企业“决策可见性”危机，本文作者在三周内交付高管级实时仪表板，证明数据科学的价值不在技术复杂度，而在能否支撑关键决策。

2026-03-02 07:06:00

数据科学企业大数据

告别加班！五分钟 Python 脚本，解决数据分析 90% 的重复劳动

今天我将分享五个实战脚本,每个都是我在工作中反复打磨的"效率神器"。学会这些,你每天至少能省出2小时,准点下班不再是梦!

2026-02-28 05:05:00

脚本 Python 数据分析

阿里一面：讲讲 Paimon 中快照隔离级别与并发控制的原理，有没有实际案例？

快照隔离级别与并发控制是 Apache Paimon 保证数据一致性的核心机制。通过快照隔离实现了读写分离和多版本并发控制，通过快照 ID 预占和冲突检测机制处理并发写入。

2026-02-27 05:15:00

大数据 Paimon 快照隔离级别

划重点！人货场模型的三大场景+12种应用思路

设想一个最简单的场景：顾客站在柜台前，说“我想要个电风扇”。此时顾客成交意愿非常高，且已经占到我们面前。作为导购要确认的，就是：到底他要啥样的电风扇。这就是：导购型匹配。

2026-02-27 00:22:00

人货场模型场景导购型匹配

企业如何将基础数据转化为高质量数据集：从数据沼泽到价值金矿的实践路径原创精选

将这些基础数据转化为可信、可用、可分析的高质量数据集，是企业实现数据驱动决策、智能化运营和业务创新的基石。本文将深度剖析企业完成这一转化的系统性方法、核心步骤与关键挑战。

2026-02-13 09:00:00

数据沼泽数据集大数据

BSave - 数据切面工程在字节的大规模实践

数据切面工程，是我们团队在字节跳动内规模化落地 BSave 后总结出的理念，其核心思想是在数据存储的边界引入对业务透明的操作层，将原本需要业务关注的通用数据操作，转移到一系列透明操作层中。这篇文章的目的，在于为其它团队的研发提效、数据治理、合规建设提供新的思路，分享我们在数据切面工程的经验以及技术细节。

2026-02-11 10:44:55

BSave 数据切面工程数据治理

Seata 的 TCC 模式才是强一致性的最优解！！架构师必知

本文来对比Seata的AT模式和TCC模式，结合以上流程，看看是否存在非业务预期的中间状态的数据。

2026-02-10 10:00:00

数据一致性 Seata TCC模式

架构必知：大数据架构精讲（附架构图）

本文基于 5W2H 拆解大数据架构，让你轻松理解并掌握大数据架构的核心。

2026-02-10 06:20:00

大数据架构大数据数据湖

从数据成功到人工智能成功：极简人工智能治理

人工智能治理是指组织用来确保人工智能实例安全、公平且使用正确的一系列规则和检查措施。就数据成功而言，它确保人工智能使用优质、干净的数据，遵守法律法规和政策，并由人工对重要决策进行复核，也就是所谓的“人机协同设计”。

2026-02-05 09:20:50

数据治理大数据人工智能

谈谈用第一性原理思考数据治理问题

数据治理的核心在于关注真正对数据可信度和实用性至关重要的因素。第一性原理思维是找到这一核心的有效途径。通过质疑长期存在的假设，并将问题简化到最基本的层面，我们可以重新设计出更简洁高效的治理方法。我们不再盲目遵循传统或流行的框架，而是深入探究每个要素存在的意义，并剔除那些不再发挥作用的要素。

2026-02-04 10:55:58

数据治理大数据数据产品

SQL + 大数据双 buff！DuckDB 入门：Pandas 用户无缝切换，千万行数据直查

今天给大家推荐一款「Pandas 平替+SQL 神器」——DuckDB！它既能像 Pandas 一样灵活操作数据，又支持原生 SQL 查询，处理千万行数据秒级响应，关键是 Pandas 用户能无缝切换，不用重新学新语法。

2026-02-04 08:50:51

Pandas 大数据 Python

谈谈如何构建端到端的数据共享流程

数据共享已成为现代组织中最关键也最具风险的能力之一。几乎所有有意义的分析、人工智能或运营用例都依赖于跨团队、系统以及日益增多的组织边界的数据流动。

2026-02-04 08:08:28

数据共享数据治理大数据

实战：用 Polars+DuckDB 处理 1000 万行数据：从读取到分析，全程不卡顿教程

今天给大家带来一套“大数据处理组合拳”——Polars+DuckDB，一个擅长高速数据清洗转换，一个精通SQL式高效查询，搭配起来处理 1000 万行数据全程丝滑，新手也能轻松上手！

2026-02-04 05:20:00

数据清洗大数据 Polars

三大工具横评：Pandas/Polars/DuckDB 怎么选？不同数据规模最优解汇总

今天这篇文章，我们从核心定位、速度、语法、适用场景 4 个维度，结合不同数据规模，给新手小伙伴们一份“拿来就能用”的选择指南，再也不用在工具选型上纠结啦！

2026-02-03 05:25:00

Pandas Python 数据处理

Pandas 精通11：性能优化+避坑指南，大数据处理不卡顿

这篇「精通篇」就专门解决这个问题——既帮你避开新手最容易踩的性能坑，又教你几个“一键提速”的核心技巧，哪怕是处理100万行数据，也能让Pandas跑得飞快！

2026-02-02 16:00:00

Pandas for循环数据处理

比 Pandas 快 100 倍？Polars 新手教程：大数据筛选 / 聚合，代码少一半还不卡

今天给大家推荐一款「大数据处理神器」——Polars，它不仅速度比 Pandas 快几十到上百倍，语法还和 Pandas 高度相似，新手无缝衔接，用更少的代码就能搞定千万级数据！

2026-02-02 11:00:00

Polars 大数据 Pandas

Pandas 精通十：透视表/交叉表实战，复杂数据汇总一键搞定

今天就带大家吃透Pandas的两大“数据汇总神器”——透视表（pivot_table）和交叉表（crosstab），不管多复杂的汇总需求，几行代码就能一键搞定，比Excel透视表更灵活，比手动分组更高效！

2026-02-02 05:00:00

Pandas 代码数据汇总

Pandas 实战九：时序数据处理，日期筛选/统计分析一看就会

今天我们将学会时序数据的核心操作：日期格式转换、按日期/周期筛选、时序统计和趋势分析，这些技能足够应对日常工作中的大部分场景啦！

2026-02-01 05:00:00

Pandas 时序数据 Python

Pandas 实战八：电商数据案例分析，从数据提取到可视化全流程

这一篇我们直接落地实战——用电商场景的真实数据，从头到尾完成“数据提取→清洗→分析→可视化”全流程！

2026-01-30 06:25:00

Pandas 数据分析

Flink Core API 源码深度解析

本文深入分析 Flink 的 flink-core-api 模块。作为 Flink API 层的核心基础模块，它定义了整个流处理框架的接口契约，是理解 Flink 整体架构的关键入口。

2026-01-30 05:25:00

Flink Flink API 大数据

Pandas 进阶六：数据转换与计算，批量处理数值/文本超简单

平时处理数据时，数值类型不对、文本格式混乱、需要批量计算新字段，这些场景是不是经常让你头疼？其实用Pandas的内置函数，就能批量搞定这些操作，不用写复杂循环，新手也能快速上手！

2026-01-28 09:09:34

Pandas 数据转换 Python

Flink DataStream API V2 源码深度解析

本文深入分析 Flink 的 flink-datastream-api 模块。这是 Flink 2.0 版本引入的全新 DataStream API V2，代表了流处理接口设计的重大演进。

2026-01-28 05:20:00

Flink 大数据流处理接口

用 Python 分析电商用户行为数据：从浏览到购买的转化路径研究

本文这个分析案例展示了从数据清洗到业务洞察的完整流程。需要强调的是，数据分析的价值不在于炫技，而在于能否转化为可执行的业务决策。

2026-01-28 05:15:00

数据清洗 Python 数据集

为什么 Go 和 Rust 语言都舍弃了继承？

本文深入分析 Flink 的 flink-datastream-api 模块。这是 Flink 2.0 版本引入的全新 DataStream API V2，代表了流处理接口设计的重大演进。

2026-01-27 09:24:13

Flink 接口设计大数据

Pandas 进阶五：合并/拼接/重塑数据，多表处理不再头大

这篇文章讲了Pandas多表处理的核心：merge(按字段合并)、concat(按行/列拼接)、stack/unstack(数据重塑)，每个方法都配了新手能直接复制运行的代码。

2026-01-27 08:12:48

Pandas Python 开发

Palantir 哪些功能已经被标注为 Sunset（退场）和当前主推的功能是什么？

如果把 Palantir 当前主推的能力压缩成一句话：用 Ontology 统一语义，用 Pipeline Builder 管住数据，用 AIP Agent 直接参与决策和执行。

2026-01-26 03:55:00

Palantir Sunset Ontology

Pandas 进阶四：数据筛选/分组/聚合，比 Excel 快十倍的操作技巧

今天这篇进阶文，就带大家吃透三个核心技能：数据筛选（单条件/多条件）、数据分组（groupby）、数据聚合，全程用真实场景案例演示，新手跟着跑就能会。

2026-01-23 10:00:00

Pandas 数据筛选 Python

Pandas 入门三：数据清洗必学！缺失值/重复值处理，一步到位不踩坑

今天我们将会学习 Pandas 数据清洗的核心：缺失值“先检测后处理（删除/填充）”，重复值“一键去重”，新手跟着代码跑一遍就能掌握！

2026-01-22 16:05:00

Pandas 数据清洗 Python

六步搞定 Python 爬虫！手把手爬取二手车数据

还在羡慕别人能轻松抓数据？今天用六个步骤，带你从 0 到 1 实现 Python 爬虫，直接爬取某汽车网站的二手车信息！

2026-01-22 12:00:00

Python 爬虫数据

Pandas 入门二：DataFrame 核心操作，新手也能轻松筛选/修改数据

这篇文章会聚焦三个核心场景：查看数据结构、筛选目标数据、修改数据内容，每个操作都配了“复制即用”的代码和直观结果，跟着跑一遍，15分钟就能掌握DataFrame的基础操作！

2026-01-21 05:20:00

Pandas DataFrame Python

数据分析师必备：十个 Python 高频应用案例

本文深入剖析了 Python 数据分析的十个高频场景，覆盖了从数据预处理到机器学习应用的完整链路。

2026-01-21 05:10:00

Python 数据分析机器学习

阿里云PolarDB发布全面内化的AI能力，重新定义“AI就绪数据库”

1月20日，在2026阿里云PolarDB开发者大会上，阿里云旗下云原生数据库PolarDB正式发布AI数据湖库（Lakebase）等系列全新产品能力，将大模型能力内化为数据库的“血液”，让数据系统不仅能存储、查询多模态数据，还将直接驱动AI智能决策。

2026-01-20 14:32:42

数据库阿里云

Pandas 入门一：零基础也能懂！3步安装+10分钟玩转数据读取

这篇文章是「Pandas从入门到精通」系列的第一篇，专门帮新手搞定“安装+数据读取”两大核心步骤，跟着操作，10分钟就能解锁Pandas的第一个技能！

2026-01-20 12:00:00

Pandas 数据读取数据分析

告别低效代码！Pandas 五大函数的专业级使用指南

本文将深入探讨Pandas中五个最常用函数的"非常规"用法，这些技巧往往能将复杂的多步骤操作简化为一行代码，让你的数据处理效率提升数倍。

2026-01-20 05:10:00

Pandas 函数 Python

大型集团数据资产管理实践案例

大型集团股份有限公司为满足集团物流大数据项目要求，需要从相关业务系统端进行数据抽取，将清洗后的数据基于外运的腾讯云数据湖进行数仓模型搭建，并通过数据接口向招商局集团物流大数据平台供数。在此过程中，本项目需要提供对应的数据治理方案，以及相关模型的梳理和设计。

2026-01-19 09:55:59

数据资产管理数据治理大数据

Python 数据处理中的缺失值处理：从理论到实践的完整指南

本文将深入探讨Python生态系统中处理缺失值的各种方法，从基础的删除和填充策略到高级的插补算法，为你构建一套完整的缺失值处理知识体系。

2026-01-19 08:00:00

Python 数据处理开发

2026 年数据管理趋势：有哪些新变化，未来会怎样？

无论您是希望加强数据防御的首席信息官，还是寻求更高效访问方式的数据科学家，对于任何参与数据管理、分析或保护的人员来说，了解这些趋势都至关重要。让我们深入探讨正在定义数据管理未来的前沿策略，重点关注如何革新数据访问和安全。

2026-01-16 08:56:22

数据治理数据泄露大数据

2026：数据要素价值释放年 —— 一幅关于数字经济新大陆的宏伟蓝图原创精选

2026年被确立为“数据要素价值释放年”。这一决策标志着我国数据要素市场建设进入关键转型期，市场发展重心已从规则完善转向价值转化，从“有数据”到“有生产力”。一个以数据要素为核心驱动力的新经济范式将正式从理论构建、局部试点，迈向规模化价值释放的全新阶段。

2026-01-16 08:00:00

数据要素数据安全大数据

Pandas3.0 太猛了！不用改一行代码，数据处理速度直接飙五倍

Pandas3.0带着Rust“buff”强势来袭，底层重写后性能直接翻倍，关键是新手不用学新东西，旧代码复制粘贴就能用，简直是数据处理的“无痛提速神器”。

2026-01-12 15:00:00

Pandas3.0 代码数据处理

如何利用数据合约构建高质量的数据湖

数据湖应该是一个纯净的信息库，供各个团队探索和转换。然而，在实践中，许多数据湖却变成了数据沼泽，充斥着浑浊、混乱的数据，难以查找或信任。其根本原因往往在于数据治理不善、缺乏元数据以及缺乏标准的无序数据增长。

2026-01-12 10:00:00

数据合约数据湖大数据

1 2 3 4 5 6 ··· 190 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营