鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程 AI课堂软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9498内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9498 条

大数据无处不在，安全性也需要如此

从大数据分析中获得的见解对于企业来说是非常有价值的。但是，每个新数据流都会创建一个新的潜在攻击向量，从而使传统的外围防御措施变得过时，并使组织容易受到攻击。

2019-10-08 11:35:33

大数据安全网络

Apache Spark Delta Lake写数据使用及实现原理代码解析

Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下。

2019-09-30 08:28:53

Delta Lake Spark 数据原理

大数据之什么是Hash表

大数据之什么是Hash表，Hash，一般翻译做“散列”，也有直接音译为“哈希”的，它是基于快速存取的角度设计的，也是一种典型的“空间换时间”的做法。顾名思义，该数据结构可以理解为一个线性表，但是其中的元素不是紧密排列的，而是可能存在空隙。

2019-09-30 08:23:47

Hash表哈希表 Java

大数据才是核心竞争力，揭开年薪百万的数据科学家的神秘面纱

我们正处于一个大数据飞速发展的时代，随着网络和硬件的发展，数据存储与计算能力大幅度提升，我们所做的一切事，不论是在互联网中或者是互联网之外，都会留下数字的痕迹。比如刷卡购物，网络搜索，手机上网，乃至在网上每一个小小的点击都可以被一一记录下来。

2019-09-27 17:01:58

数据科学家大数据数据分析

如何高效地进行数据建模

理解数据是控制任何企业的先决条件。但只有当这些知识能够被分享和传播时，理解才是有用的。有效的数据建模应该是任何企业架构师的首要关注点。

2019-09-27 12:44:03

数据建模企业数据存储

预测分析：重新考虑组织中的时间和数据

时间序列是一种标准的分析方法，但是较为先进的机器学习工具引入了统计技术，来建立更精确的预测模型。时间是无法倒流的，但是使用现有的工具，您有更多的机会预测时间，更准确地说，是可以预测时间序列样本中的事件是否会继续影响决策趋势。

2019-09-27 09:57:09

大数据机器学习神经网络

8个可靠的开源数据可视化工具

数据可视化在数据科学领域中发挥着重要的作用。在不清楚数据的情况下，要监视和调整数据以使其按照应有的方式执行并不容易。这就是数据可视化发挥作用的地方，它把收集到的数据放到一个可视的上下文中，使数据更容易找出模式、跟踪趋势等。

2019-09-27 09:12:18

开源数据可视化大数据

带你认识HDFS和如何创建3个节点HDFS集群

在本文中，大数据专家将为您介绍如何使用HDFS以及如何利用HDFS创建HDFS集群节点。我们将从HDFS、Zookeeper、Hbase和OpenTSDB上的系列博客开始，了解如何利用这些服务设置OpenTSDB集群。在本文中，我们将探究HDFS。

2019-09-27 08:31:55

HDFS 集群 Hadoop

数据科学领域的核心技能和新兴技能分别有哪些？

近年来随着大数据的迅速发展，各种各样的数据分析技能也逐渐大热，为了找到数据科学领域目前最常用的技能和未来最流行的应用趋势，我们进行了一项调查。

2019-09-26 18:37:22

数据科学受访者技能

Hadoop之完全分布式集群

首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

2019-09-26 15:43:52

Hadoop 集群防火墙

美国国税局如何通过高级数据分析来打击欺诈

美国政府问责办公室(GAO)估计，2015年，犯罪分子在美国实施至少价值为140亿美元的身份盗窃退税欺诈行为，美国国税局(IRS)为了应对这些行为至少支付了22.4亿美元的成本。为了打击这种欺诈并保护纳税人，美国国税局采用了高级分析技术。

2019-09-26 12:44:32

美国国税局敏捷数据

7大云计算数据仓库

优秀云计算数据仓库展示了近年来云计算数据仓库市场发展的特性，因为很多企业更多地采用云计算，并减少了自己的物理数据中心足迹。

2019-09-26 10:56:04

云计算数据中心公共云

用Python爬取前程无忧网大数据岗位信息并分析！找到最合适你的

近期秋招进入高峰期，28号学校有一个秋招大型招聘会，本来想在网上爬一下自己专业的招聘岗位，结果检索结果寥寥无几(摊手)，于是我就无奈的爬取并分析了一波我准备转行的大数据行业的就业行情。

2019-09-25 20:32:26

Python 前程无忧职位

十个基本的Python数据科学软件包译文

过去五年人们对数据科学的兴趣显著上升。尽管有许多编程语言适合数据科学和机器学习，但Python是最受欢迎的。

2019-09-25 09:20:33

机器学习 Python 数据科学

非结构化数据在人工智能中的作用

非结构化数据对人工智能系统的发展至关重要。人工智能系统与用户的沟通越好，就越能自主学习，因此，它的效率也就越高。这一点很重要，因为如果一个人工智能系统只要求用户以结构化的格式进行交互，那么它的组件将受到极大的限制。为了让人工智能成功，它必须理解杂乱的信息。

2019-09-25 08:35:21

非结构化数据人工智能数据科学

人工智能和大数据存在什么隐患？

从数据稀缺到现在有大量的数据，近年来，可用的数据量呈指数级增长，大数据变得无处不在。这是由于数据记录设备数量的巨大增长，以及这些设备之间通过物联网连接。似乎每个人都有收集、分析大数据的力量。

2019-09-25 07:34:10

人工智能大数据数据科学

区块链如何改变大数据行业?

很多人都听到过大数据这个术语，它可能出现在与科技行业相关的视频中，也可能出现在人们的办公室里。大数据是2019年的热门话题之一，每个技术爱好者都在讨论它带来的变化和影响。

2019-09-24 19:21:08

区块链大数据

应该在云中存储大数据的5个理由

如果不确定如何正确存储大数据，则应该将大数据存储在云中。信息存储只能通过位于隐蔽位置的传统远程服务器来完成的日子已经一去不复返了。如今采用云端存储数据，其中信息和数据以电子方式在线存储。

2019-09-24 15:07:51

大数据存储技术

关于数据分析的8种思维

本文总结了数据分析的 8 种思维，分别是对比、细分、溯源、相关、假设、逆向、演绎、归纳，充分运用好这些思维，无论是工作，还是生活，相信都能够创造出更多的价值。

2019-09-24 14:36:38

数据分析思维大数据

面试系列：深入理解Hadoop架构体系

Hadoop架构体系面试题：HDFS的进程构成及其作用;nameNode进程：负责对外展示文件的层级结构、管理客户端对文件的访问(如：打开、关闭、重命名等)、决定文件block与dataNode的对应关系等。

2019-09-24 13:41:22

Hadoop 面试分布式

Hadoop 之 NameNode 元数据原理

在对NameNode节点进行格式化时，调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件，一个是fsimage，一个是editlog。

2019-09-23 13:03:42

NameNode 元数据文件

使机器学习更容易采用的6种工具

如今，很多供应商通过提供自动化数据准备和算法选择的层次，可以使数据智能业务用户采用人工智能技术，从而消除了机器学习的神秘感。

2019-09-23 11:17:46

机器学习数据技术

Python学完工作不好找？看看数据分析可视化都可以做什么

大概一年多以前，和几个小伙伴均认同一个趋势：觉得通过技术手段获取网上越来越丰富的数据，并基于这些数据做分析及可视化，必能产生有价值的结果，帮助大家改善生活。(大数据被叫烂了，所以用低调的方式来解释我们的初心)

2019-09-21 21:45:55

Python 数据可视化数据分析

简单的介绍一下大数据中最重要的MapReduce

MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。

2019-09-21 21:15:36

MapReduce 大数据分布式

工业物联网大数据平台建设方案

工业物联网是将具有感知、监控能力的各类采集、控制传感器或控制器，以及移动通信、智能分析等技术不断融入到工业生产过程各个环节，从而大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，最终实现将传统工业提升到智能化的新阶段。

2019-09-20 13:24:39

工业物联网大数据工业大数据

面试官问你B树和B+树，就把这篇文章丢给他

在介绍B+树之前，先简单的介绍一下B树，这两种数据结构既有相似之处，也有他们的区别，最后，我们也会对比一下这两种数据结构的区别。

2019-09-19 14:03:32

B树节点数据结构

数据分析师必看，老司机带你认识 AB 常见的10个错误

「没有数据，你只是一个有想法的人。」这是 W. Edwards 的依据名言，它表明，A/B 测试对于做出良好的商业决策来说至关重要。在 Manomano，我们向数百万用户展示数百万 DIY 和园艺产品，并每天进行数十个 A/B 测试，以改善我们网站的用户体验。

2019-09-19 08:17:02

数据分析 A B

想提高计算速度？作为数据科学家你应该知道这些Python多线程、进程知识

众所周知，数据科学是处理大量数据并从中提取有用见解的科学。通常情况下，我们对数据执行的操作很容易并行化，这意味着不同的处理代理可以一次对数据执行一个操作，最后进行组合以获得完整的结果。

2019-09-18 21:00:51

Python 数据科学多线程

加快数据科学项目的五个自动化工具

如今，自动化不仅应用于机器人领域，它还与其他领域相结合，使技术人员的工作变得更容易，其中一个领域就是数据科学。有很多公司正在为数据科学领域开发工具和产品。在本文中，我们将研究数据科学专业人员可以使用的一些自动化工具。

2019-09-18 20:39:07

数据科学自动化工具机器学习

大数据处理的五大关键技术及其应用

数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2019-09-18 20:28:26

大数据数据处理数据采集

促进电子邮件营销转换的5个大数据策略

大数据几乎在数字营销领域的每个方面都发挥着至关重要的作用，企业可以使用大数据来获得更高的转化率，其中包括电子邮件营销在内的数字营销媒介。

2019-09-18 18:39:07

大数据电子邮件营销邮件

数据湖里没有“水怪”，有的是，，，

什么是数据湖，它是什么工作原理？它又是如何作用于大数据分析的？它们的驱动因素和优缺点又是什么？

2019-09-18 09:40:48

数据湖数据分析数据

Hadoop发生了什么？我们该如何做？

许多组织都关注Hadoop生态系统的进一步发展，并承受着展示数据湖价值的压力。对于企业来说，至关重要的是确定如何在Hadoop失败后成功地实现应用程序的现代化，以及实现这一目标的更好策略。

2019-09-16 17:16:29

Hadoop 数据湖数据结构

一个数据科学负责人眼中的数据科学：太无聊了!

多人选择数据科学(或机器学习)中令人兴奋的东西来激励自己和他人。但我们必须面对一个现实：真正的工作往往是「无聊的」——与人们认为浪漫的东西相比是无聊的。

2019-09-16 13:14:37

数据科学家模型职业

技术干货分享：HBase数据迁移到Kafka实战

在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢?

2019-09-16 12:55:27

HBase Kafka 数据

为什么每个组织都需要数据分析师

如今，当组织需要从数据中获得一些见解时，他们首先倾向于寻找数据科学家的帮助。但这真的是一个更好的选择吗?人们需要了解数据科学家和数据分析师的角色有何不同，以及为什么希望聘用数据分析师。

2019-09-16 11:37:07

大数据数据分析工具

不同的语言，相同的信息：17种语言研究揭示如何以相似的速度交流

如果准备去另一个国家旅行，最令人头大的肯定是语言不通的问题，有时甚至还会抱怨语言的分类过于细化。但是，里昂大学研究人员的一项新研究表明，语言之间的差异可能比想象的要小。

2019-09-15 19:38:16

语言数据分析大数据

数据分析是如何推动游戏行业发展的？

数据分析师和BI开发人员可以仔细检查这些数据并将其转换为有价值的见解。因此，有了这些见解，游戏公司就能更好地定位自己的产品，设计更具沉浸感的游戏，带来更多的个性化以及同样重要的创造更多利润。

2019-09-12 09:21:06

数据分析游戏行业游戏设计

云数据仓库Snowflake、Panoply和Repods的全面大比拼译文

您在找合适的云数据仓库平台吗?本文为您比较三种常见的平台，全面为你分析它们在不同方面的优缺点。

2019-09-12 09:03:11

架构数据仓库云服务

Python数据可视化的四种简易方法

数据可视化是任何数据科学或机器学习项目的一个重要组成部分。人们常常会从探索数据分析(EDA)开始，来深入了解数据，并且创建可视化确实有助于让问题更清晰和更容易理解，尤其是对于那些较大的高维度数据集。

2019-09-12 09:00:32

数据可视化热图数据集

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

国内外15大BI数据可视化工具

在本文中，我们将讨论以数据可视化和分析为特征的国内外共15大BI工具，其中国外我们选了10个国内5个，排名不分先后，为方便起见，本文按照字母顺序罗列。

2019-09-12 08:42:38

工具可视化 BI系统

Python数据分析-看了这篇文章，数据清洗你也就完全掌握了

不管你从哪里获取了数据，你都需要认真仔细观察你的数据，对不合规的数据进行清理，虽然不是说一定要有这个步骤，但是这是一个好习惯，因为保不齐后面分析的时候发现之前因为没有对数据进行整理，而导致统计的数据有问题，今天小编就把平时用的数据清洗的技巧进行一个梳理，里面可能很多你都懂，那就当温习了吧!

2019-09-11 14:40:44

数据清洗数据分析数据类型

Python,Numpy,Pandas…数据科学家必备排序技巧

对数据进行分类整理是数据科学家和数据工程师的基础工作。Python会提供许多内置库，优化排序选项。有些库甚至可以同时在GPU上运行。令人惊奇的是，一些排序方法并没有使用之前所述的算法类型，其他方法的执行效果也不如预期。

2019-09-11 14:34:13

排序算法数据科学

数据隐私是新的战略差异化因素

数据隐私往往面临很多的风险，创业公司通常有9到18个月的时间在数据隐私方面进行竞争。

2019-09-11 11:25:49

数据隐私技术人工智能

机器学习操作不适用于云计算运维

为云计算服务团队提供机器学习功能的系统不仅是一个错误，而且也是危险的。一家公司的云平台在一个周末发生故障，该公司云计算运营团队试图研究和探讨发生了什么问题。

2019-09-10 15:06:04

大数据机器学习云计算

我被“非结构化数据包围了”，请求支援！

“非结构化数据”是什么?相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容。非结构化数据指的是：数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。

2019-09-10 10:19:50

非结构化数据数据智能

我们可以不再使用ETL了吗？

近年来，我们在数据科学和高级分析方面取得了一些进步，但许多项目仍然采用20世纪80年代的遗留技术：萃取(extract)、转置(transform)和加载(load)，也就是我们所说的ETL。这让数据架构师感到无比头疼，但我们似乎又无法超越它，那有什么方法能改变这个局面吗?

2019-09-09 16:10:32

ETL 数据科学数据

数据科学中的“帕累托法则”

帕累托法则是一个非常简单但功能非常强大的管理工具。企业高管长期以来一直将其用于战略规划和决策。诸如20%的商店产生80%的收入，20%的软件错误导致80%的系统崩溃，20%的产品功能驱动80%的销售等，受到广泛欢迎，善于分析的企业尝试在他们自己的商业世界中找到这样的帕累托法则。

2019-09-09 15:28:04

数据科学帕累托法则工具

电商数据分析，掌握这些业务的数据指标就够了

在电商行业当中，通常涉及到六大部门，且各个部门当中，业务框架以运营为导向，今天我们就来解析一下相关重要指标。

2019-09-09 14:13:31

电商数据分析指标

上一页 1 ··· 86 87 88 89 90 ··· 190 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营