鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9229内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9229 条

VMware为Serengeti虚拟化方案加入Hadoop支持

在本周二公布的Serengeti 0.8.0中，这款专为Hadoop虚拟化打造的开源工具已经能够支持数个Hadoop发行版，外加多项能够简化Hadoop之上HBase数据仓储设置流程的功能。

2013-04-08 09:32:23

VMware Serengeti Hadoop

确保Hadoop数据安全的十大最佳方法

Dataguise日前公布了实施Hadoop的十大最佳做法。信息技术工具的日益更新和功能的不断优化成熟，使得大数据的使用变得更具有可行性。然而，这一新技术领域的优势往往还伴随着数据隐私的问题。在这些庞大的信息库中，个人身份信息(PII )，如姓名，地址和社会安全号码都存在泄露的可能。

2013-04-07 09:43:52

Hadoop 数据安全大数据

为大数据与人工智能而生新职业：算法师

大家应该还记得《黑客帝国》里面Leo躲避枪林弹雨的高难度动作，这部电影，充满了大数据与人工智能的色彩。算法师通过对数据库的标记、对数据库的检测、编排，甚至对敌人发出攻击，当时看起来相当科幻的镜头，如今已经是被广泛运用的技术。

2013-04-07 09:32:55

海关数据仓库云平台：大块头有大智慧

数据处理是一个很重要的能力。之前海关的数据都由各个部门分散去做，而我们想找到一个解决方案，将这些数据梳理并构建一个体系，从而提升海关整体的数据处理能力。”任林口中的方案，正是他的团队(XRZ队)参加微软Windows Server 2012云创益大赛团队赛的作品——动态数据仓库高性能云计算平台(简称数据仓库云平台)。

2013-04-03 11:01:56

海关数据仓库云平台微软

大数据挖掘让PE/VC更高效 LinkedIn成最佳工具

作为硅谷风投公司Greylock Partners的数据科学家，对于泛滥的数据如何改变风投公司的运营方式，DJ Patil当然心知肚明。这位LinkedIn前首席科学家表示，风投仍然是关乎勇气和直觉的生意，但是数据挖掘技术可以帮助风投资本家变得更有效率。

2013-04-03 09:49:48

LinkedIn 大数据

北京大学EasyHadoop校园行引关注

Hadoop从互联网领域蓬勃发展，广大搜索、电商、视频、门户、游戏公司都纷纷开始实施Hadoop技术解决方案替代老旧的脚本分析和数据仓库平台。同时Hadoop大数据解决方案已经扩展到通信、安全、工业、电力、乃至生物医药等传统基础设施领域,成为公认的大数据分析处理领域规范标。

2013-04-02 11:23:17

Hadoop中IPC的源码分析

最近开始看 Hadoop 的一些源码，展开 hadoop 的源码包，各个组件分得比较清楚，于是开始看一下 IPC 的一些源码。

2013-04-02 10:51:09

Hadoop Hadoop源码

微软推出自写生工具SketchInsight 帮助理解大数据

移动互联网时代，呈现在普通用户面前的是一种全新的体验方式——通过各种终端便利的触网，接受并制造信息，而这直接加速催生了另外一个热门领域：大数据。如果说把移动互联网称作是前端的话，那么大数据处理应该可以叫做后端。

2013-04-02 09:54:05

Foursquare的野心：大数据时代“活点地图”

镜头转向 2009 年，在西南偏南大会上，LBS 应用 Foursquare 红爆，“签到”功能风光无限。而时至今日，签到类应用已经从倒出的”新鲜感“到习惯，甚至遗忘。已经积累了3000 万用户，30 亿条”签到“信息的 Foursquare 不愿意放过海量的数据。他们的新野心，不在于让更多人“签到”，而是将这些签到和评价信息汇聚成类似《哈利波特》中的“活点地图”（Marauder’s Map)——一幅关于霍格沃茨魔法学校的地图，显示每条通道，每座城堡内每个人的即时位置的行动方向。

2013-04-01 11:17:43

BI项目中的ETL设计详解（数据抽取、清洗与转换）

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析的依据。

2013-03-27 15:10:14

创建SSIS包:ETL中典型的数据清洗

我们熟悉了很多ELT任务，这一个节来讨论复杂点的数据清洗。这里我们要使用的数据源是.dat文件，这种文件在大型主机上，或者是比较老旧的应用系统中非常常见。

2013-03-27 13:34:49

计算机审计中电子数据清洗的主要步骤

在这里我们将介绍计算机审计中电子数据清洗的主要步骤，包括数据分析和定义清洗转换规则。

2013-03-27 11:09:26

Teradata释放数据仓库专用平台能量拓宽分析视野

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，行业领先的高性能数据仓库专用平台——Teradata数据仓库平台2700在全球范围内正式出货。作为Teradata统一数据架构TM(UDA)的重要组件，Teradata数据仓库平台帮助企业快速应对不断变化的商业环境，确保在竞争中保持领先。

2013-03-27 10:53:27

Teradata 大数据天睿

微软在Windows Azure服务中推出首个Hadoop公共预览版

截至目前，微软已经完成了Azure HDInsight服务三个内部预览版的小范围测试工作。(我刚开始以为去年十月公布的已经是公共版本，但根据微软官方的说法，这周推出的才是首个公共预览版。)

2013-03-27 09:55:17

微软 Windows Azu Hadoop

EasyHadoop第八次免费技术讲座介绍

EasyHadoop社区从2012年举办了七次,汇集各行各业的案例和相关实践。以小规模技术聚会开始,希望能提供给大家真正企业一线的实战经验分享。构建一个开放,简单(小而美)的Hadoop技术沟通分享平台,让大家的大数据之梦得到落地。

2013-03-26 17:09:50

数据仓库中的数据清洗

可以将数据仓库的数据清洗比做政客们募集资金的过程。几乎不存在任何一方独立存在的可能性。数据清洗往往是数据仓库项目中时间最密集的，最有争议的进程。

2013-03-20 16:23:53

大数据清洗工具

在进行数据分析和可视化之前，经常需要先“清洗”数据。这意味着什么？可能有些词条列表里是“New York City”，而其他人写成“New York, NY”。然而，你在看到某些模式前得将各种各样的输入词汇标准化。又或者，出现一些数值输入错误，错别字什么的。

2013-03-20 15:49:28

忘记“大数据”，从“中数据”开始吧

对于很多市场研究人员来说， “中数据”才是真正能够提供ROI价值回报的分析目标。而所谓“大数据”分析，则会呈现递减的ROI。

2013-03-20 11:03:05

企业如何应对大数据：关注数据价值而非大小

福布斯网站日前发表保罗•马尼奥（Paul Magnone）的文章，谈论了大数据对企业的影响。马尼奥认为，人们在制定大数据计划前，应该弄清企业需要什么样的数据，以及如何用好这些数据。

2013-03-20 10:40:19

大数据大数据应用

电子商务企业如何把握大数据？

所谓的大数据，是需要跨视角、跨媒介、跨行业的海量数据，也可以理解为数据的收集方法。当数据的规模和丰富度达到一定程度，大家才开始提出大数据的概念。那么，电商大数据现状如何?

2013-03-20 10:30:22

在Hadoop的战争中 MapR获新一轮3000万美元融资

MapR，是一个Hadoop优化公司，专注于可用性和数据安全的优化。该公司日前获得了一个3000万美元的C轮融资，本轮融资由Mayfield Fund领投。在此之前，光速创投、NEA(New Enterprise Associates)和红点投资(Redpoint Ventures)也对MapR进行了投资。这轮融资让MapR的总金额达到了5900万美元， MapR在2011年获得2000万美元的B轮融资。

2013-03-20 09:49:06

MapR Hadoop 融资

Hadoop和Couchbase结合使用的技巧

Hadoop非常适合处理大量数据并将该信息解析为您可查询的较小的信息集。但是，通过与 Couchbase Server 集成，您可以对信息执行实时查询和报告，同时继续使用 Hadoop 处理大型数据集和数据集的繁重处理工作。Couchbase Server 还使用了一个 MapReduce 查询系统，这使您能够轻松地迁移和集成索引和查询系统，从而有效地提取和操作信息。

2013-03-18 11:05:26

Hadoop Couchbase

Nate Silver给创业公司忠告：寻找和大数据相关领域

你作为某位成功人士的粉丝，满怀期待的聆听他的演讲，结果他却对你说：“我的成功没法复制。”

2013-03-18 10:35:40

硬件提速英特尔推Hadoop一体化方案

英特尔架构事业部和数据中心软件事业部副总裁和总经理Boyd Davis表示，英特尔将会充分挖掘Hadoop以给广大用户带来巨大利益。Hadoop可以成为多种不同应用的平台，而且英特尔也将以服务支持的角色来推动开源向前迈进。

2013-03-18 10:16:35

英特尔 Hadoop 一体化

英特尔重定义Hadoop核心：优化CPU 原创

继Cloudera与Hortonworks之后，英特尔近日宣布推出Hadoop新版本，包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner，这是英特尔从2009年开始投入大数据研究以来，首度发布的大数据软件产品，英特尔将以开源分布式数据分析平台Hadoop进军大数据市场

2013-03-15 17:37:33

Hadoop 英特尔 CPU

提速25%！Hadoop助英特尔研发周期缩短

通过这种Hadoop新平台来收集生产过程中的历史数据，并结合没经过使用的其他来源信息，在英特尔的一个五人组成的部门工作下即可帮助减少300万美金，当然，这还仅仅是去年英特尔酷睿处理器检测过程中的成本节省。

2013-03-13 11:41:12

Hadoop 英特尔研发周期

基于Hadoop云盘系统3：小文件存储优化

首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难。

2013-03-11 14:42:08

Teradata入选商业智能及信息管理咨询全球企业榜单

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，Teradata及其Claraview业务部门荣获Gartner公司2013年度《北美地区商业智能和信息管理市场分析报告》中针对咨询和系统集成服务供应商的”正”(positive)评级。该报告为北美地区正在或已经部署商业智能(BI)和信息管理(IM)产品或服务的用户提供明确指南，涵盖数据仓库、商业智能和数据分析市场指南。

2013-03-11 13:18:27

Teradata 商业智能天睿

基于Hadoop云盘系统2：HDFS文件访问控制

Hadoop开源技术框架在实际业务应用中，其早期的安全机制饱受诟病，具体到HDFS应用方面的问题，包括：用户到服务器的认证问题、服务器到服务器的认证信息。

2013-03-08 10:09:30

应需而变融易致远华为Hadoop大数据解决方案

人人都在谈论大数据,但是究竟什么是大数据呢?大数据主要来源于互联网领域和一些垂直行业，数据量达到PB级，甚至10PB以上;它需要更高性能、更大吞吐量、更大扩展能力.据统计，全球80%的数据在近两年生成，平均年增长率超过50%。

2013-03-07 18:28:11

华为 Hadoop 大数据

基于Hadoop云盘系统1：上传和下载效率优化

基于任何平台实现的云盘系统，面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统，受到Hadoop文件读写机制的影响，采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。

2013-03-07 14:47:14

英特尔：将Hadoop“固化”到Xeon中

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-03-07 10:56:03

英特尔 Hadoop Xeon

Hadoop生态系统地图：大象王国的八大族群

为了帮助企业和业界的大数据技术和应用的实践者快速理清Hadoop生态系统的头绪，GigaOM最近制作了一张Hadoop生态系统地图，按照不同的应用场景和交付模式，将Hadoop生态系统的厂商和产品划分为六大层面和八类玩家。

2013-03-07 10:05:53

Hadoop 大数据

如何在Linux上安装与配置Hadoop？

Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此本文主要讲解如何在Linux上安装与配置Hadoop。

2013-03-06 13:27:03

Teradata再获数据仓库数据库管理系统魔力象限领导者

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，Teradata天睿公司连续第14年入选Gartner公司2013年度《数据仓库数据库管理系统魔力象限》(Magic Quadrant for Data Warehouse Database Management Systems)的“领导者象限”。这一殊荣无疑是对Teradata卓越的产品创新能力和最佳实践的权威认可。

2013-03-05 10:13:10

Teradata 大数据天睿

大数据发展简史

在研究《数据科学发展简史》之外，我也比较关注大数据是如何产生的。在这里，我着重探讨那段尝试确定数据量增长速度的历史，或者将其称之为众所周知的“数据爆炸”（据牛津英语辞典记载，这一术语首次使用于1941年）。

2013-03-04 15:04:16

Twitter程序员推动Hadoop开发进程

由于Twitter的数百万用户能够彼此间实时分享最新新闻、想法、意见，Twitter成为了目前最受欢迎的通信平台。所有这些活动都为Twitter带来了海量的元数据，而这些元数据对于Twitter来说是一笔宝贵财富。

2013-03-01 09:39:53

Hadoop Twitter 大数据

[爆料]英特尔：将Hadoop“固化”到Xeon中

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-02-28 10:32:07

hadoop 英特尔 apache

英特尔Hadoop应对大数据“芯” 应用

英特尔加强为数据中心提供了一个框架，可以连接和管理设备并实现一个可扩展的方式，Hadoop架构具有巨大的潜力，可以做为硬件基础层存在，并在此之上构建可以实现水平分布的各式各样的堆栈。

2013-02-28 10:04:27

英特尔 Hadoop 大数据

揭露云数据分析商业智能价值

“大数据”的宽松定义是过大而不能用传统数据管理技术和基础架构处理的数据集。详细的服务器日志、点击流数据、社交网络数据和移动设备数据都是数据仓库中和商业智能系统中交易型数据类型的补充。此外，公有云数据存储库和第三方加速器也提供了大数据集话题，从Twitter流和Meetup博文到经济和人口普查数据。

2013-02-28 09:59:55

云数据分析大数据分析 Hadoop应用

看大数据时代的用户隐私

大数据时代全局数据分析的的这种特质，让用户隐私保护几乎是一个伪命题。互联网时代我们都清楚我们在网络上的一切行为都可以被服务方知晓。

2013-02-27 10:56:39

在Hadoop上运行SQL：程序员需知晓的13种数据工具

其实，对SQL支持并不是Hadoop的最终目标，但是这一特性将会帮助Hadoop找寻自己的生存方式，让Hadoop在那些已经明白下一代分析的重要性但又不想迈向MapReduce专家之路的公司中取得一席之地。

2013-02-27 10:36:36

rackspace google GCE

NoSQL数据库的35个应用场景

当纵览一些不用的数据模型和产品的时候，综合考虑数据模型、产品特性和应用情景。不同产品功能各异，只凭数据模型来决定选择谁是不可能的。

2013-02-27 10:23:55

NoSQL 数据库

英特尔：相同的大数据不同的Hadoop

全球的数据使用量到2020将将会增长44倍，达到35.2ZB(1ZB=10亿TB)。Facebook、Twitter、微博等各种社交平台的海量数据，以及视频通讯、医疗影像、地理信息和监控录像等视频内容也会极具增加，加之传感器、RFID阅读器、导航终端等非传统IT设备和移动设备，都将产生越来越多的数据。增加的这些数据当中，有80%的数据属于非结构化。

2013-02-27 10:19:35

英特尔大数据 Hadoop

大数据平民化：Hortonworks推出Windows版Hadoop

本周一，在与微软合作一年后，Hortonworks终于发布了Windows版Hortonworks 大数据平台(Hortonworks Data Platform)，目前已经开放下载，通用版本预计将在今年第二季度完成。这标志着Hortonworks发布的Hadoop商业发行版本将能同时运行在Linux和Windows两大平台。

2013-02-26 09:40:00

Hortonworks Windows Hadoop

SQL Server数据挖掘规则实现商品推荐1

假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQL Server Analysis Services的数据挖掘功能，你也可以轻松的来构建类似的功能。

2013-02-25 10:33:36

Red Hat开源其Hadoop存储系统

Red Hat本周三宣布开源其Red Hat Storage Hadoop插件，作为HDFS的替代产品。RedHat Storage hadoop插件基于Gluster文件系统。

2013-02-22 11:07:36

Red Hat 开源 Hadoop

企业大数据如何起步：从小数据到大数据

前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。

2013-02-21 16:36:09

初创公司Citus Data将CitusDB扩展到Hadoop

大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言，使用多工具处理，而且在分析平台上还可能需要牺牲一部分性能。

2013-02-21 09:41:49

CitusData 数据库 Postgres

“夫妻档”初创公司百万美元打造实时Hadoop系统

如果问及任何Hadoop的有关人士， Hadoop如何超越目前的批量处理平台，那么“实时”无疑是其中最主要的一个答案。事实上，这也是下个月“ Structure: Data”的一个讨论主题，企业希望Hadoop成为一个可操作的数据库以及具有各种类型的OLAP引擎。

2013-02-20 09:51:17

HStreaming JanaUhlig 初创公司

上一页 1 ··· 173 174 175 176 177 ··· 185 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营