大数据查看源代码讨论查看历史

大数据

原图链接

中文名 大数据 英文名 big data

大数据 ，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

历史

“大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

原理

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

最小的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它们按照进率1024（2的十次方）来计算：

1Byte = 8 bit

1 KB = 1,024 Bytes

1 MB = 1,024 KB = 1,048,576 Bytes

1 GB = 1,024 MB = 1,048,576 KB

1 TB = 1,024 GB = 1,048,576 MB

1 PB = 1,024 TB = 1,048,576 GB

1 EB = 1,024 PB = 1,048,576 TB

1 ZB = 1,024 EB = 1,048,576 PB

1 YB = 1,024 ZB = 1,048,576 EB

1 BB = 1,024 YB = 1,048,576 ZB

1 NB = 1,024 BB = 1,048,576 YB

1 DB = 1,024 NB = 1,048,576 BB

特点

大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台———并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。

大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）

从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

用途

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。

物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

有些例子包括网络日志，RFID，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件;互联网搜索索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商务 。

应用

洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

统计学家内特。西尔弗(Nate Silver)利用大数据预测2012美国选举结果。

麻省理工学院利用手机定位数据和交通数据建立城市规划。

梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性，然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。“SAP想通过这次收购来扭转其长久以来在预测分析方面的劣势。”Laney分析到。

沃尔玛的搜索。这家零售业寡头为其网站自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说，这就意味着数十亿美元的金额。”Laney说。

快餐业的视频分析(Laney没有说出这家公司的名字)。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。

Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场(他将在一天工作之后抵达该处)时，Morton就开始了自己的社交秀。首先，分析推特数据，发现该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。也许，这听起来过于离奇，但是你必须审视自己：“我是否有能力做到这个程度？”Laney说。

PredPol Inc。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。

Tesco PLC(特易购)和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。

American Express(美国运通，AmEx)和商业智能。以往，AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是，AmEx开始构建真正能够预测忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后四个月中流失的客户，已经能够识别出其中的24%。

Express Scripts Holding Co.的产品制造。该公司发现那些需要服药的人常常也是最可能忘记服药的人。因此，他们开发了一个新产品：会响铃的药品盖和自动的电话呼叫，以此提醒患者按时服药。

Infinity Property & Casualty Corp.的黑暗数据(dark data)。Laney对于黑暗数据的定义是，那些针对单一目标而收集的数据，通常用过之后就被归档闲置，其真正价值未能被充分挖掘。在特定情况下，这些数据可以用作其他用途。该公司用累积的理赔师报告来分析欺诈案例，通过算法挽回了1200万美元的代位追偿金额。

IBM战略

IBM的大数据战略以其在2012年5月发布智慧分析洞察“3A5步”动态路线图作为基础。所谓“3A5步”，指的是在“掌握信息”（Align）的基础上“获取洞察”（Anticipate），进而采取行动（Act），优化决策策划能够救业务绩效。除此之外，还需要不断地“学习”（Learn）从每一次业务结果中获得反馈，改善基于信息的决策流程，从而实现“转型”（Transform）。

基于“3A5步”动态路线图，IBM提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算（StreamComputing）、数据仓库（Data Warehouse）和信息整合与治理（Information Integration and Governance）。

在大数据处理领域，IBM于2012年10月推出了IBMPureSystems专家集成系统的新成员——IBM PureData系统。这是IBM在数据处理领域发布的首个集成系统产品系列。PureData系统具体包含三款产品，分别为PureDataSystem for Transactions、PureData System forAnalytics和PureData System for Operational Analytics，可分别应用于OLTP（联机事务处理）、OLAP（联机分析处理）和大数据分析操作。与此前发布的IBMPureSystems系列产品一样，IBM PureData系统提供内置的专业知识、源于设计的集成，以及在其整个生命周期中的简化体验。

斯隆数字巡天收集在其最初的几个星期，比在天文学的历史，早在2000年的整个数据收集更多的数据。自那时以来，它已经积累了140兆兆 字节的信息。这个望远镜的继任者，大天气巡天望远镜，将于2016年在网上和将获得的数据，每5天沃尔玛每隔一小时处理超过100万客户的交易，反过来进口量数据库估计超过2.5 PB的是相当于167次，在美国国会图书馆的书籍 。FACEBOOK处理400亿张照片，从它的用户群。解码最原始的人类基因组花费10年时间处理，如今可以在一个星期内实现。

“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。

大数据已经出现，因为我们生活在一个有更多信息的社会中。有46亿全球移动电话用户有20亿人访问互联网。基本上，人们比以往任何时候都与数据或信息交互。 1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人收益的这笔钱将反过来导致更多的信息增长。思科公司预计，到2013年，在互联网上流动的交通量将达到每年667艾字节。

大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。

数据价值

众所周知，企业数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。

显然，您所掌握的人员情况、工资表和客户记录对于企业的运转至关重要，但是其他数据也拥有转化为价值的力量。一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式……所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。

但是屡见不鲜的是，很多公司仍然只是将信息简单堆在一起，仅将其当作为满足公司治理规则而必须要保存的信息加以处理，而不是将它们作为战略转变的工具。

毕竟，数据和人员是业务部门仅有的两笔无法被竞争对手复制的财富。在善用的人手中，好的数据是所有管理决策的基础，带来的是对客户的深入了解和竞争优势。数据是业务部门的生命线，必须让数据在决策和行动时无缝且安全地流到人们手中。

所以，数据应该随时为决策提供依据。看看在政府公开道路和公共交通的使用信息这样看起来甚至有点晦涩的数据时会发生什么：这些数据来源为一些私营公司提供了巨大的价值，这些公司能够善用这些数据，创造满足潜在需求的新产品和服务。

企业需要向创造和取得数据方面的投入索取回报。有效管理来自新旧来源的数据以及获取能够破解庞大数据集含义的工具只是等式的一部分，但是这种挑战不容低估。产生的数据在数量上持续膨胀；音频、视频和图像等富媒体需要新的方法来发现；电子邮件、IM、tweet和社交网络等合作和交流系统以非结构化文本的形式保存数据，必须用一种智能的方式来解读。

但是，应该将这种复杂性看成是一种机会而不是问题。处理方法正确时，产生的数据越多，结果就会越成熟可靠。传感器、GPS系统和社交数据的新世界将带来转变运营的惊人新视角和机会。请不要错过。

有些人会说，数据中蕴含的价值只能由专业人员来解读。但是泽字节经济并不只是数据科学家和高级开发员的天下。

数据的价值在于将正确的信息在正确的时间交付到正确的人手中。未来将属于那些能够驾驭所拥有数据的公司，这些数据与公司自身的业务和客户相关，通过对数据的利用，发现新的洞见，帮助他们找出竞争优势。

数据机遇

自从有了IT部门，董事会就一直在要求信息管理专家提供洞察力。实际上，早在1951年，对预测小吃店蛋糕需求的诉求就催生了计算机的首次商业应用。自那以后，我们利用技术来识别趋势和制定战略战术的能力不断呈指数级日臻完善。

今天，商业智能 (使用数据模式看清曲线周围的一切) 稳居 CXO 们的重中之重。在理想的世界中，IT 是巨大的杠杆，改变了公司的影响力，带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。

大数据分析是商业智能的演进。当今，传感器、GPS 系统、QR 码、社交网络等正在创建新的数据流。所有这些都可以得到发掘，正是这种真正广度和深度的信息在创造不胜枚举的机会。要使大数据言之有物，以便让大中小企业都能通过更加贴近客户的方式取得竞争优势，数据集成和数据管理是核心所在。

面临从全球化到衰退威胁的风暴， IT 部门领导需要在掘金大数据中打头阵，新经济环境中的赢家将会是最好地理解哪些指标影响其大步前进的人。

当然，企业仍将需要聪明的人员做出睿智的决策，了解他们面临着什么，在充分利用的情况下，大数据可以赋予人们近乎超感官知觉的能力。Charles Duigg是《习惯的力量》一书的作者，他找出的一个黄金案例分析的例子是美国零售商 Target，其发现妇女在怀孕的中间三个月会经常购买没有气味的护肤液和某些维生素。通过锁定这些购物者，商店可提供将这些妇女变成忠诚客户的优惠券。实际上，Target 知道一位妇女怀孕时，那位妇女甚至还没有告诉最亲近的亲朋好友 -- 更不要说商店自己了。

很明显，在可以预见的将来，隐私将仍是重要的考量，但是归根结底，用于了解行为的技术会为方方面面带来双赢，让卖家了解买家，让买家喜欢买到的东西。

再看一下作家兼科学家 Stephen Wolfram的例子，他收集有关自身习惯的数据，以分析他的个人行为，预测事件在未来的可能性。

大数据将会放大我们的能力，了解看起来难以理解和随机的事物。对其前途的了解提供了获取崭新知识和能力的机会，将改变您的企业运作的方式。

数据回报

简而言之，企业可以通过思考数据战略的总体回报，来应对大数据的挑战，抓住大数据的机会。Informatica所指的‘数据回报率’，是为帮助高级IT和业务部门领导者进行大数据基本的战术和战略含义的讨论而设计的一个简单概念。等式非常简单：如果您提高数据对于业务部门的价值，同时降低管理数据的成本，从数据得到的回报就会增加 -- 无论是用金钱衡量，还是更好的决策

数据回报率=数据价值/数据成本

在技术层面，数据回报率为数据集成、数据管理、商业智能和分析方面的投入提供了业务背景和案例。它还与解决业务的基础有关：挣钱、省钱、创造机会和管理风险。它涉及对效率的考虑，同时推动了改变游戏规则的洞察力。

案例研究

智能以及获取数据回报经常被看成旷日持久的事情，但是通过云计算，快速的回报正在成为可能。PDI是一家领先的医疗商业化公司，Informatica Cloud加强了该公司的销售、客户报告、洞察力和合规性。

Informatica通过确保交付及时和相关的信息，帮助PDI取得高额数据回报，同时减少了企业的应用程序、数据和 CRM 备份成本，更在不到一个月的时间就部署完毕。

解决方案将PDI的Salesforce .com CRM数据复制到基于云的报表系统中，使数据完整且保持最新，完成报表周期所用的时间只是以前所需时间的零头。可以每周、每日甚至实时生成报告，而从前则是30天的周期。

数据集成和CRM备份成本也大幅降低，同时PDI销售团队可以共享他们的业绩视图，跟踪生物医药销售指标和其他促进销售的信息。

PDI的首席信息官Jo AnnSaitta 表示：“离了 Informatica Cloud ，PDI的销售团队就会抓瞎。这种灵活易用、基于 SaaS 的集成服务正帮助公司实现数据的巨大回报，推动本来向下的销售上行，最终提高IT 利润。”

新西兰最大的金融机构 Westpac Life将Informatica 部署在其雄心勃勃的保险项目中，这个项目是一个商业智能环境，帮助金融机构增加收入、留住更多客户、增加交叉销售的潜在客户并降低风险。

系统提供了一个可信业务和保险客户数据的单一来源，有望交出240 %以上的投资回报，保单的生命周期收入提高至少一个百分点。

Informatica 还助力Westpac的社交媒体项目，利用客户所说的话，从而将客户放在Westpac活动的前沿和中心。

超过120 万客户每月进行三百万的在线交易，庞大的数据集带来了复杂的挑战。但是通过部署Informatica 平台，避免了在孤岛上作出决策。可基于具有高级报告和可视化的全盘信息，在保密情况下通过强大数据治理作出战略决策。

Westpac Life新西兰有限公司的保险负责人KevinCrowley说：“在财务不确定性的环境中，更快作出决策所需的财务效率和业务洞察是 Westpac 已经解决的挑战。因为有 Informatica ，我们有更好的定位，对更大透明度的需求作出响应，并将公司的客户保险数据资产转化为业务洞察力。”

实现回报

Informatica深知，对于很多企业来说，向数据回报模型的转变不会一蹴而就。管理数据并将其成本降低的短期要求将会是首要焦点，同样还需要打破障碍以了解数据。企业只有这时才可以开始从传统和新兴数据集获得更多价值。Informatica可提供数据集成平台和领导力，为企业提供全程帮助。

在大数据的世界中，最灵活和成功的企业将会是那些善用大机遇的公司。

什么叫大数据采集技术呢

数据采集(DAQ)：别称数据获得，就是指从控制器和其他被测机器设备等仿真模拟和数据被测模块中全自动采集信息的全过程。

数据归类新一代数据管理体系中，将传统式数据管理体系中没有考虑到过的新数据源开展梳理与归类，可将其分成线上个人行为数据与内容数据两类。

▷线上个人行为数据：网页页面数据、互动数据、表格数据、对话数据等。

▷内容数据：运用系统日志、文档、设备数据、视频语音数据、社交网络数据等。

大数据的关键来源于（人、自然环境、物块等，互联网技术，物联网技术等）：

1）商业服务数据

2）互联网技术数据

3）控制器数据