大数据是目前最抢手的话题，也是厂商们视为战略要地的必争之处。在IBM看来，大数据的使用包括了一整套办法论，从存储数据的根底设备开端，不断到发掘出大数据业务价值的中心使用优化与剖析，再加上相应的征询和效劳，构成了完好的大数据使用体系。在IBM 2013大数据剖析与顶峰论坛上，IBM引见了其最新的大数据产品和处理方案，并宣布与协作同伴携手共建调和的大数据生态零碎。

IBM大中华区零碎与科技事业部技术总监李永辉

　　在本次论坛中，IBM大中华区零碎与科技事业部技术总监李永辉也宣布了精彩的主题演讲，李永辉表示：

　　大数据，我们次要的运用场景在几个方面，一方面针对我们的客户，怎样样可以更优化地理解客户的运用场景，剖析运用情况。另一方面，针对我们外部的运营，最初是风险的降低。针对大数据的发掘，数据从何而来呢？当大家讲步入大数据时代，实践上我们处置的数据次要来自三方面，第一方面，传统构造化的数据。随着明天技术的提升，随着信息来源的添加，容量大大提升，怎样样可以无效地协助客户处置有关的构造化信息是一个新难点，我们有新的技术。明天硬件开展的速度很快，CPU速度很快，但是I/O是不是跟得上，如今有一些新的技术，像闪存的技术，IBM也收买了一家TMS的技术，我们也添加了自主的技术，可以添加数据处置的速度。

　　另一方面，非构造化数据。由于挪动互联网的发生，会有越来越多的，像微博、电邮、网页越来越多的信息，也有一定的价值，这些数据发生的量十分庞大，我们怎样样在大数据里无效天时用这些数据，来协助我们发掘一些有用的信息。

　　第三，流数据。我们如今有很多传感器，不论你喜欢不喜欢手机的信息，监控的信息，通讯的信息等等，这些流媒体发生的数据也十分庞大，但是也有一定的价值，我怎样样无效地抓取。这在大数据来讲是第一个运用场景，要发掘新的数据来源。

　　在这个图里我们很好地把整个架构罗列出来，从下往上看，上面我们看到大数据的信息来源就像方才所讲的，除了传统那些数据以外，每一个企业也会有各种不同的企业的资源管理零碎、人事零碎、财务零碎、客户零碎等等。同时如今挪动互联网的降生等等，我们都会有更多更新的数据流，方才讲到构造化的传统数据，新一代的非构造化的数据，还有流数据等等的发生。从下提升到上一个层次，我们怎样样可以应用IBM软件处理方案，提供一个十分好的大数据剖析的平台。从大数据外面抓取一些有用的信息，这是十分重要的。信息不抓取的话反正也在你身边，如何抓取有用的信息呢？我们提供了几种方式。

　　从左往右看，Streams，IBM Streams软件提供了可以协助各位抓取流数据、剖析流数据，它的剖析速度十分快。有时分流数据不需求十分精准的剖析，大约找到它的形式就可以了。我们有一个Streams数据可以帮助剖析。

　　接上去Insight，如今我们讲大数据外面，很多时分大家会联想到Hadoop，但是Hadoop是一个开源的软件，IBM提供了企业版的Hadoop架构，叫做BigInsights，BigInsights可以帮你实行Hadoop使用，提供更高可用、功能更好的优化平台。非构造化数据来讲，我们可以把数据，不论是流数据发生放在Insight外面，然后做进一步的非构造化的剖析，也可以提供很好的处理方案。

　　左边是Data Warehouse，这是一个十分传统的构造化数据，明天我们面对的是构造化数据的量也少量提升。我们在大数据的时代也使数据量庞大添加，因而我们也有新的技术，像DB2，将有一些新技术会引见，还有一些硬件的技术等等，大大提升的I/O的吞吐量，处理明天能够计算机CPU很快，但是I/O跟不上的情况。

　　同时，DataExplorer，我们抓取一些有用的信息存放在数据仓库里，如何添加关联性。另外一个软件可以提供多个数据的发掘，关联性的剖析，从而提供一个很好的从大数据里抓取一些有用信息的进程。挖去了当前，我们希望把那些有用的信息进一步提升，从而提供一个很好的效劳。在这里我们可以透过IBM的一些软件，向计算使用提供一些KPI，把用户的使用结合你抓取出来的信息，提供一个用户的平台。

　　又或许您也可以运用IBM的Cognos，一个报表剖析的数据，从多个数据库里，不论是构造化、非构造化数据里，我们抓取一些有用的信息，变成一个无效的报表提供应你做剖析用。又或许我们希望再进一步往前走，做一个预测，由于报表很多是一些历史数据，我们怎样可以往前揣测呢？透过IBM的SPSS软件，我们可以树立一个数学模型，建完模当前可以依照我们搜集完数据的特征，可以揣测将来一段工夫的开展。揣测也是大数据开展的特征，这里举了一个例子，在互联网信息里，其中一个信息用得最多的就是气候的预测，这是新一代高功能计算零碎，IBM有幸为中国气候局停止新一代零碎的扩展，他们采用了PureData，它们是一个十分庞大的PureSystem运用的客户，搭建了超越18000个CPU内核的环境，比之前一代零碎进步了50倍的功能，进步了100倍的贮存容量，可以想象它的容量十分庞大。为什么需求这么大的数据来预测呢？在气候预告的进程里，他们往往分为几个类型的数据，一个是气候模型的预测，揣测下一个冬天是冷冬还是暖冬。二是短期的预告，这一类型次要应用物理模型揣测将来气候的变化等等，这个模型里也结合了更多的，随着新一代技术会结合更多的传感器搜集的信息，做一个整合的揣测，除了大气的情况，也搜集陆地情况、海洋山脉天文信息等等做一个一致的信息。最初一个类型是卫星的揣测，就是临近的天气预告，如何预知将来一两个小时会不会下暴雨，这没有方法经过数学模型推算，这需求透过卫星的数据很快的停止剖析，那种技术怎样样协助卫星的信息量是十分庞大的，我们可以提供一个很高的容量，很大的计算才能，提供了一个把卫星信息整合起来，可以协助推算。在这个客户里我们也做了一个测试，把他们的传统使用搬到Hadoop体系架构开放中心的平台上跑，传统友商的平台能够跑了几天卫星信息的整合，我们只用了几分钟就可以做完，这是一个测试的场景，我们曾经在这个客户里成功试过，接上去他们还会持续往下看。

#p#分页标题#e#

　　可以看到新一代大数据，第一步要搜集很多有关联性的呼吁行业者在政府部门出台相关政策标准的之前，从业者一定要规范自己的行为准则健康有序的快速发展。信息。像气候，会搜集很多卫星、天文信息等等。第二步当我们搜集了这么多信息之后，要怎样样剖析？要晓得剖析数据是可以无尽头的，明天做了很多剖析，剖析完的后果，又发现有一些新信息来源出去，你可以再停止剖析，究竟我们剖析是为了什么？在这里IBM以为，剖析是希望加强对客户360度全方位的视图，我们希望透过火析，找到一些跟客户有关联性的内容。一些传统行业来讲，像医疗行业，传统是用流程来停止梳理的，明天采用了我们360度视图的剖析，可以把病人的履历，过往的历史，对药物有什么敏感，停止过什么医治，家族有什么病，都可以抓取出去，这是一种十分好的处置办法。

　　我们怎样样协助客户提供片面的360度全方位客户视图的处理方案，这里有一个架构图，从左上方可以看到信息的来源，能够从企业里各种各样的数据库里发掘出来。发掘出来当前怎样晓得那团体就是那团体呢？可以透过IBM Master Data Management产品，把大数据库的整合提供一个一致的数据给各位。这样我们可以有一个办法把多个数据集中在一同剖析。透过Cognos剖析零碎，我们可以抓取不同的数据，树立更有用的数据停止剖析报表等等功用。透过IBM DataExplorer技术，我们可以把这么少数据源方式的数据整合起来，变成一个一致的图象界面，我们提供应客户的效劳就可以更一致。普通来讲，很多企业要提供客服效劳，当客户打电话给客服的时分，怎样样在短工夫内，把同一团体有关的历史信息抓取出来呢？透过这个架构图，我们可以帮你们搭建好360度全方位的客户视图。

　　在这里我们分享一些案例，在中国挪动我们在多个省的智能剖析零碎和客户的关系管理零碎都是采用了IBM高端产品设备，包括Power零碎、DB2，由于DB2是十分合适数据剖析的，明天还会讲到一些新的技术。特别能协助我们数据剖析的体系架构。同时也采用Cognos，把用户的数据抓取来。在电信的世界大家不讲也晓得，置信全部都是智能手机的用户，很多人会超越1个手机。在这样剧烈竞争的世界里，每天都有很多的市场活动在发作，作为挪动效劳的供给商，我们怎样样提供最贴心的效劳给他们呢？在传统行业来讲，从原来的手机变成智能设备，从2G、3G，将会发布4G等等。数据的要求从传统话音曾经渐渐变成活动数据的要求。传统电信剖析的运用，场景一定要有一些新的打破，理解新的数据源。从传统流数据CDL乃至于它的数据包的运用方式，实践上电信公司很希望发掘到每个用户运用的情况。举个例子，明天智能手机都能提供GPS天文地位，明天的智能手机有很多上网的功用，我们可以抓取到他身边冤家跟谁打电话，他家在哪里等等，他常常去哪里出差等等信息，为什么我们不能提供一个贴心的客户化定制的效劳，而是一个规范的套餐给他呢？明天很多人有多个智能设备，有手机，有智能的电脑或许iPad等等，为什么我们的套餐里不能把这些一致在一同了？把数据量可以集中在一同运用呢？要分红一个个套餐去提供。在将来几年我置信会对行业形成很大的影响，哪个客户效劳供给商更能理解客户需求，更能提供贴心的套餐，关于客户来讲可以提供更好的协助。

#p#分页标题#e#

　　大数据除了对客户来讲提供协助以外，对我们公司外部的运营也可以提供一定的协助。运营的环境跟普通客户的剖析有一点不一样，除了人为发生的数据以外，很多也有能够是一些数据发生的数据，我们是机械发生的数据，机械发生的数据可以来自于设备自身，也可以来自于物联网、传感器提供的有关信息，可以是静态的，可以是非构造化的，可以是流数据。如今大数据环境里，怎样样可以无效地把这些数据一同抓出去，无效地帮助提供剖析。在运营的环境里其中一种常常运用的场景是，怎样样预知的提供维护。在设备的世界里我们有各种各样的设备，像智能电表，每一个机器里的监控器、传感器等等。我们透过搜集这些数据，剖析这些数据，可以提供更实时的，不要遇到事故当前才举动，我们预知某些设备需求维护等等。在运营剖析进程里次要分为两个类型的运用，一种场景，流数据剖析，实时监控，我们怎样经过传感器传过去的数据可以提供剖析，这里提供了SPSS预测推算的工具，透过数学模型，明天在座有很多博士，由于在大数据数学模型是十分关键的，怎样样树立一个模型，我们可以放在透过我们搜集到的数据，经过模型的过滤当前，我们得出有用的信息。SPSS就可以提供一个无效建模的剖析，提供实时流数据剖析。假如我希望把数据暂时性留上去，由于实时性剖析普通抓取的数据会比拟少，我能够希望看到历史的特性，我可以透过实时的数据留上去当前，放在BigInsights，I/O吞吐量十分大的平台可以把数据实时搜集起来，抓取一些放在外面，然后再做建模，这样可以再多加一些历史数据的剖析，还有一些穿插业务的剖析等等。这是我们可以提供的有关处理方案，当然我们也可以把数据放在传统数据仓库做一些校验等等。

　　这里提供一个案例是Fiserv，是IBM十分有名的客户，它在全球范围内提供了金融的数据剖析处理方案给他的金融机构，像一些银行、保险机关，他希望协助一些中小型银行提供高质量的数据剖析。这个客户希望在数以亿计的买卖量里抓取对客户构成严重影响的数据，然后提供应金融机构，提供一些效劳。举个例子，假如有一个客户过往买东西的时分，如今忽然多逛了一些婴儿用品的商场，我们有理由置信，他生活方式会发生改动，我们把有关信息抓取到这些特性当前，交给银行或许金融机构，他可以向那个客户自动提供一些像教育基金，一些新的保险方案，或许提供一些储蓄方案等等给他们，这样就可以针对性为客户定制客户化的效劳，这样可以提供更好的效劳质量。这个客户每年处置的买卖量到达1万亿美元，它不但采用Cognos、SPSS等架构。我想问在座各位，假如各位是一个CIO坐在企业里要处置1万亿的买卖每年，你会选择什么样的大数据平台呢？开源的，还是企业版的？IBM有这样一个成功案例，希望可以跟你们参考。

　　接上去我们从数据仓库的加强提供剖析，数据仓库的加强次要来自于几方面，第一是我们明天有大数据、新数据的发生，我们尽能够应用多元化的数据。第二是我们希望把明天的数据仓库无效运用起来，由于发现明天建造的很少数据仓库里，能够很大局部的数据不见得常常被运用，数据量很大，一定要有取舍。大数据，并不是一切数据都要，是要抓一些有用的数据才有意义。在这个前提下，我们可以提供几种处理的场景，第一种是Pre-Processing Hub，经过流数据，我们可以施行透过Streams把它剖析，也可以把它放在BigInsights外面停止一些数据处置，然后再停止剖析。假如流数据重要性不是很多，用完之后可以马上丢弃，普通来讲秒级以内做好剖析。Query-able Archive可查询的数据归档，传统的数据仓库里会发现很少量的数据，怎样样无效剖析，数据量越大，剖析的工夫能够不是线性的增长，我们怎样样无效管理那个数据，也是进步效劳承诺十分重要的信息。透过IBM技术，我们可以把传统的数据，一些不常常运用的或许一些过时的信息，把它放在BigInsights Hadoop架构，我们可以把它抓出来放在BigInsights体系架构外面，把过时的不常常用的放在外面，由于那个架构I/O吞吐量比拟快，同时架构绝对传统构造化数据价钱比拟廉价一点。我们怎样样提供一个一致的剖析、一致的报表，IBM Cognos零碎可以从传统构造化数据里抓取数据，也同时可以从非构造化环境里抓取数据，帮你持续停止剖析。我不需求把一切数据都放在中心企业级的设备里，有一局部可以放在扩展性比拟大的BigInsight架构。Exploratory Analysis，发掘一些信息的剖析。新类型的数据次要有两类，一类是非构造化数据，第二个类型是流数据。透过IBM软件处理方案，我们可以把这两类数据结合传统构造化数据，一致做剖析，这样可以给客户提供新一点的Insight信息。

#p#分页标题#e#

　　这里提供了一个案例是联动优势，联动优势是中国挪动跟中国银结合资的企业，作为中国挪动次要的网上领取的效劳供给商。它采用了IBM的PureData For Analytics处理方案，帮他们大大放慢了数据剖析的进程。由于他们如今的数据有400台机器，200个业务使用，它的数据辨别放在不同的数据仓库里，但是他们的业务透过火析运用的情况，我们怎样样可以抓到一些风险，或许添加产品推行。他们的剖析十分重要，所以每天他们都要停止相关的剖析。他们传统是把数据放在很多的TB级的数据仓库里，很难抓取一些数据，有的能够要几天赋能抓取一个报告。Netezza如今叫做PureData for Analytics处理方案当前，我们可以用新一代减速技术，可以更快地协助他们停止数据的剖析，比原来提升了一倍的工夫以上。同时部署PureData Analytics需求一天就可以部署完成，关于数据库管理员来讲，性价比可以大大降低，增加一半。

　　平安智能的扩展，大数据的发生某种水平上跟平安性也有很大的关系，怎样样可以无效地剖析流数据，怎样样可以无效地做关联性等等。平安次要是几方面，一方面是大数据自身，也需求留意它的平安性契合规律。另一方面，大数据的体系架构十分合适针对一些平安性的使用。这个架构图是针对一些平安的零碎，监控的零碎。我们可以透过新一代，图里有两边数据，左边是传统构造化数据，右边是复杂的非构造化数据，像视像的信息，我们怎样可以实时的搜集进一些有关的剖析，IBM提供一些相关的处理方案。像il，可以帮助抓取很多传统的数据，非关联性的数据，比方我们要剖析一个罪案的时分，可以把打电话信息跟买卖的信息，网上信息等等做一个关联性的剖析，透过新一代构造可以提供有关的信息。】

　　在金融行业平安性也十分重要，次要在两方面，一方面是避免欺诈。我们怎样样晓得买卖是有潜在成绩的，有什么处理方案。另一方面，金融机构，由于触及的金额很大，也是遭到很多政府规律的服从或许上市公司规律的服从，怎样样满足平安的服从呢？我们需求有很好的处理方案。这里提供一个案例，是中国最大城市的银行，采用的是IBM PureData Analytics，还有IBM的Gardium，这里特别讲一讲Gardium的处理方案，Gardium是Compliance设备，可以放在网络上连到数据库，在数据库里装置一个驱动器当前，可以帮你监测买卖自身，两头加密的数据也可以平安停止剖析。把数据管理员跟剖析的人任务划分，提供了十分好的监控机制，让你可以看到，举个例子，你怎样晓得有一团体下载了某一个信誉卡的买卖，你怎样样在金融机构里可以抓取到这个数据，假如传统没有这个机制的话，数据库的管理员是有很大的才能，本人出来做很多扫描，数据就抓出来了。但是透过这种机制我们可以提供第三方监控，我们可以看到哪一团体跟哪一团体买卖的信息我们可以记载在Gardium外面，这是只读的环境，不会被修正。这样我们可以发生一个报表，来满足各行各业，政府监控的需求。这样我们也给大数据的环境提供了十分平安的环境。

　　我在这里跟各位分享了大数据的五个运用的经典场景，希望各位也可以开端进入大数据的时代。

　　理解更多大数据信息，点击进入《大数据，大剖析，大决策》专区