大数据使用及现状调研报告

⼤数据使⽤及现状调研报告

　 ⼤数据，指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增长率和多样化的信息资产。

⼤数据特征分析　　⼤数据，不仅有“⼤”这个特点，除此之外，它还有很多其他特⾊。在这⽅⾯，业界各个⼚商都有⾃⼰独特的见解，但是总体⽽⾔，可以⽤“4V+1C”来概括，“4V+1C分别代表了Variety（多样化）、Volume（海量）、Velocity（快速）、Vitality（灵活）以及Complexity（复杂）这五个单词。　　

Variety（多样化）

⼤数据⼀般包括以事务为代表的结构化数据、以⽹页为代表的半结构化数据和以视频和语⾳信息为代表的⾮结构化等多类数据，并且它们的处理和分析⽅式区别很⼤。　　

与⼤数据现象有关的数据量为尝试处理它的数据中⼼带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来⾃⽹页、互联⽹⽇志⽂件（包括单击流数据）、搜索索引、社交媒体论坛、电⼦邮件、⽂档、主动和被动系统的传感器数据等原始、半结构化和⾮结构化数据。简⾔之，种类表⽰所有的数据类型。

Volume（海量）　　

如今存储的数据数量正在急剧增长，毫⽆疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到⼀些企业使⽤存储集群来保存数PB的数据。随着可供企业使⽤的数据量不断增长，可处理、理解和分析的数据⽐例却不断下降。　　

通过各种智能设备产⽣了⼤量的数据，PB级别可谓是常态，⼀些客户每天处理的数据量都在⼏⼗GB、⼏百GB左右，估计国内⼤型互联⽹企业每天的数据量已经接近TB级别。

Velocity（快速）　　

⼤数据要求快速处理，因为有些数据存在时效性。⽐如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从⽽导致这些数据失去了分析的意义。　　

就像我们收集和存储的数据量和种类发⽣了变化⼀样，⽣成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应⽤到数据——数据流动的速度。有效处理⼤数据需要在数据变化的过程中对它的数量和种类执⾏分析，⽽不只是在它静⽌后执⾏分析。

Vitality（灵活）

在互联⽹时代，和以往相⽐，企业的业务需求更新的频率加快了很多，那么相关⼤数据的分析和处理模型必须快速地适应新的业务需求。Complexity（复杂）

　　虽然传统的BI已经很复杂了，但是由于前⾯4个V的存在，使得针对⼤数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理⽅式和⼯具。⼤数据⾏业发展现状

1、⼀些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联⽹⽤户，例如⾳乐、照⽚、视频、监控录像等影⾳资料。现在这些数据不但数据量巨⼤，并且共享到了互联⽹上，⾯对所有互联⽹⽤户，其数量之⼤是前所未有。

2、移动互联⽹出现后，移动设备的很多传感器收集了⼤量的⽤户点击⾏为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产⽣了⼤量的点击数据，这些数据被某些公司所有拥有，形成⽤户⼤量⾏为数据。

3、电⼦地图如⾼德、百度、Google地图出现后，其产⽣了⼤量的数据流数据，这些数据不同于传统数据，传统数据代表⼀个属性或⼀个度量值，但是这些地图产⽣的流数据代表着⼀种⾏为、⼀种习惯，这些流数据经频率分析后会产⽣巨⼤的商业价值。基于地图产⽣的数据流是⼀种新型的数据类型，在过去是不存在的。

4、进⼊了社交⽹络的年代后，互联⽹⾏为主要由⽤户参与创造，⼤量的互联⽹⽤户创造出海量的社交⾏为数据，这些数据是过去未曾出现的。其揭⽰了⼈们⾏为特点和⽣活习惯。

5、电商户崛起产来了⼤量⽹上交易数据，包含⽀付数据，查询⾏为，物流运输、购买喜好，点击顺序，评价⾏为等，其是信息流和资⾦流数据。

6、传统的互联⽹⼊⼝转向搜索引擎之后，⽤户的搜索⾏为和提问⾏为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。我们所指的⼤数据不同与过去传统的数据，其产⽣⽅式、存储载体、访问⽅式、表现形式、来源特点等都同传统数据不同。⼤数据更接近于某个群体⾏为数据，它是全⾯的数据、准确的数据、有价值的数据。中国的⼤数据之路任重⽽道远

中国⽬前的⼤数据应⽤环境和技术相对于美国⽽⾔，在整体技术⽔平、应⽤环境、国民意识、商业环境、技术⼚商、技术平台上⾯相差超过5年左右。在⼤数据应⽤的国家战略层⾯落后的也较多。2012年3⽉，美国奥巴马政府宣布推出“⼤数据的研究和发展计划”。该计划涉及美国国家科学基⾦、美国国家卫⽣研究院、美国能源部、美国国防部、美国国防部⾼级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，⼤⼒推动和改善与⼤数据相关的收集、组织和分析⼯具及技术，以推进从⼤量的、复杂的数据集合中获取知识和洞见的能⼒。美国奥巴马政府宣布投资⼤数据领域，是⼤数据从商业⾏为上升到国家战略的分⽔岭，表明⼤数据正式提升到战略层⾯，⼤数据在经济社会各个层⾯、各个领域都开始受到重视。

2014年从“两会”的提案、议案看，很多⼈建议将⼤数据业务上升为国家战略，互联⽹领军⼈物李彦宏在政协记者会上表⽰，政府应该把更多和⼈民⽣活有关的数据资料，公开地放到⽹络上；雷军则直接建议将⼤数据纳⼊国家战略，推动⼤数据切实地被⽤起来；科⼤讯飞刘庆峰建议国家建设声纹数据库进⾏⼤数据反恐。张近东、马化腾、杨元庆的提案也与数据应⽤有着紧密联系。但是在中国⼤数据国家战略和⼤数据产业发展发⾯还没有⼀个清晰的蓝图。最后总结⼀下，⼤数据时代将会给⼈类社会带来巨⼤变化。它是⼀个好的⼯具，就像计算机⼀样，帮助⼈们提升社会⽣产效率，了解事物真相，认识客观规律，同时加快进⼊智慧社会。全球⼤数据产业发展规模

2014年，全球⼤数据解决⽅案不断成熟，各领域⼤数据应⽤全⾯展开，为⼤数据发展带来强劲动⼒。2014年全球⼤数据市场规模达到285亿美元，同⽐增长53.2%。⼤数据逐渐成为全球IT⽀出新的增长点。

2014年数据中⼼系统⽀出达1430亿美元，⽐2013年增长2.3%。⼤数据对全球IT开⽀的直接或间接推动将达2320亿美元，预计到2018年这⼀数据将增长3倍。

中投顾问发布的《2016-2020年中国⼤数据⾏业投资分析及前景预测报告》从市场结构分析，2014年，全球⼤数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增⼤，技术门槛逐步降低，市场竞争越发激烈。在全球⼤数据市场中，⾏业解决⽅案、计算分析服务、存储服务、数据库服务和⼤数据应⽤为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，⽹络服务仅占据了2%的市场份额。我国⼤数据产业发展提速1、基础设施建设率先起步

⼤数据产业“⼗三五”发展规划已经在2016发布。这是实施国家⼤数据战略的⼜⼀政策举措。

⼤数据将是新的⽣产要素。政策助推知识开始，云计算、⼤数据、⼈⼯智能是⼤数据这场“新⼯业⾰命”的重要推⼿。其中，数据是重要资源。在此背景下，众多互联⽹科技企业以及传统⽣产企业都在积极布局⼤数据产业。

统计数据显⽰，2015年国内⼤数据产业市场规模已达1105.6亿元，较2014年增长44.15%。其中，⼤数据基础设施建设、⼤数据软件和⼤数据应⽤分别占⽐64.53%、25.47%和10%。⽬前已有42家计算机⾏业上市公司披露了2016年上半年报业绩预告，平均增速中位数为15%。从细分领域看，⼤数据与⼈⼯智能⼦板块平均增速中位数为65%。

随着⼤数据产业的快速发展，受益顺序为基础设施建设率先起步，并带来数据分析、数据源、数据安全环节的发展。在基础设施⽅⾯，数据中⼼、服务器等领域近年来快速增长。其中，中科曙光、浪潮信息等公司服务器业务收⼊增长明显。随着基础设施逐渐完善，数据分析成为了可能。数据分析服务在整体产业收⼊的占⽐也代表着⼤数据市场发展的成熟度。中投顾问发布的《2016-2020年中国⼤数据⾏业投资分析及前景预测报告》指出，当前数据分析服务在国内⼤数据产业中的占⽐仍保持较低⽔平，为24%⽔平。这和全球市场的数据分析服务占50%⽐例存在明显差异，国内市场发展整体滞后于全球市场，拥有较⼤的空间。2、多个领域应⽤正在兴起

国内数据应⽤正在兴起，尤其是在⾦融、电信、政务、医疗、能源等⾏业已经起步，并逐步向其他⾏业扩展。以⾦融领域为例，蚂蚁⾦服推出了芝⿇信⽤，其芝⿇分来⾃淘宝、⽀付宝的数据占30-40%。通过综合考虑个⼈⽤户的信⽤历史、⾏为偏好、履约能⼒、⾝份特质、⼈脉关系等信息，直接与其信⽤挂钩，构筑信⽤消费⽣态。在电信领域，⼤数据的作⽤明显。传统通信业务下滑，电信运营商急需寻找下⼀个红利通道。数据经营转型已成为运营商的共识。在⼤数据业务运营上，电信运营商将以“授权开放+合作共赢”模式为主，合作伙伴可能获得60%收益分成。东⽅国信、初灵信息、亨通光电、烽⽕通信等与电信运营商关系紧密，拥有⼤数据全产业链布局和技术领先的公司具有先发优势。

⽬前，相关⼤数据公司正在积极布局⼤数据产业。以智库2861举例来说，每⽇数据采集以峰值状态两万个爬⾍7*24⼩时运⾏，经过云端运⾏的海量模型和算法进⾏清洗，达到去伪存真的效果，从⽽挖掘出可⽤的结构化数据，建⽴数据模型；且这些模型可以不断⾃我完善和学习，根据⽤户的实际需求给出不同的策略分析建议，从⽽⽤于政企法⼈决策辅助或决策分析，构建全新“⼤数据+政企治理”的新⽣态。

⼤数据技术应⽤前景展望1、数据的资源化

在⼤数据技术中蕴含着丰富的数据信息资源，它们的科学有效应⽤能够切实为企业带来巨⼤的经济产值，产⽣更多经济收益。因此，要利⽤好信息资源就要进⼀步开放研究⼤数据技术。信息资源的有效应⽤离不开先进的数据技术和信息化思维，⽹络技术⼈员应当将传统信息资源开发管理⽅法与⼤数据技术有机地结合起来，通过将不同数据集进⾏重组和整合，发挥就数据集所不具有的新功能，从⽽为企业创造出更多的价值。⽽掌握了数据资源处理技术的企业，在未来还能够通过将数据使⽤权进⾏出租或者转让等⽅式获取巨⼤的经济收益。2、科技的交叉融合

⼤数据技术的发展不仅能够将⽹络计算中⼼、移动⽹络技术和物联⽹、云计算等新型尖端⽹络技术充分地融合成⼀体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效⽤。⼤数据技术的长⾜进步与发展既要求⼯程技术⼈员要⽴⾜于信息科学，通过对⼤数据技术中的信息获取、储存、处理等各⽅⾯的具体技术进⾏创新发展，也要将⼤数据技术与企业管理⼿段结合起来，从企业经营管理的⾓度研究分析现代化企业在⽣产经营管理活动中⼤数据技术的参与度及其可能带来的影响。在⼀些需要处理和应⽤到⼤量数据的信息部门，企业⼀⽅⾯要着⼒提⾼⼤数据技术的应⽤⽔平，另⼀⽅⾯要及时引起跨学科⼈才，充分发挥多科学与交叉性学科在本部门中的参与度。3、以⼈为本的⼤数据技术发展趋势

科学技术的使⽤主体归根结底是⼈，虽然在⼤数据技术⽀撑的⽹络信息环境下，信息数据的及时流通与整合能够满⾜⼈类⽣产⽣活的所有信息需求，能够为⼈的科学决策提供有效指导，但⼤数据技术终究⽆法代替⼈脑，这就要求⼤数据技术在发展过程中要坚持以⼈为本的基本原则，重视⼈的地位，将⼈的⽣产活动与⽹络⼤数据虚拟关系结合起来，在密切⼈与⼈之间的交流的同时，充分发挥每⼀个独⽴个体的个性和特长。