大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。

　　大数据发展的挑战

　　目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失；企业内部数据孤岛严重，导致数据价值不能充分挖掘；数据可用性低，数据质量差，导致数据无法利用；数据相关管理技术和架构落后，导致不具备大数据处理能力；数据安全能力和防范意识差，导致数据泄露；大数据人才缺乏导致大数据工作难以开展；大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。

　　挑战一：业务部门没有清晰的大数据需求

　　很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。

　　挑战二：企业内部数据孤岛严重

　　企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。

　　挑战三：数据可用性低，数据质量差

　　很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。

　　挑战四：数据相关管理技术和架构

　　技术架构的挑战包含以下几方面：（1）传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战；（2）很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容；（3）传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力；（4）海量的数据需要很好的网络架构，需要强大的数据中心支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。

　　挑战五：数据安全

　　网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。

　　挑战六：大数据人才缺乏

　　大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。

　　挑战七：数据开放与隐私的权衡

　　在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。

　　大数据发展趋势

　　虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地；大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现；大数据安全越来越受重视，大数据安全市场将愈发重要；大数据促进智慧城市发展，为智慧城市的引擎；大数据将催生一批新的工作岗位和相应的专业；大数据在多方位改善我们的生活。

　　趋势一：数据资源化，将成为最有价值的资产

　　随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、百度、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。

　　趋势二：大数据在更多的传统行业的企业管理落地

　　一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。

　　趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现

　　来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。

　　趋势四：数据将越来越开放，数据共享联盟将出现

　　大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放；上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据。

　　2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。

　　趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要

　　随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

　　趋势六：大数据促进智慧城市发展，为智慧城市的引擎

　　随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都以大数据为基础的的智慧城市应用领域。

　　趋势七：大数据将催生一批新的工作岗位和相应的专业

　　一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。

　　趋势八：大数据在多方位改善我们的生活

　　大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。

　　企业的安全管理可以说是一个恶性循环。当某种安全违规行为发生时，企业就会增加一个新的安全级别，这无形中就增加了用户在实际工作中的麻烦，进而开始寻求解决这些麻烦问题的解决方法。然后就出现了安全违规行为的一个突破口，这一恶性循环又重新开始了。

　　“每当我们遭遇到某一安全缺口时，企业IT安全责任部门就会将'安全围栏'增高三英尺，并指望用户来挑战这三英尺高的围栏。”位于安大略省的SecureKey Technologies公司首席身份官Andre Boysen表示。

　　许多用户管理多个站点账户所采用一套应对方法是多站点共用同一密码。这样，一旦其中任何一处站点的密码遭泄露，那么，所有这些账户就可能都受到影响，包括那些与工作相关的账户。

　　“鉴于我们在密码管理方面的安全状况已然够糟糕的了，而第二大因素使得现状变得更糟。”他说。文本信息、智能手机的应用程序、USB、声音，视频和指纹扫描仪，这些技术的广泛普及，成为了安全管理威胁的第二大因素，使得安全管理工作简直没有尽头，也没有明确的赢家。

　　一些企业正在通过减少用户的密码数量来解决这一问题，利用密码管理工具来帮助他们管理他们的密码，并切换到更人性化的第二因素系统，如智能手机应用程序。

　　如下，是企业可以用以借鉴参考解决相关密码管理问题的五种方法：

　　1、基于云的密码管理服务

　　实现单点登录对于一家实施集中管理的企业是足够的。而当试图将其强加在一些自主自治性的部门则几乎是不可能的。

　　这正是Rotary International公司所面临的密码问题。这家全球性的服务机构拥有120万会员，分属于34000家不同的俱乐部。

　　由于这些成员俱乐部都是自治的，这样可能在一处俱乐部网站用户有一个登录名和密码，而到另一处区域性的网站又有另一套相关的账户密码，而了国家地域级别的网站又有一套单纯的账户密码，甚至对于移动应用程序和相关配套开发的其他服务，又有一套密码系统。

　　“这无疑是相当混乱的。” 这家位于伊利诺伊州埃文斯顿的Rotary International公司CIO彼得·马科斯说。

　　我们所面临的挑战问题是要在整个企业范围内进行安全更新，包括那些实行自主性管理的俱乐部网站。 “这引导我们开始采用云服务。”他说。具体来说，他们选择了Octa，这是一家按需身份和访问管理的服务供应商。

　　另外，云交付意味着Rotary公司将得到持续的改进。“我们现在可以提供安全即服务。”他说。本地的俱乐部可以发送登录请求到上级组织，其可以作为中央的枢纽连接其所有的俱乐部成员。

　　“其简化了俱乐部的管理。”他说。“他们无需自行管理自己的用户，也大大方便了俱乐部的用户成员，使整个企业的资源能够更便捷的在全球范围内访问。”

　　整个过程中最难的部分是将个别俱乐部纳入到整个企业的用户管理系统。大约8000家俱乐部使用了现成的俱乐部管理软件，现在，整个渠道都能够已经可以 采用安全即服务了。另外1000家左右的俱乐部切换到自己的管理系统。马科斯说，使用率的普及起步慢，但他希望随着技术自身不停的得到验证，并达到临界质 量，其部署采用率将得到逐步提高。“但仍然有很多俱乐部并不愿意放弃他们的控制权。”他补充道。

　　Rotary公司也正在改变其自身看待密码的方式，不再固定的采用他们曾经的标准的八个字符的密码。

　　“我们正在寻求摆脱仅仅依靠由特殊字符，大写字母，数字，和增加密码字符长度的方法，而鼓励他们使用一个短语。”他说。“这样的密码长度足够，能够提供足够的密码安全，并解决蛮力型攻击，而我们的成员将更容易记住这种短语型的密码。

　　2、现成的密码管理软件

　　Secure-24公司是一家总部位于底特律的托管企业，服务于汽车业，制造业和医疗保健业等企业。该公司也同样面临着密码管理的问题，他们需要为其客户进行密码管理，而这些客户需要能够确保自己安全地访问他们的系统。

　　“客户会要求我们为不同的服务器，不同的技术创造密码，但他们又不想让我们知道这些密码，或将其保存或记住这些密码。”该公司的系统工程师Eric Zehnder表示。

　　为了解决这个问题，Secure-24转向采用Thycotic的秘密服务器企业密码管理软件。该软件为多家企业客户在多个领域提供自动化的密码管理。

　　不存在密码落入坏人手中的风险。“用户甚至都不知道密码。”Thycotic的企业信息安全架构师凯文琼斯表示。

　　3、智能手机应用程序的双因素认证

　　当然用户在一定程度上也必须进行自身系统的验证。而消除登录总数意味着第一次登录就显得更为重要。

　　Secure-24采用双因素认证的方法以确保安全识别用户，同时，该公司正在努力以使得这个过程更简单。

　　在过去，第二因素是典型的密钥：RSA安全ID或Vasco Digipass，取决于客户的偏好。这对于那些将密钥保管在密钥链的企业非常奏效。

　　“如果没有密钥，他们将如何工作?” Secure-24的Zehnder说。但有些员工将其拴在他们的工牌吊带上，更容易被忘在家里。

　　另外，远程办公者可能在工作时没有将密钥随身带着。“我通常会随身带着我的手机，但我不会随身带着密钥。” Zehnder说。

　　现在，该公司正在逐渐放弃密钥的方法，而采用基于iPhone和Android设备的应用程序。“我注意到仍然有更多的数字密码，这些软件应用程序通常有一串长达八位数的PIN码，而在之前也只有六位字符的密码。”他补充道。

　　基于手机的系统的成本是相当便宜的，他说。Secure-24过去需要购买大型机架，每台机架大约100美元。Zehnder说。“所以，曾经有一 家采用我们技术的客户每次当他们的员工丢失了密钥，就会很生气，因为这需要花费昂贵资金来更换。但手机应用程序软件则是免费的，所以其管理成本会比较便宜 一点。”

　　另外，如果手机丢失，远程禁用应用程序是很容易的，他补充说。而且，现在对于那些智能手机的粉丝来说有更多的好消息。随着iOS系统在2014年9月进行的更新，苹果现在已为第三方开发者开放其Touch ID指纹识别功能了。

　　“当我开始看到密码应用程序使用您的指纹来生成一个随机密码或随机代码时，我不会感到惊讶。”查尔斯说tendell，安全咨询公司Azorian Cyber Security的创始人Charles Tendell表示。“随着其变得越来越简单，我们将看到其更为广泛的采用。”

　　这一领域的安全技术发展得很快，安全咨询公司EmeSec的创始人Maria Horton说。Horton曾担任国家海军医疗中心的首席信息官，现在与一些联邦机构的客户合作。

　　当谈到这项技术的发展时，金融机构的企业会受到重要影响，而政府部门也将成为其中重要的参与者。

　　两年前，联邦政府层面的主要问题集中在知识共享方面，她说。“但由于身份的访问控制，知识分享是非常困难的。”她说。因此，今年春天，他们发起了一项新的身份认证与管理倡议。

　　“这还处在期望阶段。”她说，但是联邦政府已经认识到这一个问题，并已开始探索潜在的战略了。

　　4、从特权用户开始

　　将整个企业都转换到一个新的密码管理和认证系统可以是非常困难的，尤其是要用户改变他们的行为。弗吉尼亚州的安全供应商Xceedium公司首席 战略官Ken Ammon建议企业从他们的特权用户开始。这是一个小的群体，而针对这一群体提高安全性将带来最大的投资回报。

　　例如一些公司采用基于角色的访问管理模式，或让多人共享同一个管理员帐户，或允许根用户权限设置。“因此没有办法明确谁执行了什么操作。”他说。

　　如果一个黑客进入了公司的系统，并获得了这些证书，他们就可以做大量的破坏。

　　事实上，这正是今年许多企业所遭遇的顶级安全漏洞，包括今年早些时候易趣网所遭遇的黑客攻击致使大约1.45亿用户记录被泄露。

　　网络攻击者窃取了一小部分数量的员工登录凭据，允许未经授权访问易趣网的客户数据库，易趣网在一份声明中称。

　　5、用密码口令代替密码

　　另一个比较简单的方式是不再采用标准的密码形式：即由符号，数字，大写字母所组成的八个字符的密码形式，而让用户有一段长但容易记忆的密码口令。

　　“基于我们在过去的几年里针对用户所进行的一系列训练，好的密码是那些他们不记得的。” SANS的网络防御课程团队成员Keith Palmgren说。“更长的密码，可以让您轻松地记住：诸如‘i went fishing last saturday night(我上周六晚上去钓鱼了)’就是一个很好的密码，即使全部小写。这样的短语口令不会出现在任何黑客辞典中。如果一家公司想要在这方面进行改进， 但不负担不起迁移到双因素认证的基于令牌或生物认证的系统，他们应该仔细考虑更改密码管理政策，开始改变更现实一点。”

　　企业可以做的另一件事是为他们的员工提供个人密码管理工具，使他们不会在工作中使用与个人网站相同的密码。

　　Palmgren使用LastPass。“我有一个网上银行的密码有30个字符长，”他说。“这是高度复杂的，我不需要记住它，因为LastPass可以帮助我记住。”

　　一些公司已经开始使用企业版本的LastPass，他说。LastPass是一款基于云计算的服务，配合本地台式机或智能手机安装应用程序，处理加密问题。

　　“唯一储存在我们的服务器上的是加密的点，我们没有密钥。” LastPass的发言人Cid Ferrara说。

　　目前已经有超过5500家企业使用LastPass了，她说，从中小型企业到财富500强。工作和个人密码是严格分开的，但却有联系的，这样用户就不需要在他们的个人账户和工作LastPass帐户之间进行切换。

　　公司可以采用一系列双因素认证技术和基于SAML的单点登录系统的组合来使用平台。

　　其允许企业管理团队成员，例如，谁访问了共享帐户。这些口令共享文件夹是消费者版本和企业服务版本之间的主要差异。

　　“您企业可能会有一个五人的营销团队，他们都需要分享该认证证书，”她说。“共享文件夹就可以安全地保证他们的访问，而不会丢失任何可跟踪性信息。”

　　云计算的“横空出世”让很多人将其视为一项全新的技术，但事实上它的雏形已出现多年，只是最近几年才开始取得相对较快的发展。确切地说，云计算是大规模分布式计算技术及其配套商业模式演进的产物，它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展。近些年来，托管、后向收费、按需交付等商业模式的演进也加速了云计算市场的转折。云计算不仅改变了信息提供的方式，也颠覆了传统ICT系统的交付模式。与其说云计算是技术的创新，不如说云计算是思维和商业模式的转变。

　　下面详细谈一谈云计算的核心技术。

　　云计算是一种以数据和处理能力为中心的密集型计算模式，它融合了多项ICT技术，是传统技术“平滑演进”的产物。其中以虚拟化技术、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、信息安全、云计算平台管理技术、绿色节能技术最为关键。

　　1、虚拟化技术

　　虚拟化是云计算最重要的核心技术之一，它为云计算服务提供基础架构层面的支撑，是ICT服务快速走向云计算的最主要驱动力。可以说，没有虚拟化技术也就没有云计算服务的落地与成功。随着云计算应用的持续升温，业内对虚拟化技术的重视也提到了一个新的高度。与此同时，我们的调查发现，很多人对云计算和虚拟化的认识都存在误区，认为云计算就是虚拟化。事实并非如此，虚拟化是云计算的重要组成部分但不是全部。

　　从技术上讲，虚拟化是一种在软件中仿真计算机硬件，以虚拟资源为用户提供服务的计算形式。旨在合理调配计算机资源，使其更高效地提供服务。它把应用系统各硬件间的物理划分打破，从而实现架构的动态化，实现物理资源的集中管理和使用。虚拟化的最大好处是增强系统的弹性和灵活性，降低成本、改进服务、提高资源利用效率。

　　从表现形式上看，虚拟化又分两种应用模式。一是将一台性能强大的服务器虚拟成多个独立的小服务器，服务不同的用户。二是将多个服务器虚拟成一个强大的服务器，完成特定的功能。这两种模式的核心都是统一管理，动态分配资源，提高资源利用率。在云计算中，这两种模式都有比较多的应用。

　　2、分布式数据存储技术

　　云计算的另一大优势就是能够快速、高效地处理海量数据。在数据爆炸的今天，这一点至关重要。为了保证数据的高可靠性，云计算通常会采用分布式存储技术，将数据存储在不同的物理设备中。这种模式不仅摆脱了硬件设备的限制，同时扩展性更好，能够快速响应用户需求的变化。

　　分布式存储与传统的网络存储并不完全一样，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

　　在当前的云计算领域，Google的GFS和Hadoop开发的开源系统HDFS是比较流行的两种云计算分布式存储系统。

　　GFS（GoogleFileSystem）技术：谷歌的非开源的GFS云计算平台满足大量用户的需求，并行地为大量用户提供服务。使得云计算的数据存储技术具有了高吞吐率和高传输率的特点。

　　HDFS(HadoopDistributedFileSystem)技术：大部分ICT厂商，包括Yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O 速率等方面。

　　3、编程模式

　　从本质上讲，云计算是一个多用户、多任务、支持并发处理的系统。高效、简捷、快速是其核心理念，它旨在通过网络把强大的服务器计算资源方便地分发到终端用户手中，同时保证低成本和良好的用户体验。在这个过程中，编程模式的选择至关重要。云计算项目中分布式并行编程模式将被广泛采用。

　　分布式并行编程模式创立的初衷，是更高效地利用软、硬件资源，让用户更快速、更简单地使用应用或服务。在分布式并行编程模式中，后台复杂的任务处理和资源调度对于用户来说是透明的，这样用户体验能够大大提升。MapReduce是当前云计算主流并行编程模式之一。MapReduce模式将任务自动分成多个子任务，通过Map和Reduce两步实现任务在大规模计算节点中的高度与分配。

　　MapReduce是Google开发的java、Python、C++编程模型，主要用于大规模数据集（大于1TB）间的并行运算。MapReduce模式的思想是将要执行问题分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配(调度)给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。

　　4、大规模数据管理

　　处理海量数据是云计算的一大优势。那么如何处理则涉及到很多层面的东西，因此高效的数据处理技术也是云计算不可或缺的核心技术之一。对于云计算来说，数据管理面临巨大的挑战。云计算不仅要保证数据的存储和访问，还要能够对海量数据进行特定的检索和分析。由于云计算需要对海量的分布式数据进行处理分析，因此，数据管理技术必需能够高效的管理大量的数据。

　　Google的BT（BigTable）数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术。

　　BT（BigTable）数据管理技术：BigTable是非关系的数据库，是一个分布式的、持久化存储的多维度排序Map.BigTable建立在GFS,Scheduler,LockService和MapReduce之上，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。

　　开源数据管理模块HBase:HBase是Apache的Hadoop项目的子项目，定位于分布式、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。作为高可靠性分布式存储系统，HBase在性能和可伸缩方面都有比较好的表现。利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

　　5、分布式资源管理

　　云计算采用了分布式存储技术存储数据，那么自然要引入分布式资源管理技术。在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。而分布式资源管理系统恰是这样的技术，它是保证系统状态的关键。

　　另外云计算系统所处理的资源往往非常庞大，少则几百台服务器，多则上万台，同时可能跨跃多个地域。且云平台中运行的应用也是数以千计，如何有效地管理这批资源，保证它们正常提供服务，需要强大的技术支撑。因此，分布式资源管理技术的重要性可想而知。

　　全球各大云计算方案/服务提供商们都在积极开展相关技术的研发工作。其中Google内部使用的Borg技术很受业内称道。另外，微软、IBM、Oracle/Sun等云计算巨头都有相应解决方案提出。

　　6、信息安全调查

　　数据表明，安全已经成为阻碍云计算发展的最主要原因之一。数据显示，32%已经使用云计算的组织和45% 尚未使用云计算的组织的ICT管理将云安全作为进一步部署云的最大障碍。因此，要想保证云计算能够长期稳定、快速发展，安全是首要需要解决的问题。

　　事实上，云计算安全也不是新问题，传统互联网存在同样的问题。只是云计算出现以后，安全问题变得更加突出。在云计算体系中，安全涉及到很多层面，包括网络安全、服务器安全、软件安全、系统安全等等。因此，有分析师认为，云安全产业的发展，将把传统安全技术提到一个新的阶段。

　　现在，不管是软件安全厂商还是硬件安全厂商都在积极研发云计算安全产品和方案。包括传统杀毒软件厂商、软硬防火墙厂商、IDS/IPS厂商在内的各个层面的安全供应商都已加入到云安全领域。相信不久的将来，云安全问题将得到很好的解决。

　　7、云计算平台管理

　　云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效地管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。云计算系统的平台管理技术，需要具有高效调配大量服务器资源，使其更好协同工作的能力。其中，方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营是云计算平台管理技术的关键。

　　对于提供者而言，云计算可以有三种部署模式，即公共云、私有云和混合云。三种模式对平台管理的要求大不相同。对于用户而言，由于企业对于ICT资源共享的控制、对系统效率的要求以及ICT成本投入预算不尽相同，企业所需要的云计算系统规模及可管理性能也大不相同。因此，云计算平台管理方案要更多地考虑到定制化需求，能够满足不同场景的应用需求。

　　包括Google、IBM、微软、Oracle/Sun等在内的许多厂商都有云计算平台管理方案推出。这些方案能够帮助企业实现基础架构整合、实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，让企业云计算平台价值得以充分发挥。

　　8、绿色节能技术

　　节能环保是全球整个时代的大主题。云计算也以低成本、高效率着称。云计算具有巨大的规模经济效益，在提高资源利用效率的同时，节省了大量能源。绿色节能技术已经成为云计算必不可少的技术，未来越来越多的节能技术还会被引入云计算中来。

　　CarbonDisclosureProject（碳排放披露项目，简称CDP）近日发布了一项有关云计算有助于减少碳排放的研究报告。报告指出，迁移至云的美国公司每年就可以减少碳排放8570万吨，这相当于2亿桶石油所排放出的碳总量。

　　总之，云计算服务提供商们需要持续改善技术，让云计算更绿色。