FTP诞生已有四十多年，不过，到目前为止它没有什么大变化。但当今的网络环境已经发生了巨变，产生了与过去迥然不同的新问题和新需求。安全问题、对一般技术用户的易用性、报告要求等都使得FTP成为许多企业不太喜欢的一种方案。管理员和IT在发送文件时需要人工进行，还且还容易出错。如果设置的不正确，用户有可能访问到不该访问的文件。

　　如今，共享文件和数据的新选择还是有不少的，但企业应调查并谋求一种可随着企业不断变化和扩展的需要而变更的灵活解决方案。

　　正如将任何新系统或过程引进到公司的基础架构一样，安全的文件传输应用也必须与现有的应用很好地协作，并支持与老应用程序的集成。还应遵循现有的安全设计，能够从小型部门扩展到大型部门，直到扩展到企业范围内的部署，并且还应当尽可能地利用现有的基础架构，如虚拟化环境、企业级存储系统和已经部署使用的Web组件。

　　在评估安全的文件传输应用时，企业应关注如下重要问题：安全性、架构、特性和易用性、管理、报告、许可协议和总拥有成本。

　　安全性

　　由于离开公司边界的数据有可能包含敏感数据或机密信息，锁定这种数据并确保只有经核准的接收者才能够接收信息，这应当成为一个关键标准。安全评估涉及从多个方面来考察产品，其中包括总体架构、数据的存储和保护、用户的身份验证，许可和角色、管理员可定义的策略，甚至还包括一个应用程序如何得到底层平台和现有安全配置的支持。

　　此外，还要测试其是否能够防御常见的漏洞，如防御SQL注入以及跨站脚本攻击对于任何面向公众的应用程序都非常重要。

　　架构

　　解决方案的总体架构和设计方法可以在很大程度上反映厂商在产品中的计划和思路。优秀的产品开发者为当今的需要而构建产品，但要预先考虑到明天的需要。在审查任何安全文件传输架构时，企业应注意厂商如何处理加密、灵活性、可升级性、对大文件的支持、网络中断及策略等。

　　此外，考虑现有应用程序的集成和扩展、可定制性、性能、用户和系统管理、产品的平台支持和编程接口等问题也很重要。此外，还要考虑该应用程序设计是否符合逻辑，各组件是否能很好地匹配，以及安全文件传输应用是否适应现有的基础架构。

　　特性和易用性

　　设计良好的用户界面对于任何技术的成功和有效利用都至关重要。一个系统的界面越友好，就越有可能被采用。安全传输应用界面的重要元素包括屏幕是否整洁、控制是否直观、文本表达是否清晰、外观和感觉是否总体一致等。这些要素直接影响到传输方案的采用，而最容易使用的工具将最有可能被终端用户接受。

　　管理

　　管理一个安全文件传输方案时涉及两个重要方面：用户管理和系统配置。基本的用户管理规则包括：使信息副本最小化（例如，在多用户数据库中）、利用现有的身份和访问管理数据库、在无需连续IT干预时就尽可能地使自动系统运行。灵活的系统配置和设置可以使公司更密切地匹配和支持现有的策略和过程。

　　报告

　　在部署了安全的文件传输方案后，报告就成为一个理解方案的利用、审计支持的重要工具。合规需求可能要求报告的生成满足法律规范，或满足内部使用指南和公司的监管。对用户活动的监视以及深入分析真实活动的能力有助于确定或纠正不合规的活动和过程，并满足企业的文件共享限制。

　　许可协议和总拥有成本

　　企业实施安全的文件传输工具可以使用户用新方式通过安全通道来发送敏感文件和数据。虽然这种功能一开始有可能满足某些个人或个别部门的需要，但其实施规模往往会越来越大。

　　理想情况下，安全的文件传输方案可由企业内的每一个员工使用，但预算限制可能会将其使用限制给受影响最大的个人和团队。许可协议之间有很大不同，企业寻求的方案应当是，随着企业需求的增加，扩大方案的使用范围不会受到处罚。此外，从经济的观点看，企业应衡量和计算使用方案多年以后的总拥有成本，以便于更好地比较不同厂商的产品。

　　作为互联网技术和通信需求迅猛发展的产物，VPN技术在互联网发展中的地位越发突显。随着十二五期间新一轮企业信息化进程的开启，越来越多的移动办公用户、企业分支机构开始选择VPN技术进行安全的远程访问，甚至许多大型跨国公司、政府部门也开始利用廉价的公用基础设施构建自己的专用广域网络，进行内部数据的安全传输。由于VPN技术的核心和基础仍是互联网，因此VPN技术发展所面临的安全问题也不容忽视。具体情况如下：

　　一、基本情况

　　VPN（virtual private network），即虚拟专用网或虚拟私用网，是指利用开放的公共网络资源建立专用网络的一种技术。它是内部网的扩展，通过特殊的加密通讯协议在互联网上位于不同地方的两个或多个内部网之间建立一条专有的虚拟通讯线路，且并不需要重新铺设光缆之类的物理设备，主要应用于内部数据传输和通过高速服务器代理服务实现网络加速。

　　（一）VPN的主要特点

　　一是成本低廉。VPN用户实际上不需要搭建一个独立专用的网络，且不必投入大量的人力和物力去维护广域网设备和远程访问设备。二是方便灵活。如果一个VPN节点存在问题，可以替换一个新的节点绕过它，从而避免维护和修理；如果用户想要与另一用户进行安全的信息传输，只需双方通过VPN配置安全连接信息即可。三是控制能力强。VPN能够提供细粒度的访问控制，能对用户权限、用户组权限、资源、服务、文件等访问，做到基于单个用户的精细控制；同时，用户能够完全掌握自己的网络控制权，对VPN的本地安全设置、网络配置等都可以自己管理。

　　（二）常见的三种VPN技术

　　一是IPSec VPN。IPSec协议是为了保障IP通信而提供的一系列协议族，主要针对数据在通过公共网络时的数据完整性、安全性和合法性等问题设计的一整套隧道加密和认证方案。IPSec VPN是指基于IPSec协议，通过包封装技术，能够利用路由地址封装内部网络的IP地址，实现异地网络的互通的虚拟专用网络。这类VPN的优点是世界公认的安全性，但是它的运行和长期维护需要大量技术支持，管理成本很高。

　　二是SSL VPN。SSL协议是套接层协议，是为了保障基于Web的通信安全而提供的加密认证协议。SSL VPN指的是使用者利用浏览器内建的SSL封包处理功能，用浏览器连接SSL VPN服务器，再通过网络封包转向的方式，让使用者可以在远程计算机执行应用程序，读取公司内部服务器数据的虚拟专用网络。相对于IPSec VPN，在保证安全性的前提下减少了操作的复杂性。

　　三是MPLS VPN。MPLS是多协议标签交换技术，通过将路由选择和数据转发分开，由标签来规定一个分组通过网络的路径，同时具有灵活多变的路由功能和较高的转发效率。MPLS VPN是利用MPLS技术，监护核心路由器的路由选择方式，利用传统路由技术的标记交换实现的虚拟专用网络。这类VPN具有很高的效率和灵活性，备受业界关注，在中国网通、铁通等全国骨干网的网络建设中得到了实践部署。

　　二、VPN面临的安全问题

　　从技术架构上来说，VPN可以分为客户端、传输端以及服务端。不同的VPN技术，所面临的安全隐患也不相同。具体情况如下：。

　　（一）IPSec VPN安全问题

　　IPSec VPN在通信协议和加密算法方面具有很强的安全性，它所面临的安全威胁主要来源于对客户端的攻击。

　　一是中间人攻击。主要发生在客户端通过无线或有线局域网访问互联网时（例如公用的WIFI、旅店内部局域网）。攻击者可以通过技术手段在内部网络虚拟放置一台受控制的计算机来窥探通信内容，造成信息泄露。二是本地安全配置不完善。由于VPN客户端的本地安全配置是由用户自己掌控的，可能由于人为因素而存在安全隐患。例如将许可证书保存在本地设备等。一旦攻击者控制了这些设备，就可以绕过身份验证，甚至连登录口令都不需要就能打开VPN通道。三是窃取VPN安全信息。攻击者可以通过发送恶意邮件等社会工程学的方法窃取VPN的安全信息。这些安全信息包括VPN客户端的IP地址、配置参数和用户许可证书等。利用这些安全信息，攻击者可以伪造通讯身份，从而对VPN的安全造成威胁。四是VPN内部安全防范薄弱。VPN在成功连通之后，对受信任用户的安全防范要求较低，普遍缺少隧道内的攻击防范策略，增加了VPN内部的安全风险。一旦攻击者成功入侵客户端主机，或者通过合法程序申请到客户端，就可以通过一些允许访问的主机或服务的应用层协议漏洞进行渗透，获取访问权限，进而获得内部的信息；或者利用客户端主机对内部网络和VPN服务器发起拒绝服务攻击、端口扫描等网络攻击，从而造成网络瘫痪或服务器配置信息外泄。

　　（二）SSL VPN安全问题

　　由于SSL VPN并不需要特殊的客户端软件，而是用Web浏览器代替，因此SSL VPN的安全威胁主要集中在浏览器和服务端。

　　一是不正确的系统操作引发的安全问题。例如用户不是关闭SSL VPN浏览器和服务器两端的进程来退出系统，而是直接关闭浏览器来代替退出登录，这可能导致SSL VPN服务器的进程并没有关闭（取决于SSL VPN的本地配置）。攻击者可以利用这种行为绕过身份验证而访问VPN，从而给VPN系统带来较大的安全威胁。二是针对身份认证的恶意攻击。SSL VPN允许用户在任何地点通过浏览器登录VPN系统，因此用户在公共场合登录时泄露登录口令等安全信息的危险增加。三是病毒通过隧道感染内部网络。SSL VPN的远程用户可以使用任何地点的任何客户端远程登录企业内部网络，一旦这些客户端存在病毒，且连上内部网络，病毒文件就能够利用SSL VPN隧道入侵内部网络。同时，由于内部网络边界防火墙的局限性，不能有效防止感染了病毒的软件或文件的传播，因此病毒能够通过隧道感染内部网络。四是Web服务器自身的安全隐患。大部分SSL VPN系统使用Web服务器作为其底层平台，这样，Web服务器的任何安全隐患，例如后门或越权漏洞等，都将给SSL VPN系统带来严重的安全问题。

　　（三）MPLS VPN安全问题

　　作为当今国内大型运营商的主流VPN技术，MPLS VPN采用了严格的路由信息隔离机制，同时采用面向连接的方式在运营商边界设备（网络接入层设备）之间建立标记交换隧道来传送用户信息，在一定程度上保证了用户信息传送的安全性。但作为基于IP通信的技术，且并未对传输的信息进行加密和认证，因此MPLS VPN仍然存在一些安全问题。

　　一是针对VPN路由设备的攻击。这种攻击通常在路由信息发布阶段进行。例如攻击者伪装成某个边缘设备与服务端设备建立会话连接并交换路由信息（版本信息、LAN口状态等），造成VPN内部路由信息的泄露；或者攻击者通过伪造或篡改路由信息，使用户的数据流传往错误的方向，以便窃听和分析用户的内部信息。二是针对网络设备的拒绝服务攻击。由于网络上的用户数据包和路由协议包是共享带宽传送的，因此过多的用户业务流有可能造成网络和设备资源被耗尽，导致对边缘设备或路由器的拒绝服务攻击，影响和破坏路由信息的正常传送。三是来自互联网的安全威胁。同之前来自内部网络的安全攻击不同，在用户通过MPLS VPN访问互联网的情况下，攻击者可以通过IP源地址欺骗、会话劫持、种植木马等传统的攻击手段发起攻击，对用户数据流进行非法的查看、修改、伪造、删除等操作。

　　当前各个领域数据生成速度逐渐加快，需要处理的数据量急剧膨胀。这些巨大的数据资源蕴藏着潜在的价值，需要对其进行有效的分析和利用。当前数据的特点除了数量庞大之外，数据类型也变得多样化，其中包括了结构化数据、半结构化数据以及非结构化数据。这些数量庞大、种类繁多的海量数据，给传统分析工具带来了巨大的挑战。当前对数据的分析不再是简单的生成统计报表，而是利用复杂的分析模型进行深人的分析，传统分析技术例如关系数据库技术已经不能满足其要求。在扩展性上，通过增加或更换内存、CPU、硬盘等设备原件以打一展单个节点的能力的纵向打一展(scale up)系统遇到了瓶颈;只有通过增加计算节点，连接成大规模集群，进行分布式并行计算和管理的横向打一展(scale out )系统才能满足大数据的分析需求[u。因此传统工具在扩展性上遇到了障碍，必须寻求可靠的数据存储和分析技术来分析和利用这些庞大的资源。利用云计算平台搭建Hadoop计算框架成为当前处理大数据的主要手段。然而由于云计算和Hadoop应用的特点和自身安全机制薄弱，不可避免地带来了安全风险。

　　1、大数据应用模式

　　云计算（Cloud Computing）是一种基于Internet的计算，是以并行计算（Parallel Computing）、分布式计算（Distributed Computing）和网格计算（Grid Computing）助为基础，融合了网络存储、虚拟化、负载均衡等技术的新兴产物。它将原本需要由个人计算机和私有数据中心执行的任务转移给具备专业存储和计算技术的大型计算中心来完成，实现了计算机软件、硬件等计算资源的充分共享。企业或个人不再需要花费大量的费用在基础设施的购买上，更不需要花费精力对软硬件进行安装、配置和维护，这些都将由云计算服务商CSP（Cloud Service Provider）提供相应的服务。企业或个人只需按照计时或计量的方式支付租赁的计算资源。云计算服务商拥有大数据存储能力和计算资源，被视为外包信息服务的最佳选择[31因此大数据的应用往往与云计算相结合。

　　Hadoop是当前最广为人知的大数据技术实施方案，它是Google云计算中的Map/Reduce}4}和GFS（Google File System）的开源实现。Hadoop提供了一种计算框架，其最为核心的技术是HDFS（HadoopDistributed File System）以及MapReduee，HDFS提供了高吞吐量的分布式文件系统，而MapReduee是大型数据的分布式处理模型。Hadoop为大数据提供了一个可靠的共享存储和分析系统。

　　尽管有一些组织自建集群来运行Hadoop，但是仍有许多组织选择在租赁硬件所搭建的云端运行Hadoop或提供Hadoop服务。例如提供在公有或私有云端运行Hadoop的Cloudera。因此将云计算与Hadoop结合处理大数据已成为一种趋势。

　　2、大数据安全风险分析

　　随着大数据应用范围越来越广，对数据安全的需求也越来越迫切。

　　由于云计算的特点是将数据外包给云服务商提供服务，这种服务模式将数据的所有权转移给了CSP，用户失去了对物理资源的直接控制[A1。而云中存储的大数据通常是以明文的方式存在的，CSP对数据具有底层控制权，恶意的CSP有可能在用户不知情的情况下窃取用户数据，而云计算平台亦可能受到攻击致使安全机制失效或被非法控制从而导致非授权人读取数据，给大数据安全带来了威胁。

　　Hadoop在设计之初并未考虑过安全问题，在Ha-doop 1.0.0和Cloudera CDH3版本之后，Hadoop加人了Kerberos的身份认证机制和基于ACL的访问控制机制。即使在安全方面增加了身份认证和访问控制策略，其安全机制仍然非常薄弱，因为Ker-beros的认证机制只应用于客户机(Clients )、密钥分发中心、服务器之间，只是针对机器级别的安全认证，并未对Ha-doop应用平台本身进行认证。而基于ACL的访问控制策略需要通过在启用ACL之后，对hadoop-policy中的属性进行配置，其中包括9条属性，它们限制了用户与组成员对Hadoop中资源的访问以及Datanode和Namenode或Jobtracke:和Tasktrackers等节点间的通信，但该机制依赖于管理员对其的配置，这种基于传统的访问控制列表容易在服务器端被篡改而不易察觉。而且基于ACL的访问控制策略粒度过粗，不能在MapReduce过程中以细粒度的方式保护用户隐私字段。况且针对不同的用户和不同应用，访问控制列表需要经常作对应的更改，这样的操作过于繁琐且不易维护。因此Hadoop自身的安全机制是不完善的。

　　2.1 不同应用模式下CSP及Uers带来的安全风险。

　　云计算中Hadoop有多种应用模式。在私有云中搭建Hadoop，即企业自己应用Hadoop，使用该平台的是企业内部各个部门的员工，外部人员无法访问和使用这些资源。这时的CSP指的是Hadoop的创建和管理者，IaaS级和PaaS级CSP为相同的实体;在公有云平台应用Hadoop，CSP有2级，IaaS级CSP，提供基础设施;PaaS级CSP，负责Hadoop的搭建和管理。这时两级CSP往往是不同的实体。

　　由于存储在Hadoop上的数据是明文的，所以Hadoop中的安全隐患是多方面的，笔者关注的是CSP和用户之间的安全问题，因此威胁对象分别是CSP和User。

　　CSP对用户数据的威胁指的是:CSP权限过大可在用户不知情的情况下获取用户数据。用户对CSP构成的威胁指的是:Faked用户获取合法用户数据或者恶意用户对CSP发起不合法请求，获取隐私数据。

　　Hadoop中主要的文件结构有如下几种:SequenceFile、RC File、Avro、文本格式、外部格式。其中有些文件格式是二进制形式的，但像文本格式和外部格式并不都是二进制格式，因此可读。由于是明文存储，CSP便可以通过读取数据块内容提取有价值的部分进行分析。IaaS级CSP对数据具有绝对的控制权，如果从物理磁盘窃取文件或数据块，便获得了其中的内容。可以通过建立第三方审计系统来保障其安全，这部分不在本文的讨论范围内。

　　Malice PaaS级CSP可以在用户不知情的情况下通过超级用户身份即特权管理员身份对文件权限进行更改，以合法身份对数据进行读取和分析。因此可以在位置1、2、5进行数据窃取。不过在1、5的位置获取数据是通过向Namenode请求数据块，从Datan-ode获取数据。

　　Fucked Use:假冒合法用户身份对数据进行读取，一旦获取了合法用户身份，便与合法用户拥有相同的权限，可以在1 ,5的位置通过向Namenode请求数据块，从Datanode获取数据，也可以在2的位置输出需要的数据进行分析。

　　Malice Use:在利用数据拥有者提供的数据进行分析时，窃取部分敏感字段进行分析和输出。可以在2中提取数据，在计算完后通过5获取分析结果。

　　2. 2 威胁模型

　　上面提到的是提供Hadoop服务的C SP和使用Hadoop的Use之间的安全风险，接下来对使用Ha-doop的用户Use角色进行细化，分析他们之间对数据隐私的窃取产生的安全问题。在云中搭建Hadoop提供服务的应用场景下，数据使用者收集数据拥有者的数据，并将数据分块存储于HDFS中，数据计算者提供对数据分析的代码，CSP提供数据存储和分析平台。因此涉及4类主体，数据拥有者、数据使用者、数据计算者和云服务提供商CSP。这里的不可信实体包括数据计算者和CSP。


　　一个在线零售商BigShop，拥有大量的客户交易数据库。现在假定所有记录是以 <客户、订单、日期>的形式存在数据库中，每个客户一份记录。一个机器学习专家Researcher，付给BigShop一些钱用来对特定的交易模式进行数据挖掘。BigShop加载数据到Hadoop框架中，Bob写MapReduce代码分析它。这里按照对角色的划分，BigShop属于数据使用者和CSP，客户为数据拥有者，Researche:为数据计算者。

　　假设Researche:想要得到特殊日子D的订单数口。他写了一个Mappe用来读取每份记录，如果记录日期D，就输出键值对，K是字符串序列，reduce仅仅汇总与之有关的每个关键字K，并输出结果。

　　这种情况下，对于BigShop的主要风险就是Re-searche的代码是不可信的，可能是有无意的漏洞或者是主动恶意漏洞。由于Researche的Mappe程序直接访问BigShop专有的交易记录，它可以存储部分数据到某个文件中，过后由Researche取走，或者程序把数据发送到网络上。

　　这样的泄露可能使得BigShop在商业上处于不利的地位并且由于没有经过客户的同意把交易数据公开而遭受信誉问题。输出的计算结果可能也会泄露信息。例如，Researche的Mappe程序可能会在输人的数据库中标记存在的（或者不存在）的一个特定客户，通过操控特定日期的订单数口:如果该客户的记录在这个数据集中，Mappe程序输出一个一百万的订单数口；否则，输出0。很明显，这个结果泄露了客户的隐私。

　　上述提到的安全风险来自于数据计算者，这里的CSP是BigShop自身，数据由BigShop进行维护，并在其上进行计算，因此不存在安全问题。但是如果Big-Shop自身没有相应存储和计算设施或并未搭建和使用Hadoop框架，则需要应用外包服务模式，利用其它云服务商提供的Hadoop服务，此时安全风险除了来自数据计算者，还有CSP对数据的窃取，以及云平台由于出现漏洞受到黑客攻击，例如黑客通过Root-kith方式强迫口标操作系统安装它的Hypervisor，并把口标操作系统移人一个普通的虚拟机中运行，由于在虚拟化环境中Hypervisor拥有最高特权，因此Ro-otkit可以获得整个物理机的控制权，对数据安全构成威胁。

　　因此上述威胁可以归纳为：

　　1)恶意的PaaS级CSP通过给自己设定权限对数据进行窃取，或通过备份中间数据到其他位置进行访问，或不彻底删除放人云中的数据，留作他用。

　　2)在平台安全机制失效的情况下，黑客通过某些途径获得root权限随意读取数据，或伪造数据使用者身份读取数据或进行篡改。

　　3)数据计算者通过map过程输出某些敏感信息，并使用MapReduee进行统计。

　　3、安全策略

　　在大数据应用模式下，对文件及文件系统的保护称为数据服务安全保护，对存储的键值内容及计算输出结果的保护称为隐私保护。从行为角度考虑服务安全性的同时，同样需要考虑数据隐私安全问题。

　　对上面提到的安全问题，本文提出以下安全策略:

　　首先，需要对CSP和Use:的身份及平台进行完整性验证。Kerberos的双向认证可以保证用户和CSP双方身份安全，这是在请求发起时所作的认证。

　　其次，在保障了身份的可靠性后，还需要验证平台的安全性，平台安全性可以通过可信计算技术，利用TPM搭建可信云计算环境，对平台环境进行度量，建立可信链，将可信链从物理层扩展到虚拟化层，保障云平台的安全性。

　　最后，需要在数据使用过程中对行为请求进行监控，建立监控机制可以保障CSP对数据的非法请求，同时可以监控数据计算者对数据的非法运算和输出。可以通过使用LSM ( Linux Security Module)设立相应的访问控制策略，利用hook函数对内核调用进行控制[n}，允许合法行为对数据的访问，拒绝非法的不可信行为，保障数据流向合法请求主体。