不论我们做多大的努力，终端用户甚至是企业的IT部门，仍然会忽视那些本来很容易被纠正的安全疏漏。本文将与大家讨论10个可以被避免的安全疏漏，并告诉大家该如何纠正这种疏忽。

　　1、使用脆弱的密码

　　曾经有段时间，有些人自作聪明的用“password”作为密码，用来愚弄那些千方百计猜测密码的黑客和其它恶意分子。毕竟很多人都不会用这么明显的词语作为密码。如今，很多人意识到了用这种密码所能实现的安全性实在是脆弱，但仍然有很多人乐意使用这种简单易猜的密码，尤其是在如今高度社交化的网络中。比如，有人会用自己的名字缩写加上生日作为密码，而这方面的信息数据很容易通过Facebook或其它渠道获取，有心的黑客只要将少量的信息组合一下就能破解这种密码了。而就算是在一些拥有强力密码策略的企业中，只要有人存在，就会有这种脆弱的密码存在。

　　解决方案：不要用明显的模式来设置密码。将各种因素混杂起来，比如用感叹号代替数字1，&标记代替数字8。密码设置的越复杂，被破解的几率就越小。如果你在为企业设置密码策略，应该要求密码中使用多个字符集。

　　2、从来不改密码

　　很多人多年来一直不曾更改密码，而且这个密码还被用于多个网站。这是一个很大的安全漏洞。在企业里就算有密码修改的策略，但是很多员工还是能找到办法绕过这种强制策略。

　　解决方案：对用户进行培训，说明一个强壮的密码有多么重要，以及为什么要定期更换密码。作为密码策略的一部分，也可以考虑采用第三方软件来禁止用户使用类似的密码应付密码策略的强制要求。

　　3、不安装杀毒软件

　　这个疏忽是完全可以避免的。如果工作环境中没有安装反病毒软件，那么真的是大错特错了。就算有最好的防火墙，仍然要记住安全屏障的层次概念。一旦防火墙没有成功拦截恶意代码，反病毒软件将成为终端系统上最后的屏障。

　　解决方案：马上安装杀毒软件。

　　4、不使用防火墙或设置不严谨

　　不论是在家还是在企业IT环境中，都应该使用防火墙设备。虽然Windows和其它操作系统现在都自带有内置的防火墙，仍然建议大家购置一部硬件防火墙设备，或类似的设备，硬件防火墙与软件防火墙相配合，是最好的安全方案。另外，如果使用防火墙，就要对其进行严谨的设置。

　　解决方案：有条件就在家或在企业环境都配备上防火墙硬件设备。确保防火墙不会允许不必要的数据从外部流入内网环境。

　　5、从不给系统打补丁

　　操作系统开发商和应用程序开发商定期推出补丁程序是有其原因的。虽然很多升级或更新都是为了增加新功能，但仍然有不少更新是纯粹为了弥补系统和软件的安全漏洞的。很多家用电脑系统中，用户都将系统自动更新选项关闭了。而在企业环境，人们觉得网络边缘有了防火墙，就不需要再为系统安装升级补丁了。这并不正确，因为很多攻击代码会通过防火墙的防护进入企业内网。

　　解决方案：为系统打补丁!打开系统和软件的自动更新功能，并立即为企业建立补丁管理策略并实施。

　　6、不安全的数据存储

　　你将多少敏感数据（比如个人信息，公司业务数据等）存放在了U盘里？你是不是曾经带着这种存有敏感信息的U盘外出过？很多人将U盘作为钥匙链，带在身上到处走动。有的时候，U盘就和钥匙一起放在了食堂的饭桌上忘记拿走。

　　现在，还有多少人会将企业数据备份在磁带上?这些磁带是否会被搬离备份场所，这个过程是否处于你的控制之中？

　　不受保护的数据是安全的一大问题。一次简单的丢失U盘、笔记本、iPad或备份磁带的事件，就会让企业面临财务、司法以及公共关系上的巨大挑战。

　　解决方案：对任何可移动的存储数据进行加密保存。大多数备份软件都支持对备份数据进行加密，比如BitLocker以及BitLocker To Go可以用来保护笔记本设备和U盘。对于其他设备，比如iPad，可以考虑使用移动安全管理软件对其中的数据进行加密保存。

　　7、过于慷慨的权限

　　在企业环境中，权限决定了一个用户能做什么不能做什么。要让员工顺利工作，最简单的方式是给他们赋予管理员权限，以便让他们能够访问企业网络的所有内容。但是这种方式很快就会带来混乱。因此大多数公司都会根据员工的工作关系，通过权限策略为其赋予适当的权限。不幸的是，就算有这种策略，还是会发生权限蔓延的情况。比如员工从一个岗位调换到另一个岗位，而之前的权限并没有被移除。

　　解决方案：确保企业应用了明确的权限管理策略。企业的权限管理策略和实施方法应该定期的进行审视和调整，以便适应企业当前的需求。不需要的权限要及时清除。

　　8、薄弱的或没有Wi-Fi安全设置

　　就算现在很多人都知道开放的Wi-Fi网络具有很大安全风险，仍然有很多家庭或企业让自己的无线网络保持开放和不安全的状态。另外，由于WEP加密方式的普及，仍然有很多网络在使用这种加密验证方式，但是这种方式已经很不安全了，甚至四秒钟就可以破解WEP密码。不过就算如此，这样比完全开放的无线网络要安全一些。

　　解决方案：使用WPA或者更高级的WPA2加密验证措施。WPA2是目前流行的无线网络安全标准，多数操作系统都支持这个标准。另外，在采用WPA2标准后，还要设置一个足够强壮的密码，这个密码应该是不容易被猜测出的，或者不容易被暴力破解的，否则再好的加密标准也是虚设。WPA2加密也有可能被破解，但是破解WPA2的难度要远高于破解WEP或WPA。

　　9、忽视简单的移动设备安全措施

　　未来几年，移动设备将成为黑客们的天堂。很多人随身携带的移动数码设备都存储有未加密的个人信息，这些设备中存储的信息可以在短时间内被黑客获取。而且这种设备很容易被盗或丢失。前面我提到过，应该留意该在移动设备中存储什么样的信息，并将敏感的信息删除或加密。但是利用移动设备的联网功能进入企业网络并窃取信息的情况还是会出现的。

　　解决方案：虽然很简单，但是非常必要，即当移动设备试图访问企业网络时，要求使用密码登录。虽然这种方式不能跟不上杜绝移动设备窃取企业网络数据的情况发生，但会让那些偶尔获得移动设备的人知难而退。

　　10、从来不检查备份

　　让我们假设一种情景，企业的所有安全机制都失效了，企业数据和网络已经遭到了严重的入侵和破坏，系统和数据都已经不再可靠了。这时候，可能唯一能做的就是通过备份数据来回复整个环境。但是，如果遇到如下几种情况，对于企业来说，就真的是无可挽回了：

　　· 备份数据损坏。

　　· 备份磁带有损伤。

　　· 虽然每晚备份系统都在向磁带上记录备份数据，但实际上没有任何数据被备份。

　　以上任何一条出现，对企业来说都是致命的打击。

　　解决方案：立即制定和实施相应的策略和工作程序，定期检查备份数据。另外考虑添加额外的备份系统，将备份数据进行再次备份，并存储在与网络隔离的环境中，防止备份数据在企业网络遭遇黑客攻击时被一起破坏。

　　“以太网是云计算的骨干。”这句宣言太夸张？不尽然。任何数据中心，云计算或者其他诸如此类均取决于其以太网网络允许服务器、存储系统和其他设备的相互传输。没有网络就没有数据中心。

　　今天，IT部门准备部署内部的云环境，它可以显著评估网络基础设施将如何影响云计算的能力，以满足服务水平协议（SLAs）。常用的术语来描述云计算能力，如敏捷性，灵活性和可扩展性，绝对适用于底层网络以及相关条款。

　　考虑到这一点，让我们来探讨一下如何简化私有云网络。你可以借鉴英特尔最近完成的一份CliffsNotes 版白皮书。

　　合并端口和电缆

　　大多数云环境采用大量的虚拟化。因此虚拟化一直是服务器带宽需求越来越大的驱动程序。今天，人们经常可以看到八个或多个的千兆以太网（GbE）端口的虚拟化服务器。当然，这也意味着大量的布线，网络适配器和交换机端口。将这些GbE连接的网络连接整合到几个10千兆以太网(10GbE)连接，同时降低了设备成本，减少可能的故障点的数量，增加服务器的带宽总量。

　　将数据和存储汇聚到以太网

　　10GbE的存储技术支持，如iSCSI和光纤通道以太网（FCoE），支持需要网络整合进一步融合到以太网的存储流量。这样做可以消除存储特定的服务器适配器和基础设施设备的需要。IT企业可以整合LAN和SAN流量到一个单一的网络或维护一个单独的基于以太网的存储网络。无论哪种方式，它们已经使得其更容易和更具成本效益的帮助服务器连接到网络存储系统，降低了设备成本和简化了网络。

　　最大化I/O虚拟化性能和灵活性

　　一旦你有一个统一的10GbE网络连接云资源，你需要确保你有效地使用这些大管道。物理服务器可以承载很多虚拟机（VM）。同时，还要确保带宽分配和这些虚拟机之间的适当平衡。有不同的方法将一个10GbE端口划分成较小的、虚拟的管道，但这些端口们并不平等。一些划分的方法，让这些虚拟功能可以按照需要分配规模和使用万兆以太网连接的可用带宽，而另一些分配方法指定给每个虚拟功能的静态带宽，限制弹性，和在特殊情况下未使用的容量。

　　启用多个管理程序的解决方案

　　这可能是因为大多数云部署都由硬件和软件组成，包括来自多个供应商的管理程序。不同的管理程序采取不同的方法进行I/O虚拟化，对不同的软件平台，网络解决方案优化I/O性能是十分重要的;在异构环境中的不一致的吞吐量可能导致瓶颈，影响所提供的服务。可以通过使用以太网适配器在大多数主要的管理程序中避免这种情况，提高网络性能，支持机器设备队列（VMDq）和单根I/O虚拟化（SR-IOV）。

　　利用多租户网络的服务质量

　　就像一个公共云，私有云为许多不同的客户提供服务，其业务范围从企业内部的某个业务部门到整个企业的客户，他们都有云的业绩预期。质量服务（QoS）有助于确保客户的要求得到满足。通过技术手段，可以在网络上，并在一台物理服务器上提供QoS。QoS是网络上的设备之间的数据中心桥接（DCB），设定带宽是如何分配到具体的流量的标准，以及如何执行这些政策的标准。在服务器的虚拟机之间的流量，QoS可以通过硬件或软件控制，这取决于管理程序。当为您的服务器选择了网络适配器，支持这些类型的QoS应该予以考虑。

　　网络爬虫（Web Crawler），又称网络蜘蛛（Web Spider）或网络机器人（Web Robot），是一种按照一定的规则自动抓取万维网资源的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。不断优化的网络爬虫技术正在有效地应对这种挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑。网络爬虫也为中小站点的推广提供了有效的途径，网站针对搜索引擎爬虫的优化曾风靡一时。

　　传统网络爬虫从一个或若干个初始网页的URL（Universal Resource Locator统一资源定位符）开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定条件停止抓取。现阶段网络爬虫已发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法综合应用的智能工具。

　　网络爬虫的安全性问题

　　由于网络爬虫的策略是尽可能多的“爬过”网站中的高价值信息，会根据特定策略尽可能多的访问页面，占用网络带宽并增加Web服务器的处理开销，不少小型站点的站长发现当网络爬虫光顾的时候，访问流量将会有明显的增长。恶意用户可以利用爬虫程序对Web站点发动DoS攻击，使Web服务在大量爬虫程序的访问下，资源耗尽而不能提供正常服务。恶意用户还可能通过网络爬虫抓取各种敏感资料用于不正当用途，主要表现在以下几个方面：

　　（1）搜索目录列表

　　互联网中的许多Web服务器在客户端请求该站点中某个没有默认页面的目录时，会返回一个目录列表。该目录列表通常包括可供用户点击的目录和文件链接，通过这些链接可以访问下一层目录及当前目录中的文件。因而通过抓取目录列表，恶意用户往往可获取大量有用的资料，包括站点的目录结构、敏感文件以及 Web服务器设计架构及配置信息等等，比如程序使用的配置文件、日志文件、密码文件、数据库文件等，都有可能被网络爬虫抓取。这些信息可以作为挑选攻击目标或者直接入侵站点的重要资料。

　　（2）搜索测试页面、手册文档、样本程序及可能存在的缺陷程序

　　大多数Web服务器软件附带了测试页面、帮助文档、样本程序及调试用后门程序等。这些文件往往会泄漏大量的系统信息甚至提供绕过认证直接访问Web服务数据的方法，成为恶意用户分析攻击Web服务器的有效情报来源。而且这些文件的存在本身也暗示网站中存在潜在的安全漏洞。

　　（3）搜索管理员登录页面

　　许多网络产品提供了基于Web的管理接口，允许管理员在互联网中对其进行远程管理与控制。如果管理员疏于防范，没有修改网络产品默认的管理员名及密码，一旦其管理员登录页面被恶意用户搜索到，网络安全将面临极大的威胁。

　　（4）搜索互联网用户的个人资料

　　互联网用户的个人资料包括姓名、身份证号、电话、Email地址、QQ号、通信地址等个人信息，恶意用户获取后容易利用社会工程学实施攻击或诈骗。

　　因此，采取适当的措施限制网络爬虫的访问权限，向网络爬虫开放网站希望推广的页面，屏蔽比较敏感的页面，对于保持网站的安全运行、保护用户的隐私是极其重要的。

　　基于网络爬虫技术的Web漏洞扫描

　　前面提到的网络爬虫对网站的间接安全威胁，是通过对网络站点的信息收集为不法份子的非法访问、攻击或诈骗作准备。随着安全技术的发展，利用网络爬虫技术对Web漏洞的直接探测已经出现，这会直接影响到Web服务器的安全。Web服务器漏洞中，跨站脚本（Cross Site Script）漏洞与SQL注入（SQL Injection）漏洞所占比例很高，这两种漏洞均可以通过对网络爬虫的改进来进行探测。由于缺乏足够的安全知识，相当多的程序员在编写Web应用程序时对网页的请求内容缺乏足够的检查，使得不少Web应用程序存在安全隐患。用户可以通过提交一段精心构造的包含SQL语句或脚本的URL请求，根据程序的返回结果获得有关的敏感信息甚至直接修改后台数据。基于目前的安全现状，网络爬虫技术在Web漏洞扫描上的应用，大大提高了发现漏洞的效率。

　　基于网络爬虫技术的Web漏洞扫描大至分为如下过程：

　　（1）页面过滤：通过自动化的程序抓取网站页面，对包含等标签的Web页面进行URL提取处理，这些HTML 标签中包含URL信息，便于恶意用户进行更深入的Web访问或提交操作。

　　（2）URL匹配：对Web页面中的URL进行自动匹配，提取由参数组合而成的动态查询URL或提交URL，进行下一步的漏洞探测。如动态查询 URL“http://baike.xxxx.com/searchword/?word=frameset&pic=1”，其中 frameset为URL中动态的参数部分，可以进行参数变换。提交URL，用于把Web用户的输入提交到服务器进行处理，其参数多为用户输入，同样可以进行参数变换。

　　（3）漏洞试探：根据动态查询URL或提交URL，自动在参数部分进行参数变换，插入引号、分号（SQL注入对其敏感）及script标签(XSS对 其敏感)等操作进行试探，并根据Web服务器返回的结果自动判断是否存在漏洞。如“URL匹配”中的动态查询URL可以变换成 http://baike.xxxx.com/searchword/?word= &pic=1进行跨站脚本漏洞探测。

　　如何应对爬虫的安全威胁

　　由于网络爬虫带来的安全威胁，不少网站的管理人员都在考虑对爬虫访问进行限制甚至拒绝爬虫访问。实际上，根据网站内容的安全性及敏感性，区别对待爬 虫是比较理想的措施。网站的URL组织应该根据是否为适合大范围公开，设置不同的URL路径，在同一Web页面中既有需要完全公开信息也有敏感信息时，应通过链接、标签嵌入网页等方式显示敏感内容，另外尽可能把静态页面等经评估安全性较高的页面与安全性较差的动态页面从URL上分开。当限制爬虫时可以针对 URL路径的安全性与敏感性对不同种类的爬虫与代理进行限制。

　　限制爬虫可以通过以下几种方法实现：

　　（1）设置robots.txt文件

　　限制爬虫最简单的方法是设置robots.txt文件。robots.txt文件是搜索引擎爬虫访问网站的时候要查看的第一个文件，它告诉爬虫程序在服务器上什么文件是可以被查看的，如设置Disallow:/，则表示所有的路径均不能查看。遗憾的是并不是所有的搜索引擎爬虫会遵守这个规则，因此仅仅设置robots文件是不够的。

　　（2）User Agent识别与限制

　　要对不理会robots.txt文件的爬虫访问进行限制，首先要把爬虫流量与普通用户的访问流量进行区分，即对其进行识别。一般的爬虫程序都可以通过其HTTP请求中的User Agent字段进行识别，该字段使服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。爬虫的User Agent字段一般与浏览器的有所不同，如Google搜索引擎爬虫User Agent字段中会有类似Googlebot 的字符串，如User-Agent:Googlebot/2.1(http://www.google.com/bot.html)，百度搜索引擎爬虫则会有类似Baiduspider的字符串。不少Web服务器软件如 Apache，可以设置通过User Agent字段进行访问过滤，可以比较有效的限制大部分爬虫的访问。

　　（3）通过访问行为特征识别与限制

　　对于在HTTP请求的User Agent字段刻意伪装成浏览器的爬虫，可以通过其访问行为特征进行识别。爬虫程序的访问一般是有规律性的频率比较高，区别于真实用户浏览时的随意性与低 频率。对这类爬虫的限制原理与DDoS攻击的防御原理很相似，都基于统计数据。对于这类爬虫的限制只能通过应用识别设备、IPS等能够做深度识别的网络设 备来实现。用网络设备限制网络爬虫，不仅比较全面，而且非常适合在多服务器情况下进行统一的管理，避免多服务器单独管理有可能造成的疏漏。

　　网络爬虫及其对应的技术为网站带来了可观访问量的同时，也带来了直接与间接的安全威胁，越来越多的网站开始关注对网络爬虫的限制问题。随着互联网的 高速发展，基于网络爬虫与搜索引擎技术的互联网应用将会越来越多，网站管理员及安全人员，有必要了解爬虫的原理及限制方法，准备好应对各种网络爬虫。