读《OWASP测试指南》有感

最近在读《OWASP测试指南》，感觉写的真好，包括很多的安全思想和方法，不得不佩服人类集体协作智慧的伟大。我按照阅读的先后顺序写下自己的一些感悟。

好东西都是开源的，免费的。OWASP这个组织真是太好了，免费为全球提供了这么高质量的东西，这才是真正的共享与黑客精神。
应用测试安全最重要的方面是时刻牢记必须在有限的时间内尽可能多的覆盖应用程序的各个方面。在实际的安全业务流程中，理想的做法应该是通过建立一些安全威胁模型来决定你的公司最关心的安全问题是什么。最终应该拥有一张包含优先次序的待测试清单。
将Web应用测试重点——渗透测试转变为测试集成于软件开发生命周期过程中的挑战。
对网络安全而言，渗透测试已被证明是一种非常有效的检测手段，然而该技术对应用而言却不是十分有效。

这本渗透指南从第四章开始讲具体的渗透测试方案，下面我以博乒网为例，将其标准的渗透测试流程全部走一遍。

蜘蛛，机器人和爬虫(OWASP-IG-001）

这一节主要描述如何测试robots.txt文件，robots.txt是一个网站用来告诉搜索引擎哪些目录是可以被搜索，哪些是不能被搜索的。获取该文件的方法一般是在网址之后加robots.txt。
以百度为例，请求该文件的URL地址为：https://www.baidu.com/robots.txt，看到的结果（部分）如下：

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?