搜索引擎经历了10年的发展历史，随着互联网的发展，搜索引擎被越来越多的人熟知和运用，实际上，搜索引擎的出现是个必然，随着网络信息的爆炸式增长，平均每天都会有将近30几万的新的页面出现，必然会给人带来一种茫茫大海的感觉，网络传播的速度大大超出了人们的想象，互联网行业的一夜暴富将不再是梦想…。
在互联网上，人们除了看新闻，听音乐之外，用途最广泛的就是搜索引擎的应用了，人们通过输入自己感兴趣的关键词来获取网络上的信息，就像传统意义上的图书馆标签一样，不同的是当信息的总量还不是很大的时候，我们还可以通过人工的方式进行编辑和排序，实际上最先开始的搜索引擎就是人为编辑整理的一个系统。读者明白，这肯定已经不能再适应现在的情况了，几乎所有的搜索引擎都是计算机程序提供的自动分类和整理。
在互联网上，人们获取信息的途径很多，我们可以在地址栏输入一个网址，也可以登录像搜狐，雅虎，新浪这样的门户网站来获取信息，但他们的局限性很大，不能在很大程度上整合互联网的信息，而搜索引擎的出现恰恰满足了大家当时的需求，用户只需要简单的输入几个词就可以查看到自己想要的结果了。
搜索引擎的发展经历了三个重要的历史时期：
1. 最开始出现的搜索引擎只是检索FTP上边的文件
2. 随后的搜索引擎开始收录网络地址
3. 搜索引擎开始收录标题
4. 目前的搜索引擎，已经开始抓取网页全文了。
在最先开始的搜索引擎中，是主要依靠标题和网络地址来判断这个网页的内容的，这么做可能会导致一个很严重的问题，就是被抓取的网页内容跟来源和标题不同，检索全文的目的就是为了保证搜索引擎检索到网页的标题与网页全文内容一致。
在很多文献资料当中，都有关于搜索引擎跟目录的介绍，为什么要重点介绍这两个呢？？这是因为，在很多人的眼里，他们会把一个目录当做是一个搜索引擎，同样可以通过目录上列出的网站来找到自己想要的信息，这跟搜索引擎的效果是一样的，实际上，他们有很大的不同，一个类似于目录的网站（例如雅虎目录.hao123目录）仅仅是很小一部分网页的集合，并且是人工编辑的网站分类，在搜索的网站不是很多的情况下的确可以满足人们的需要，但如果要使用大规模的搜索技术的话，目录还是不能满足的，搜索引擎收录了在互联网上绝大多数的页面，但缺点是无法保证网页内容的质量，而通过目录收录的网站大多权重都比较好，个有个的好处，他们最大的区别在于一个是人工编辑的，一个是计算机程序自动获取的。
在搜索引擎的发展历史上，我们不得不提到的一个概念是——元搜索引擎。元搜索引擎的概念是整合第三方搜索引擎结果的搜索引擎，它提供了在不同搜索引擎的结果供用户去选择，实际上我们谈论的搜索引擎主要是下面的三种搜索引擎：
全文检索搜索引擎——百度，谷歌，雅虎
目录搜索引擎——雅虎目录，hao123
元搜索引擎——整合第三方搜索结果的搜索引擎