用于在Internet上搜索内容（相对于用户）的第一个工具叫Archie，主要用来搜索公共匿名FTP资源中的文件，Archie搜索引擎由于数据量非常有限，可以方便地手动搜索，因此并没有对这些站点的内容建立索引。
在互联网上真正广为流传的搜索引擎是雅虎（Yahoo!），它由杨志远和大卫·费罗（David Filo）于1994年1月份创立，初期雅虎搜索是基于WEB目录的搜索引擎，而不是检索网页全文。当时候雅虎迅速成为人们找到感兴趣的网页的最流行方法之一。
到了1996年，李彦宏为搜索引擎结果页排名开发了RankDex网站评分算法，并在美国获得了专利，这项专利比谷歌（Google）提交的类似功能专利早了两年，李彦宏回国后，于2000年在中国创立了百度，并将RankDex技术用于百度搜索引擎。
在2000年前后，谷歌（Google）的搜索引擎声名大噪，使用称为PageRank的算法在许多搜索中取得了较好的结果，这种迭代算法会根据其他网站和链接到该网站的页面的数量和PageRank来对网页进行排名，前提是良好或理想的页面和内容。
2002年，雅虎（Yahoo!）收购了Inktomi（曾经推出了备受好评的HotBo搜索引擎），并使用基于Inktomi的搜索引擎。微软（Microsoft）早在1998年秋季的时候，也通过Inktomi的搜索结果启动了MSN Search，到1999年MSN Search改用了AltaVista的结果，直至2004年微软才开始过度到自己的搜索技术。2009年微软将MSN Search更名为Bing。
截止到2020年，活跃的搜索引擎爬虫有：Google，百度，必应，Sogou，Gigablast，Mojeek，DuckDuckGo和Yandex。
截止到2020年9月份，全球6大搜索引擎排名（根据市场份额）为：Google 92.26%、Bing 2.83%、Yahoo! 1.59%、百度 1.14%、DuckDuckGo 0.50%、Yandex 0.50%。
不过在不同地区和国家，情况有所不同，例如：俄罗斯Yandex的市场份额为61.9％，而Google的市场份额为28.3％；在韩国Naver拥有70%的搜索份额；而中国则百度是最受欢迎的搜索引擎，截止到2020年7月，百度在中国市场份额为：69.55%，排名第二的是搜狗 16.84%，其后是360搜索 4.19%、谷歌搜索 3.76%、必应 2.8%，神马2.72%。在美国和西欧的大多数国家/地区市场都由Google主导。
现在这些流行的搜索引擎都基于以下三个方面开展服务：
搜索引擎通过“蜘蛛”爬行来获取信息，“蜘蛛”程序会根据许多因素（例如标题，页面内容，JavaScript，CSS，HTML其中的元数据等）将某些特定的信息发回进行索引。当然不同的搜索引擎“蜘蛛”会根据自己独特的算法来决定，哪些网站被详尽地爬网，而哪些网站仅被部分爬网，甚至有一部分网站不会被爬网。
将网页上找到的单词和其他可定义标记与它们的域名和基于HTML的字段相关联，并储存于数据库中，以便Web搜索查询。部分强大的搜索引擎甚至会将网页进行缓存，并根据页面内容的变化不断刷新缓存。
除了简单的关键字查找，搜索引擎还提供了自己的GUI或命令驱动的运算符和搜索参数，以优化搜索结果。大多数搜索引擎都支持使用布尔运算符AND，OR和NOT，以帮助最终用户优化搜索查询。
大量信息被“蜘蛛”爬行并索引，其中很多内容是具有相同关键词或相同特征的，但某些页面可能比其他页面更具相关性，流行性或权威性。搜索引擎如何将最优的结果优先呈现给用户，这是搜索引擎发展这些年来一直在不断完善的技术。因为最懂用户的搜索引擎，才能获得更多用户的青睐，当然这一切都是由算法自动完成的（早期的搜索引擎大部分由人工处理），不过算法也是由人设计的。
