在什么文件中加入什么代码告诉搜索引擎蜘蛛网站地图的文件位置(网页源代码查找文件位置)

在什么文件中加入什么代码告诉搜索引擎蜘蛛网站地图的文件位置?,网页源代码查找文件位置

内容导航：

怎么在robotstxt 文件中添加代码告诉搜索引擎Site

全文搜索引擎中的机器人或蜘蛛程序使用了哪种计算机技术

网站优化之精简代码搜索引擎抓取实质内容

网站地图文件必须为什么名称啊

一、怎么在robotstxt 文件中添加代码告诉搜索引擎Site

User-agent:*Disallow:Sitemap: 您的网站/意思应该不用我说了吧，，你的网站加上后缀/ 就可以了

二、全文搜索引擎中的机器人或蜘蛛程序使用了哪种计算机技术

全文搜索引擎中的”机器人”或”蜘蛛”程序使用了哪种计算机技术（ ）
A 虚拟现实技术 B 语音技术 C 智能代理技术 D 碰撞技术

请高明来选正确题，斡旋的是C对不对第一章 搜索引擎简史1．1 前互联网搜索时代 在互联网发展初期，网站相对较少，信息查找比较容易。
然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的专业搜索网站便应运而生了。
所有搜索引擎的祖先，是1990年由Montreal的McGill University学生Alan Emtage、Peter Deutsch、Bill
Wheelan发明的Archie（Archie FAQ）。
当时World Wide Web还未出现。
Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。
Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。
Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。
由于Archie深受用户欢迎，受其启发，美国内华达System Computing
Services大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。
当时，“机器人”一词在编程者中十分流行。
电脑“机器人”（Computer Robot）是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。
由于专门用于检索信息的“机器人”程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
由于专门用于检索信息的Robot程序象蜘蛛（spider）一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider（SpiderFAQ）程序。
世界上第一个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。
刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL）。
世界上第一个用于监测互联网发展规模的“机器人”程序是Matthew Gray开发的World wide Web Wanderer。
刚开始它只用来统计互联网上的服务器数量，后来则发展为能够检索网站域名。
与Wanderer相对应，1993年10月Martijn Koster创建了ALIWEB（Martijn Koster Annouces the
Availability of Aliweb），它相当于Archie的HTTP版本。
ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。
1993年底，一些基于此原理的搜索引擎开始纷纷涌现，其中最负盛名的三个是：Scotland的JumpStation、Colorado大学Oliver
McBryan的The World Wide Web Worm（First Mention of McBryan’s World Wide Web
Worm）、NASA的Repository-Based Software Engineering（RBSE）spider。
随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Matthew
Gray的Wanderer基础上，一些编程者将传统的“蜘蛛”程序工作原理作了些改进。
其设想是，既然所有网页都可能有连向其他网站的链接，那么从跟踪一个网站的链接开始，就有可能检索整个互联网。
然而Jump Station和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。
而RBSE是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。
1993年2月，6个Stanford（斯坦福）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。
这就是Excite。
后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile
1994年1月，第一个既可搜索又可浏览的分类目录EINetGalaxy（Tradewave Galaxy）上线。
除了网站搜索，它还支持Gopher和Telnet搜索。
1994年4月，Stanford两名博士生，美籍华人Jerry Yang（杨致远）和David Filo共同创办了Yahoo。
随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。
因为Yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。
搜索效率明显提高。
（Yahoo以后陆续使用Altavista、Inktomi、Google提供搜索引擎服务） 1994年初，Washington大学CS学生Brian
Pinkerton开始了他的小项目Web Crawler（Brian Pinkerton Announces the Availability of
Webcrawler）。
1994年4月20日，Web Crawler正式亮相时仅包含来自6000个服务器的内容。
Web
Crawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。
（后来web crawler陆续被AOL和Excite收购，现在和excite一样改用元搜索引擎Dogpile）

三、网站优化之精简代码搜索引擎抓取实质内容

精简代码好处多多，首先从SEO懂得角度来说，搜索引擎预处理的第一步就是提取文字内容。所以，我们应该尽量降低搜索引擎提取文字内容的难度，精简代码，从而提高文字内容的比例。

能够进行代码精简的地方有很多：

尽量使用CSS定义文字字体、颜色及页面的排版。在看见文字的html代码中加入style或font再定义一遍字体、颜色等，就显得很多余了。

尽量使用外部文件。将CSS和JavaScript放在外部文件中，页面html中脂肪一行代码将其引入即可。如果将大片的CSS和JavaScript放在html最前面，就自然会把文字内容推到了后面。

减少或删除注释。代码中的注释只是给程序员和设计人员起到提示作用，如果你不需要对网页经常做修改，完全可以将其删掉。使其尽量减少对搜索引擎作出噪声影响。

减少表格使用，特别是嵌套表格。现在大部分网页都是用CSS进行排版的，传说太多的Div框嵌套对搜索引擎的抓取会产生影响。那么太多的表格最好更不要出现。

尽量减少文件大小。对于html文件，谷歌建议尽量保持在100kb以下，页面链接在100个以下。而百度也建议html文件不要超过128kb。虽然目前搜索引擎抓取一些大文件已经完全没有什么问题，但是尽量遵守搜索引擎的建议还是有好处的。

总之，精简代码就是为了清除那些冗余代码，尽量将有实质意义的内容展现在最前面，让搜索引擎抓取的更容易。

文章来源：优旁博客

四、网站地图文件必须为什么名称啊

答：[1]如果将MaximumDynamicDisplayLevels设置为0，则不会动态显示任何菜单节点