发现两个非常重要的文件以对您的网站建立索引的简短指南：robots.txt 和 sitemap
robots.txt 文件和站点地图是为搜索引擎提供有关如何对 站点页面建立索引的信息的工具。我们经常听说这些文件，但它们到底是什么？它们的用途是什么？
站点地图向 Google 解释了站点页面的层次结构，帮助爬虫了解内容的组织。
另一方面， robots.txt文件 向搜索引擎爬虫提供信息，主要目的是防止 对网站上必须有但不希望在搜索结果中显示的某些内容进行索引（例如隐私策略页面或登录页面）。
您想了解更多吗？请阅读我们的说明，以充分利用 站点地图和 robots.txt 的潜力。
网站地图
即使没有站点地图，Google 抓取工具也可以找到网站上的大部分内容（前提是通过适当的 内部链接系统正确链接）。但是，添加站点地图有助于机器人 更有效地抓取，特别是在存在以下情况之一的情况下：
- 该网站非常大。页面丰富的网站上的新内容可能会被 Google 的抓取工具忽略。在这种情况下，站点地图即使不是必需的，也是必要的。
- 该网站是新网站，收到的传入链接很少。由于搜索引擎会逐个链接地抓取网络，因此指向您网站的链接数量较少是立即创建站点地图并改进内容索引的合理理由。
- 该网站的页面没有最佳链接。因此，确保站点地图中列出链接最少的页面非常重要，以便机器人可以对它们进行爬网和索引。
在当今时代，手机可以用作闹钟、相机、录像机、MP3 播放器、日历、笔记本和消息设备，甚至可以拨打语音电话 (Tomi, 2008)。客户现在可以使用 手机号码数据 公司正在开发的移动应用程序，以快速简便的方式在智能手机或平板电脑上浏览公司的网站，然后简单地进行购买。
站点地图可以以不同的格式创建，但最常用的格式之一是 *.xml 版本（也是因为它是 Google 搜索控制台中推荐的格式之一，可用于监控网站的索引状态）。
通过站点地图，可以更加突出被认为比其他页面更重要的页面。由于使用了一些元数据，您将能够指示 页面更新的 频率，或者特定 URL 与网站上其他 URL 相比的抓取优先级 （例如，主页通常分配的值为<优先级>对应于1.00）。如果您有兴趣了解有助于形成站点地图的所有元素，我们建议您访问此专用于站点地图协议的页面。
让我们看看 Instilla 站点地图的哪一部分是什么样子的：
您的网站有站点地图吗？如果您还没有，您有多种 2024 年最佳电子邮件模板生成器 选择来实现这一目标。如果您使用 WordPress，您可以简单地依赖流行的 Yoast SEO插件，该插件经过几乎立即配置后，会自动创建您网站的内容地图；或者，您可以依赖在线提供的众多工具之一，例如 Google Sitemap Generator。
如果您已经通过 Google Search Console验证了您的平台，则上传站点地图只需花费几分钟的时间。在此链接中，您将找到继续将站点地图上传到您的站点所需的所有说明。
注意力！ 向 Google 提交站点地图并不能保证所有 URL 都会立即编入索引。它无疑是改进抓取过程的有用工具，但是某些页面可能需要更多时间才能成为 Google 索引的一部分（毫无疑问，在使用 SEO 定位这些页面之前需要更长的时间）。
robots.txt 文件
Robots.txt 是一个简单的文本文件，它向引擎建议哪些页面不应显示在搜索结果中，因为它们对于在 Google 上搜索的人 来说没有什么价值 （例如隐私页面或网站登录页面）。
请务必记住，任何人都可以查看 robots.txt 文件（只需在站点 URL 底部写入“robots.txt”）。因此，最好避免包含包含您想要保密的信息的页面名称。
1. 用户代理 是指搜索引擎机器人。包含大多数“用户代理”的列表是网络机器人数据库，您可以在这里查阅：
2. Disallow 是针对“用户代理”的命令，禁止用户扫描某些 URL（正如我们之前所说，它可用于隐私策略、站点登录页面等）。
3. 允许 用于建议搜索引擎机器人扫描 bab 目录 已分配“禁止”命令的父目录中存在的子目录。
您可以使用以下语法创建自己的自定义 robots.txt 文件：
创建文件后，您需要将其上传到域的根目录。同样在这种情况下，我们会报告 Google 提供的有关如何创建和上传 robots.txt 文件的详细说明。
在 Search Console 中，Google 让您有机会验证您上传的文件的正确性：只需转到“ Robots.txt 测试程序”部分并检查是否有错误。
在 robots.txt 文件中输入站点地图 URL
除了通过 Search Console 提交站点地图外，您还可以选择通过将网址放入 robots.txt 文件来向 Google 提供站点地图。只需将站点地图的路径插入文件中的任意位置，如下例所示：
