SEO優化-使用<META>標籤來阻擋搜尋蜘蛛檢索網頁
你可以使用特定的標籤去告知搜尋引擎機器人，不要去檢索特定的網頁內容。
如果你想要知道，如何去阻擋網頁蜘蛛檢索你全部的網站，可以閱讀這篇文章(如何使用robots.txt阻止搜尋引擎爬(抓取)你的網站?)
你也可以使用相同的標籤，來命令搜尋機器人不要去掃描網頁以及追蹤網頁連結。
這是一個很好用的標籤，即使你只想嘗試去限制整個網站的一個網頁。
在HTML程式碼中，’no follow, no index’是基本的：
若要複製使用請將＜＞改為半形。
＜html＞ ＜head＞ ＜title＞…＜/title＞ ＜META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"＞ ＜/head＞ ＜/html＞當使用標籤時，有三個重點部分是需要牢記的。
1.如果他們願意，網路機器人可以忽略標籤，會忽略標籤大多是不良的網路機器人，他們會掃描網路安全漏洞並利用它，或者是使用電子郵件收割機，讓濫發郵件者抓取E-mail。
2.NOFOLLOW 指令只是用於網頁上的連結，如果搜尋機器人找到其它網頁的連結，並且沒有使用NOFOLLOW，搜尋機器人會直接到達這個網頁。
3.在這裡的NOFOLLOW標籤，是不同於rel=”nofollow”屬性，你可以設定在＜a href＞ 標籤裡。
撰寫給搜尋機器人看的標籤
像其它標籤一樣使用在HTML，他們應該被放置在HTML程式碼的部分，就如同範例上。
＜META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"＞讓我們依照上面的例子再接再厲。
1.NAME屬性是使用”ROBOTS”。
2.CONTENT屬性有四種不同的參數可以設定：
逗號分開參數是允許的，但是只有某些組合是有意義的，如果沒有使用標籤，對搜尋機器人的預設而言，是使用INDEX,FOLLOW的，所以你不需要去指定，還是可以被抓取到。
＜META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"＞ ＜META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"＞ ＜META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"＞如果你需要進一步的了解，如何阻擋搜尋機器人檢索你的網站，你可以觀看這篇文章(如何使用robots.txt阻止搜尋引擎爬(抓取)你的網站?)