解決搜尋引擎查不到網站
接獲一個挺新鮮的任務，客戶反應：自家的高雄市民政局官網 http://cabu.kcg.gov.tw，Google 可以找到但是 Yahoo 卻找不到。
本文記錄一下前前後後約一個月(9/12~10/14) 的處理過程。
先提一下 Yahoo 搜尋目前是採用微軟的 Bing 搜尋引擎，原問題修正為：Google 有找到，但 Bing 找不到。
Google 真的有找到嗎?
Google 與 Yahoo 當時搜尋結果畫面如下
Google 搜尋結果是首頁第一筆，卻是 Google+ 專頁所影響而來的，除此之外是沒有其他結果的。
額外學到這點，Google+專頁對 Google SEO 有很大的加分效果。
Yahoo 搜尋的結果都是高雄市政府其他單位的網站。
修正原始問題為：Google 與 Bing 都找不到。
檢查 Bing 搜尋引擎有否到訪
各家搜尋引擎會有機器人到 Web Server 爬文，搜集網頁內容及 Metadata 作為建立索引的來源。
IIS 會將每一次 Request 寫到記錄檔，細節請參閱 <如何取得IIS記錄檔>。
取得近一週的記錄，查看是否有 Bingbot 的關鍵字，結果完全沒有 Bing 搜尋引擎到此一遊的記錄。
看來是：Google 與 Bing 都找不到，而且 Bing 從沒來過。
"Bing 從沒來過" <--- 當時沒注意到這是屬於網路層的問題，應先轉由 IT Pro 接手處理才對。卻確著手開始以下工作：建立 Sitemap 、SEO 等工作，現在回想起來流程顛倒了。
提交 Sitemap 到 Bing
Bing 網站管理員 中可以提交 Sitemap，不過卻沒有 Sitemap 產生器。
找來 線上 Sitemap 產生器，卻無法產生完整的 Sitemap，原因出在該網站的架構，示意如下：
- 主網站
- A目錄
- default.aspx
- sitemap.aspx
- xxxx.aspx
- B目錄
- C目錄
- A目錄
主網站下只有子目錄，沒有任何網頁，所有網頁連結(含網站地圖)均在子目錄下。Sitemap 產生器進行搜集時只能找其下一階的網頁連結，導致不論指定那一個目錄的進入點，都不能產生完整的 Sitemap。
另外發現該網站上，大量使用前端 JavaScript 產生選單連結，連網站導覽頁也是。這也使得產生 Sitemap 時會忽略。
經噗友建議後，新增一個網頁 default.html 置於根目錄下，內容含括網站導覽所有連結。之後即可產生完整的Sitemap。
雖然有了完整的 Sitemap，上傳Bing 網站管理員後，卻無法編立索引。之後花了相當長時間嘗試各種方法，均無幫助。之後嘗試將 Sitemap 提交到 Google 看看。
上傳 Sitemap 到 Google
Google 網站管理員工具 超專業的，建立 Sitemap、提交，相對地 Bing 就顯得稚嫩多了，線上模擬工具較陽春，一旦有錯誤就只能瞎子摸象。
逐一完成步驟後，卻也發生類似的錯誤，無法處理 Sitemap。
沒輒了?! 只能求救了。
請求 Bing Technical Support
在 Bing 網站管理員中有提供 電子郵件支援(E-mail Support)，簡單描述所遭遇的問題，很快地半天內得到回覆如下
Hello XXXXX
This is Jenny from Bing Technical Support and I am glad to assist you with Service Request 1218069266.
You mentioned that the IP address,163.29.105.87, not recognized as a Bingbot IP address. Allow me to help.
Verify Bingbot allows you to check whether or not an IP address belongs to Bingbot. This is useful to double check if traffic in your server logs with requests using a "Bingbot" or "MSNBOT" user agent string are in fact genuine Bingbot IP addresses and that the server making the requests is not simply hiding its true identity. This tool is usually used when you detected suspicious request from your server and you want to verify the IP of a bot if it is a genuine Bing IP. Since the IP that you entered was your website's IP address, the result will show that it is not a verified Bingbot IP address.
To learn more about the Verify Bingbot feature from the Webmaster Tool, kindly refer to the following URL:
(1)http://www.bing.com/webmaster/help/how-to-verify-bingbot-3905dc26
I hope this information was helpful. If you have additional questions or require further assistance, please feel free to contact us again.
Best regards,
Jenny
Bing Technical Support
接著按信中提到第一個工具進行檢測：Reverse DNS and IP Lookup
DNS 與 IP 對應檢測
Reverse DNS and IP Lookup 是 DNS 與 IP 對應的線上檢測工具，當時檢查結果，以 Host 可以查到 IP，但 IP 反查沒有結果。
顯示問題出在網路的設定上。 <--- 還是讓專家來吧!
防火牆開放 port:53
經同事與相關人員到機房查看防火牆的記錄檔，當以 Reverse DNS and IP Lookup 工具查詢時，有發現 port:53 被擋掉，經過數日將防火牆開放 port:53 後，Yahoo 搜尋就可以查到了。
至此，此案算是已告一段落。
寫在最後
要解決網站能在搜尋引擎中查到，先要打通搜尋引擎與網站間的通道，後續再進行 SEO。
查詢 Google、Bing 提供的網頁編立索引的統計中，顯示長期以來該網站都沒有被納入索引網頁，大約從我們接手進行期間，開始產生大量的索引頁面。
Google webmasters
Bing webmaster
相關工具
線上 Sitemap 產生器 ttp://www.xml-sitemaps.com/
XML Sitemap Validator 驗證工具 http://www.xml-sitemaps.com/validate-xml-sitemap.html
Bing 網站管理員 http://www.bing.com/toolbox/webmaster
Google 網站管理員工具 http://www.google.com.tw/webmasters/