繼續(xù)上文...

如何使一個(gè)單頁網(wǎng)站抓取

使用我們的單頁網(wǎng)站抓取的第一個(gè)關(guān)鍵是要認(rèn)識(shí)到我們的服務(wù)器可以告訴，是否一個(gè)請(qǐng)求是由一個(gè)履帶式或由一個(gè)人使用網(wǎng)絡(luò)瀏覽器，并作出相應(yīng)的反應(yīng)。當(dāng)我們的瀏覽者是一個(gè)人使用的Web瀏覽器，應(yīng)對(duì)正常，一個(gè)履帶式，返回一個(gè)頁面優(yōu)化，正是我們想要顯示的履帶，履帶可以輕松地讀取的格式。

我們網(wǎng)站的主頁，履帶優(yōu)化的網(wǎng)頁會(huì)是樣子？這也可能是我們的標(biāo)志或其他初級(jí)形象，我們希望出現(xiàn)在搜索結(jié)果中，一些SEO優(yōu)化文字說明是什么樣的網(wǎng)站，還是只有那些我們希望谷歌索引的網(wǎng)頁的HTML鏈接的列表。頁面沒有任何CSS樣式應(yīng)用到它的復(fù)雜的HTML結(jié)構(gòu)。它也沒有任何JavaScript，或鏈接的網(wǎng)站，我們不希望谷歌索引（像法律聲明頁面或其他頁面，我們不希望人們通過谷歌搜索進(jìn)入）領(lǐng)域。下面的圖像顯示了一個(gè)頁面可能被提交給瀏覽器（左）和（右）履帶式。

自定義抓取的內(nèi)容

通常情況下，單頁的網(wǎng)站鏈接到不同的內(nèi)容，使用一個(gè)哈希爆炸（＃?。?。

舉例來說，如果在我們的單頁的網(wǎng)站鏈接到用戶頁面看起來像/?index.htm的＃！=用戶ID，123履帶式會(huì)看到＃！知道看一個(gè)網(wǎng)頁的URI?/?index.htm的？_escaped_fragment_?=頁=用戶ID，123。了解crawler將遵循的模式，并期待這個(gè)URI，我們就可以設(shè)定服務(wù)器響應(yīng)該請(qǐng)求的頁面，通常會(huì)被呈現(xiàn)在瀏覽器中的JavaScript的HTML快照。

該快照將被谷歌索引，但任何人在谷歌搜索結(jié)果中點(diǎn)擊我們的上市公司將采取=用戶ID，123?/?index.htm的＃！頁。單頁網(wǎng)站的JavaScript會(huì)從那里接管，并如預(yù)期般呈現(xiàn)在頁面。

這提供了機(jī)會(huì)來調(diào)整他們的網(wǎng)站上，谷歌專門為用戶的單頁網(wǎng)站開發(fā)。代替寫清晰和有吸引力的的文字來吸引別人，而是由履帶式理解，而且每個(gè)頁面可以優(yōu)化，不用擔(dān)心其他的。履帶式的路徑可以控制的，通過我們的網(wǎng)站，使我們能夠直接從谷歌搜索結(jié)果中的人，以一組特定的入口頁面。這將需要更多的工程師開發(fā)的部分工作，但它可以在搜索結(jié)果的位置和留住客戶方面有大買單銷。

檢測(cè)谷歌的網(wǎng)絡(luò)爬蟲

在寫這篇文章的時(shí)候，Googlebot的宣布自己作為一個(gè)履帶式服務(wù)器發(fā)出請(qǐng)求的用戶代理字符串Googlebot/2.1（+?http://www.googlebot.com/bot.html）?。在中間件的Node.js應(yīng)用程序可以檢查此用戶代理字符串，并發(fā)送回履帶式優(yōu)化首頁，如果用戶代理字符串匹配。否則，我們就可以正常處理請(qǐng)求。

這一裝置，看起來這將是復(fù)雜的測(cè)試，因?yàn)槲覀儧]有自己的Googlebot。然而，谷歌提供的服務(wù)，做到這一點(diǎn)的公開可用的生產(chǎn)網(wǎng)站，其網(wǎng)站管理員工具的一部分，而是一個(gè)更簡(jiǎn)單的方法來測(cè)試是欺騙我們的用戶代理字符串。這需要一些命令行兩輪牛車，但Chrome開發(fā)人員工具使得這個(gè)容易，只要點(diǎn)擊一個(gè)按鈕，檢查框：

打開Chrome開發(fā)人員工具，通過點(diǎn)擊按鈕，谷歌工具欄右側(cè)的三條水平線，然后從菜單中選擇工具，點(diǎn)擊開發(fā)工具。

在屏幕的右下角是一個(gè)齒輪圖標(biāo)：點(diǎn)擊，并看到一些高級(jí)開發(fā)人員選項(xiàng)，如禁用緩存和打開記錄的XMLHttpRequest。

在第二個(gè)標(biāo)簽，標(biāo)記覆蓋，點(diǎn)擊旁邊的復(fù)選框，用戶代理標(biāo)簽并從下拉從Chrome，火狐，IE瀏覽器，寵物，家畜，多選擇任意數(shù)量的用戶代理。Googlebot的代理是不是默認(rèn)選項(xiàng)。為了使用它，選擇其他復(fù)制并粘貼到輸入的用戶代理字符串。

現(xiàn)在，該選項(xiàng)卡本身是欺騙作為Googlebot的，當(dāng)我們打開任何URI在我們的網(wǎng)站上，我們應(yīng)該看到履帶式頁面。

結(jié)論

顯然，不同的應(yīng)用也會(huì)有不同的需求，至于做什么用的網(wǎng)絡(luò)爬蟲，但總是一個(gè)頁面返回給Googlebot的可能是不夠的。我們還需要決定哪些頁面，我們要揭露和提供的方式為我們的應(yīng)用程序映射_escaped_fragment_?=?key?=?value的?URI的內(nèi)容，我們想向他們展示。

你可能想獲得花式配合服務(wù)器響應(yīng)的前端框架，但我通常采取簡(jiǎn)單的方法，在這里和創(chuàng)建自定義頁面的履帶式，并把它們?cè)谝粋€(gè)單獨(dú)的路由器抓取文件。

也有很多有合法爬蟲，所以一旦我們已經(jīng)調(diào)整了我們對(duì)谷歌爬蟲服務(wù)器，我們可以擴(kuò)展到包括他們。

以上是全部?jī)?nèi)容。