• 最近網站新建大概5萬新頁面,怎麽加快頁面收錄?_SEO交流_SEO前線
    發現更大的SEO世界
     找回密碼
     注冊
    搜索
    »首頁»SEO培訓 SEO論壇 SEO交流 帖子
    12下一頁
    发新帖
    賣芽糖,請到個人資料頁面設置个人签名    

    最近網站新建大概5萬新頁面,怎麽加快頁面收錄?

    5萬多新頁面本月11號上線,入口和內鏈加了,sitemap也同時提交了。

    觀察了半月收錄情況,才3000來個頁面被收,每天平均200個增量,流量每天增加20uv左右,完全沒有達到預期中收錄速度,這樣下去5萬頁面得一年多才能收完,太讓人捉急了。

    怎麽能有效加快頁面收錄??求回複
    发表于 2014-10-28 19:01:12
    回複 收藏
    hudson,請到個人資料頁面設置个人签名    

    每天抓取多少?
    发表于 2014-10-28 19:29:22
    回複 收藏
    bingyan,攻城師    

    看看爬蟲的抓取量吧,你一個新站,一下這麽多頁面,他也需要適應下。
    发表于 2014-10-29 14:44:39
    回複 收藏
    賣芽糖,請到個人資料頁面設置个人签名    

    bingyan 发表于 2014-10-29 14:44
    看看爬蟲的抓取量吧,你一個新站,一下這麽多頁面,他也需要適應下。

    我們網站不是新站,總收錄也有幾百萬了,爬蟲抓取量我看不到,還需要去找技術要
     樓主佳哥seo 发表于 2014-10-29 16:55:23
    回複 收藏
    ZERO,SEO執著愛好者    

    入口的设计,至少要保证从首頁开始三次点击内可以到达所有的这批页面。
    发表于 2014-10-29 17:23:44
    回複 收藏
    賣芽糖,請到個人資料頁面設置个人签名    

    ZERO 发表于 2014-10-29 17:23
    入口的设计,至少要保证从首頁开始三次点击内可以到达所有的这批页面。

    這個一開始沒考慮到,我重新增加一些新的入口試試,過幾天來反饋情況
     樓主佳哥seo 发表于 2014-10-29 17:58:49
    回複 收藏
    773605198,請到個人資料頁面設置个人签名    

    蜘蛛抓取:重复抓取的页面做好nofollow,gzip压缩,单页打开300毫秒,DNS加速,机房出口带宽要大,linux服务器最好,win2003的服务器升级到2008,网站结构首頁-频道-内容,做好页面的外链(不单是首頁)
    頁面佳哥seo量:《百度網頁佳哥seo量白皮書》已經說的夠詳細了
    发表于 2014-10-31 11:10:47
    回複 收藏
    zoujinxue,禁止在簽名添加不相關鏈接    

    加點原創啊,親
    发表于 2014-10-31 11:31:05
    回複 收藏
    xiaoc,請到個人資料頁面設置个人签名    

    賣芽糖 发表于 2014-10-29 16:55
    我們網站不是新站,總收錄也有幾百萬了,爬蟲抓取量我看不到,還需要去找技術要 ...

    不看網站很難判斷原因並給出解決方法吧。不過收錄幾百萬的站應該是不愁蜘蛛總的抓取量的。假設是一個大型資訊站,如果抓取總量足夠,而這批頁面收錄不盡如人意,我認爲應該按以下3個步驟考慮:

    1、蜘蛛是否在抓取這5萬頁面。
    雖然增加了入口和內鏈,也提交了sitemap,這批頁面也有部分收錄,但這不代表蜘蛛知道5萬頁面的存在從而分配足夠的抓取次數。比如入口,100個新頁面爲一組做一個入口也要500個,內鏈的道理類似。有限的爬行入口和內鏈無法引導蜘蛛完成5萬頁面的抓取。至于sitemap,zero以前說過百度對這個佳哥seo西不感冒,聊勝于無。
    你说的增加入口和内链,想必不是专门为蜘蛛而做,还要考虑用戶方面。如果是我的话,我会专门做十个左右的纯链接页面,假设百度蜘蛛抓满200k的话,每个页面可以放5000-6000个链接,能够覆盖这批新页面。然后把这十个页面用百度站长工具的URL提交和抓取诊断来通知百度蜘蛛。

    2、給予這5萬頁面抓取次數和時間是否充足。
    蜘蛛爬行网站的次数和时间是有限的,如果蜘蛛按照经验判断这批页面的重要性较低的话,抓取量提升的就会比较慢。所以这一点贊同zero的建议,增加离首頁近的入口。但这又回到上面入口数量的问题。如果是我的话,我会在蜘蛛爬行密集时段到来之前,用未抓取的页面替换已抓取的页面,换句话说,入口是动态的,保证蜘蛛认识到这批页面的重要性和抓取的比例。

    3、內容佳哥seo量是否達到收錄標准。
    這個應該是決定性的因素吧。全部抓一遍,佳哥seo量不達標也不會收錄。國平老師的博客3年前停更,快照時間卻是今年2月(去年快照時間更新還很快),我一個半年不寫的博客,快照還是當天,足見原創內容、高佳哥seo量內容對蜘蛛的吸引力。所以如果蜘蛛已經把這批頁面抓過一遍,結果收錄比例很小,我覺得就該考慮內容佳哥seo量的原因了。當然不需要等全部抓取完再看,每天觀察日志,抓取了1萬結果過幾天只放出幾十,就該考慮內容因素了。

    無論如何,你都需要也應該找技術拿到網站日志,至少是蜘蛛爬行日志,來了解蜘蛛對網站各欄目的看重程度和頁面抓取與收錄的比例。

    評分

    參與人數 4贊同 +20 收起 理由
    52gcs + 4
    思明 + 4 贊一個!
    賣芽糖 + 4 贊一個!
    ZERO + 8

    查看全部評分

    发表于 2014-10-31 16:31:09
    回複 收藏
    ZERO,SEO執著愛好者    

    xiaoc 发表于 2014-10-31 08:31
    不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型 ...

    曾經測試過,記得800鏈接一個頁面隔日收錄90%左右,然後其它條件基本相當的情況下把鏈接數量調整成2000個,隔日收錄70%左右。
    发表于 2014-10-31 17:05:21
    回複 收藏
    xiaoc,請到個人資料頁面設置个人签名    

    ZERO 发表于 2014-10-31 17:05
    曾经测试过,记得800链接一个页面隔日收录90%左右,然后其它条件基本相当的情况下把链接数量调整成2000个 ...

    老大你測試的結果雖然收錄比例降低了,但總量翻了一倍呀,所以整體效率應該是提高了才對。
    國慶的時候這樣弄過一次,10萬左右頁面吧,不過很多404、重複的和收錄過的,沒統計。站長工具看隨後一段時間抓取頻次翻了一倍,一周後回到以前的水平,收錄增加了.....1W......
    有時間詳細做次實驗
    发表于 2014-10-31 17:18:36
    回複 收藏
    賣芽糖,請到個人資料頁面設置个人签名    

    xiaoc 发表于 2014-10-31 16:31
    不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型 ...

    @xiaoc,謝謝你的全面分析
     樓主佳哥seo 发表于 2014-10-31 22:26:29
    回複 收藏
    huseo,【上海seo頻道】關注,討論,交流,學習seo技術    

    估計你的5萬頁面都抓取了,只是是否符合收錄是一方面,另外一方面是抓取了應該沒有放出來,可能某一天一下全出來了(百度大更新)
    发表于 2014-11-1 10:04:49
    回複 收藏
    dreamtrip,day day up    

    可能是處于新站考核期,某天大更新會嘩啦一下全部出來
    发表于 2014-11-26 13:11:05
    回複 收藏
    賣芽糖,請到個人資料頁面設置个人签名    

    dreamtrip 发表于 2014-11-26 13:11
    可能是處于新站考核期,某天大更新會嘩啦一下全部出來

    不是新站,主要是入口加太深了,已經增加了新入口,目前收錄情況再慢慢好轉
     樓主佳哥seo 发表于 2014-11-26 15:45:51
    回複 收藏
    12下一頁
    快速回複 返回頂部 返回列表