SpiderץȡϵͳµÄ»ù±¾¿ò¼Ü
»¥ÁªÍøÐÅÏ¢±¬·¢Ê½Ôö³¤£¬ÈçºÎÓÐЧµÄ»ñÈ¡²¢ÀûÓÃÕâЩÐÅÏ¢ÊÇËÑË÷ÒýÇ湤×÷ÖеÄÊ×Òª»·½Ú¡£Êý¾Ýץȡϵͳ×÷ΪÕû¸öËÑË÷ϵͳÖеÄÉÏÓΣ¬Ö÷Òª¸ºÔð»¥ÁªÍøÐÅÏ¢µÄËѼ¯¡¢±£´æ¡¢¸üл·½Ú£¬ËüÏñÖ©ÖëÒ»ÑùÔÚÍøÂç¼äÅÀÀ´ÅÀÈ¥£¬Òò´Ëͨ³£»á±»½Ð×ö¡°spider¡±¡£ÀýÈçÎÒÃdz£Óõļ¸¼ÒͨÓÃËÑË÷ÒýÇæÖ©Öë±»³ÆΪ£ºBaiduspdier¡¢Googlebot¡¢Sogou Web SpiderµÈ¡£
SpiderץȡϵͳÊÇËÑË÷ÒýÇæÊý¾ÝÀ´Ô´µÄÖØÒª±£Ö¤£¬Èç¹û°ÑwebÀí½âΪһ¸öÓÐÏòͼ£¬ÄÇôspiderµÄ¹¤×÷¹ý³Ì¿ÉÒÔÈÏΪÊǶÔÕâ¸öÓÐÏòͼµÄ±éÀú¡£´ÓһЩÖØÒªµÄÖÖ×Ó URL¿ªÊ¼£¬Í¨¹ýÒ³ÃæÉϵij¬Á´½Ó¹Øϵ£¬²»¶ÏµÄ·¢ÏÖÐÂURL²¢×¥È¡£¬¾¡×î´ó¿ÉÄÜץȡµ½¸ü¶àµÄÓмÛÖµÍøÒ³¡£¶ÔÓÚÀàËÆ°Ù¶ÈÕâÑùµÄ´óÐÍspiderϵͳ£¬ÒòΪÿʱ ÿ¿Ì¶¼´æÔÚÍøÒ³±»Ð޸ġ¢É¾³ý»ò³öÏÖеij¬Á´½ÓµÄ¿ÉÄÜ£¬Òò´Ë£¬»¹Òª¶Ôspider¹ýȥץȡ¹ýµÄÒ³Ãæ±£³Ö¸üУ¬Î¬»¤Ò»¸öURL¿âºÍÒ³Ãæ¿â¡£
ÏÂͼΪspiderץȡϵͳµÄ»ù±¾¿ò¼Üͼ£¬ÆäÖаüÀ¨Á´½Ó´æ´¢ÏµÍ³¡¢Á´½Óѡȡϵͳ¡¢dns½âÎö·þÎñϵͳ¡¢×¥È¡µ÷¶Èϵͳ¡¢ÍøÒ³·ÖÎöϵͳ¡¢Á´½ÓÌáȡϵͳ¡¢Á´½Ó·ÖÎöϵͳ¡¢ÍøÒ³´æ´¢ÏµÍ³¡£Baiduspider¼´ÊÇͨ¹ýÕâÖÖϵͳµÄͨÁ¦ºÏ×÷Íê³É¶Ô»¥ÁªÍøÒ³ÃæµÄץȡ¹¤×÷¡£
Baiduspider Ö÷Ҫץȡ²ßÂÔÀàÐÍ
ÉÏͼ¿´ËƼòµ¥£¬µ«ÆäʵBaiduspiderÔÚץȡ¹ý³ÌÖÐÃæ¶ÔµÄÊÇÒ»¸ö³¬¼¶¸´ÔÓµÄÍøÂç»·¾³£¬ÎªÁËʹϵͳ¿ÉÒÔץȡµ½¾¡¿ÉÄܶàµÄÓмÛÖµ×ÊÔ´²¢±£³Öϵͳ¼°Êµ¼Ê»·¾³ÖÐÒ³ÃæµÄÒ»ÖÂÐÔͬʱ²»¸øÍøÕ¾ÌåÑéÔì³ÉѹÁ¦£¬»áÉè¼Æ¶àÖÖ¸´ÔÓµÄץȡ²ßÂÔ¡£ÒÔÏÂ×ö¼òµ¥½éÉÜ£º
1¡¢×¥È¡ÓѺÃÐÔ
»¥ÁªÍø×ÊÔ´ÅÓ´óµÄÊýÁ¿¼¶£¬Õâ¾ÍÒªÇóץȡϵͳ¾¡¿ÉÄܵĸßЧÀûÓôø¿í£¬ÔÚÓÐÏÞµÄÓ²¼þºÍ´ø¿í×ÊԴϾ¡¿ÉÄܶàµÄץȡµ½ÓмÛÖµ×ÊÔ´¡£Õâ¾ÍÔì³ÉÁËÁíÒ»¸öÎÊÌ⣬ºÄ·Ñ±»×¥ÍøÕ¾µÄ´ø¿íÔì³É·ÃÎÊѹÁ¦£¬Èç¹û³Ì¶È¹ý´ó½«Ö±½ÓÓ°Ïì±»×¥ÍøÕ¾µÄÕý³£Óû§·ÃÎÊÐÐΪ¡£Òò´Ë£¬ÔÚץȡ¹ý³ÌÖоÍÒª½øÐÐÒ»¶¨µÄץȡѹÁ¦¿ØÖÆ£¬´ïµ½¼È²»Ó°ÏìÍøÕ¾µÄÕý³£Óû§·ÃÎÊÓÖÄܾ¡Á¿¶àµÄץȡµ½ÓмÛÖµ×ÊÔ´µÄÄ¿µÄ¡£
ͨ³£Çé¿öÏ£¬×î»ù±¾µÄÊÇ»ùÓÚipµÄѹÁ¦¿ØÖÆ¡£ÕâÊÇÒòΪÈç¹û»ùÓÚÓòÃû£¬¿ÉÄÜ´æÔÚÒ»¸öÓòÃû¶Ô¶à¸öip£¨ºÜ¶à´óÍøÕ¾£©»ò¶à¸öÓòÃû¶ÔӦͬһ¸öip£¨Ð¡ÍøÕ¾¹²Ïíip£©µÄÎÊÌ⡣ʵ¼ÊÖУ¬ÍùÍù¸ù¾Ýip¼°ÓòÃûµÄ¶àÖÖÌõ¼þ½øÐÐѹÁ¦µ÷Åä¿ØÖÆ¡£Í¬Ê±£¬Õ¾³¤Æ½Ì¨Ò²ÍƳöÁËѹÁ¦·´À¡¹¤¾ß£¬Õ¾³¤¿ÉÒÔÈ˹¤µ÷Åä¶Ô×Ô¼ºÍøÕ¾µÄץȡѹÁ¦£¬Õâʱ°Ù¶Èspider½«ÓÅÏÈ°´ÕÕÕ¾³¤µÄÒªÇó½øÐÐץȡѹÁ¦¿ØÖÆ¡£
¶Ôͬһ¸öÕ¾µãµÄץȡËٶȿØÖÆÒ»°ã·ÖΪÁ½ÀࣺÆäÒ»£¬Ò»¶Îʱ¼äÄÚµÄץȡƵÂÊ£»Æä¶þ£¬Ò»¶Îʱ¼äÄÚµÄץȡÁ÷Á¿¡£Í¬Ò»Õ¾µã²»Í¬µÄʱ¼äץȡËÙ¶ÈÒ²»á²»Í¬£¬ÀýÈçÒ¹ÉîÈ˾²Ôºڷç¸ßʱºòץȡµÄ¿ÉÄܾͻá¿ìһЩ£¬Ò²ÊÓ¾ßÌåÕ¾µãÀàÐͶø¶¨£¬Ö÷Ҫ˼ÏëÊÇ´í¿ªÕý³£Óû§·ÃÎʸ߷壬²»¶ÏµÄµ÷Õû¡£¶ÔÓÚ²»Í¬Õ¾µã£¬Ò²ÐèÒª²»Í¬µÄץȡËٶȡ£
2¡¢³£ÓÃץȡ·µ»ØÂëʾÒâ
¼òµ¥½éÉܼ¸ÖÖ°Ù¶ÈÖ§³ÖµÄ·µ»ØÂ룺
1£©×î³£¼ûµÄ404´ú±í¡°NOT FOUND¡±£¬ÈÏΪÍøÒ³ÒѾʧЧ£¬Í¨³£½«ÔÚ¿âÖÐɾ³ý£¬Í¬Ê±¶ÌÆÚÄÚÈç¹ûspiderÔٴη¢ÏÖÕâÌõurlÒ²²»»áץȡ£»
2£©503´ú±í¡°Service Unavailable¡±£¬ÈÏΪÍøÒ³ÁÙʱ²»¿É·ÃÎÊ£¬Í¨³£ÍøÕ¾ÁÙʱ¹Ø±Õ£¬´ø¿íÓÐÏ޵Ȼá²úÉúÕâÖÖÇé¿ö¡£¶ÔÓÚÍøÒ³·µ»Ø503״̬Â룬°Ù¶Èspider²»»á°ÑÕâÌõurlÖ±½Óɾ³ý£¬Í¬Ê±¶ÌÆÚÄÚ½«»á·´¸´·ÃÎʼ¸´Î£¬Èç¹ûÍøÒ³Òѻָ´£¬ÔòÕý³£×¥È¡£»Èç¹û¼ÌÐø·µ»Ø503£¬ÄÇôÕâÌõurlÈԻᱻÈÏΪÊÇʧЧÁ´½Ó£¬´Ó¿âÖÐɾ³ý¡£
3£©403´ú±í¡°Forbidden¡±£¬ÈÏΪÍøҳĿǰ½ûÖ¹·ÃÎÊ¡£Èç¹ûÊÇÐÂurl£¬spiderÔÝʱ²»×¥È¡£¬¶ÌÆÚÄÚͬÑù»á·´¸´·ÃÎʼ¸´Î£»Èç¹ûÊÇÒÑÊÕ¼url£¬²»»áÖ±½Óɾ³ý£¬¶ÌÆÚÄÚͬÑù·´¸´·ÃÎʼ¸´Î¡£Èç¹ûÍøÒ³Õý³£·ÃÎÊ£¬ÔòÕý³£×¥È¡£»Èç¹ûÈÔÈ»½ûÖ¹·ÃÎÊ£¬ÄÇôÕâÌõurlÒ²»á±»ÈÏΪÊÇʧЧÁ´½Ó£¬´Ó¿âÖÐɾ³ý¡£
4£©301´ú±íÊÇ¡°Moved Permanently¡±£¬ÈÏΪÍøÒ³Öض¨ÏòÖÁÐÂurl¡£µ±Óöµ½Õ¾µãǨÒÆ¡¢ÓòÃû¸ü»»¡¢Õ¾µã¸Ä°æµÄÇé¿öʱ£¬ÎÒÃÇÍƼöʹÓÃ301·µ»ØÂ룬ͬʱʹÓÃÕ¾³¤Æ½Ì¨ÍøÕ¾¸Ä°æ¹¤¾ß£¬ÒÔ¼õÉٸİæ¶ÔÍøÕ¾Á÷Á¿Ôì³ÉµÄËðʧ¡£
3¡¢¶àÖÖurlÖض¨ÏòµÄʶ±ð
»¥ÁªÍøÖÐÒ»²¿·ÖÍøÒ³ÒòΪ¸÷ÖÖ¸÷ÑùµÄÔÒò´æÔÚurlÖض¨Ïò״̬£¬ÎªÁ˶ÔÕⲿ·Ö×ÊÔ´Õý³£×¥È¡£¬¾ÍÒªÇóspider¶ÔurlÖض¨Ïò½øÐÐʶ±ðÅжϣ¬Í¬Ê±·ÀÖ¹×÷±×ÐÐΪ¡£Öض¨Ïò¿É·ÖΪÈýÀࣺhttp 30xÖض¨Ïò¡¢meta refreshÖض¨ÏòºÍjsÖض¨Ïò¡£ÁíÍ⣬°Ù¶ÈÒ²Ö§³ÖCanonical±êÇ©£¬ÔÚЧ¹ûÉÏ¿ÉÒÔÈÏΪҲÊÇÒ»ÖÖ¼ä½ÓµÄÖض¨Ïò¡£
4¡¢×¥È¡ÓÅÏȼ¶µ÷Åä
ÓÉÓÚ»¥ÁªÍø×ÊÔ´¹æÄ£µÄ¾Þ´óÒÔ¼°Ñ¸Ëٵı仯£¬¶ÔÓÚËÑË÷ÒýÇæÀ´ËµÈ«²¿×¥È¡µ½²¢ºÏÀíµÄ¸üб£³ÖÒ»ÖÂÐÔ¼¸ºõÊDz»¿ÉÄܵÄÊÂÇ飬Òò´ËÕâ¾ÍÒªÇóץȡϵͳÉè¼ÆÒ»Ì׺ÏÀíµÄץȡÓÅÏȼ¶µ÷Åä²ßÂÔ¡£Ö÷Òª°üÀ¨£ºÉî¶ÈÓÅÏȱéÀú²ßÂÔ¡¢¿í¶ÈÓÅÏȱéÀú²ßÂÔ¡¢prÓÅÏȲßÂÔ¡¢·´Á´²ßÂÔ¡¢Éç»á»¯·ÖÏíÖ¸µ¼²ßÂԵȵȡ£Ã¿¸ö²ßÂÔ¸÷ÓÐÓÅÁÓ£¬ÔÚʵ¼ÊÇé¿öÖÐÍùÍùÊǶàÖÖ²ßÂÔ½áºÏʹÓÃÒÔ´ïµ½×îÓŵÄץȡЧ¹û¡£
5¡¢Öظ´urlµÄ¹ýÂË
spiderÔÚץȡ¹ý³ÌÖÐÐèÒªÅжÏÒ»¸öÒ³ÃæÊÇ·ñÒѾץȡ¹ýÁË£¬Èç¹û»¹Ã»ÓÐץȡÔÙ½øÐÐץȡÍøÒ³µÄÐÐΪ²¢·ÅÔÚÒÑץȡÍøÖ·¼¯ºÏÖС£ÅжÏÊÇ·ñÒѾץȡÆäÖÐÉæ¼°µ½×îºËÐĵÄÊÇ¿ìËÙ²éÕÒ²¢¶Ô±È£¬Í¬Ê±Éæ¼°µ½url¹éÒ»»¯Ê¶±ð£¬ÀýÈçÒ»¸öurlÖаüº¬´óÁ¿ÎÞЧ²ÎÊý¶øʵ¼ÊÊÇͬһ¸öÒ³Ã棬Õ⽫ÊÓΪͬһ¸öurlÀ´¶Ô´ý¡£
6¡¢°µÍøÊý¾ÝµÄ»ñÈ¡
»¥ÁªÍøÖдæÔÚ×Å´óÁ¿µÄËÑË÷ÒýÇæÔÝʱÎÞ·¨×¥È¡µ½µÄÊý¾Ý£¬±»³ÆΪ°µÍøÊý¾Ý¡£Ò»·½Ã棬ºÜ¶àÍøÕ¾µÄ´óÁ¿Êý¾ÝÊÇ´æÔÚÓÚÍøÂçÊý¾Ý¿âÖУ¬spiderÄÑÒÔ²ÉÓÃץȡÍøÒ³µÄ·½Ê½»ñµÃÍêÕûÄÚÈÝ£»ÁíÒ»·½Ã棬ÓÉÓÚÍøÂç»·¾³¡¢ÍøÕ¾±¾Éí²»·ûºÏ¹æ·¶¡¢¹ÂµºµÈµÈÎÊÌ⣬Ҳ»áÔì³ÉËÑË÷ÒýÇæÎÞ·¨×¥È¡¡£Ä¿Ç°À´Ëµ£¬¶ÔÓÚ°µÍøÊý¾ÝµÄ»ñÈ¡Ö÷Ҫ˼·ÈÔÈ»ÊÇͨ¹ý¿ª·Åƽ̨²ÉÓÃÊý¾ÝÌá½»µÄ·½Ê½À´½â¾ö£¬ÀýÈç¡°°Ù¶ÈÕ¾³¤Æ½Ì¨¡±¡°°Ù¶È¿ª·Åƽ̨¡±µÈµÈ¡£
7¡¢×¥È¡·´×÷±×
spiderÔÚץȡ¹ý³ÌÖÐÍùÍù»áÓöµ½ËùνץȡºÚ¶´»òÕßÃæÁÙ´óÁ¿µÍÖÊÁ¿Ò³ÃæµÄÀ§ÈÅ£¬Õâ¾ÍÒªÇóץȡϵͳÖÐͬÑùÐèÒªÉè¼ÆÒ»Ì×ÍêÉƵÄץȡ·´×÷±×ϵͳ¡£ÀýÈç·ÖÎöurlÌØÕ÷¡¢·ÖÎöÒ³Ãæ´óС¼°ÄÚÈÝ¡¢·ÖÎöÕ¾µã¹æÄ£¶ÔӦץȡ¹æÄ£µÈµÈ¡£
Baiduspiderץȡ¹ý³ÌÖÐÉæ¼°µÄÍøÂçÐÒé
¸Õ²ÅÌáµ½°Ù¶ÈËÑË÷ÒýÇæ»áÉè¼Æ¸´ÔÓµÄץȡ²ßÂÔ£¬ÆäʵËÑË÷ÒýÇæÓë×ÊÔ´ÌṩÕßÖ®¼ä´æÔÚÏ໥ÒÀÀµµÄ¹Øϵ£¬ÆäÖÐËÑË÷ÒýÇæÐèÒªÕ¾³¤ÎªÆäÌṩ×ÊÔ´£¬·ñÔòËÑË÷ÒýÇæ¾ÍÎÞ·¨Âú×ãÓû§¼ìË÷ÐèÇ󣻶øÕ¾³¤ÐèҪͨ¹ýËÑË÷ÒýÇ潫×Ô¼ºµÄ ÄÚÈÝÍƹã³öÈ¥»ñÈ¡¸ü¶àµÄÊÜÖÚ¡£spiderץȡϵͳֱ½ÓÉæ¼°»¥ÁªÍø×ÊÔ´ÌṩÕßµÄÀûÒ棬ΪÁËʹËÑËØÒýÇæÓëÕ¾³¤Äܹ»´ïµ½Ë«Ó®£¬ÔÚץȡ¹ý³ÌÖÐË«·½±ØÐë×ñÊØÒ»¶¨µÄ ¹æ·¶£¬ÒÔ±ãÓÚË«·½µÄÊý¾Ý´¦Àí¼°¶Ô½Ó¡£ÕâÖÖ¹ý³ÌÖÐ×ñÊصĹ淶Ҳ¾ÍÊÇÈÕ³£ÖÐÎÒÃÇËù˵µÄһЩÍøÂçÐÒé¡£
ÒÔϼòµ¥Áо٣º
httpÐÒ飺³¬Îı¾´«ÊäÐÒ飬ÊÇ»¥ÁªÍøÉÏÓ¦ÓÃ×îΪ¹ã·ºµÄÒ»ÖÖÍøÂçÐÒ飬¿Í»§¶ËºÍ·þÎñÆ÷¶ËÇëÇóºÍÓ¦´ðµÄ±ê×¼¡£¿Í»§¶ËÒ»°ãÇé¿öÊÇÖ¸ÖÕ¶ËÓû§£¬·þÎñÆ÷¶Ë¼´Ö¸Íø Õ¾¡£ÖÕ¶ËÓû§Í¨¹ýä¯ÀÀÆ÷¡¢Ö©ÖëµÈÏò·þÎñÆ÷Ö¸¶¨¶Ë¿Ú·¢ËÍhttpÇëÇó¡£·¢ËÍhttpÇëÇó»á·µ»Ø¶ÔÓ¦µÄhttpheaderÐÅÏ¢£¬¿ÉÒÔ¿´µ½°üÀ¨ÊÇ·ñ³É¹¦¡¢·þÎñ Æ÷ÀàÐÍ¡¢ÍøÒ³×î½ü¸üÐÂʱ¼äµÈÄÚÈÝ¡£
httpsÐÒ飺ʵ¼ÊÊǼÓÃÜ°æhttp£¬Ò»ÖÖ¸ü¼Ó°²È«µÄÊý¾Ý´«ÊäÐÒé¡£
UAÊôÐÔ£ºUA¼´user-agent£¬ÊÇhttpÐÒéÖеÄÒ»¸öÊôÐÔ£¬´ú±íÁËÖն˵ÄÉí·Ý£¬Ïò·þÎñÆ÷¶Ë±íÃ÷ÎÒÊÇËÀ´¸ÉÂ½ø¶ø·þÎñÆ÷¶Ë¿ÉÒÔ¸ù¾Ý²»Í¬µÄÉí·ÝÀ´×ö³ö²»Í¬µÄ·´À¡½á¹û¡£
robotsÐÒ飺robots.txtÊÇËÑË÷ÒýÇæ·ÃÎÊÒ»¸öÍøվʱҪ·ÃÎʵĵÚÒ»¸öÎļþ£¬ÓÃÒÔÀ´È·¶¨ÄÄЩÊDZ»ÔÊÐíץȡµÄÄÄЩÊDZ»½ûֹץȡµÄ¡£ robots.txt±ØÐë·ÅÔÚÍøÕ¾¸ùĿ¼Ï£¬ÇÒÎļþÃûҪСд¡£ÏêϸµÄrobots.txtд·¨¿É²Î¿¼ http://www.robotstxt.org ¡£°Ù¶ÈÑϸñ°´ÕÕrobotsÐÒéÖ´ÐУ¬ÁíÍ⣬ͬÑùÖ§³ÖÍøÒ³ÄÚÈÝÖÐÌí¼ÓµÄÃûΪrobotsµÄmeta±ê Ç©£¬index¡¢follow¡¢nofollowµÈÖ¸Áî¡£
BaiduspiderץȡƵ´ÎÔÔò¼°µ÷Õû·½·¨
Baiduspider¸ù¾ÝÉÏÊöÍøÕ¾ÉèÖõÄÐÒé¶ÔÕ¾µãÒ³Ãæ½øÐÐץȡ£¬µ«ÊDz»¿ÉÄÜ×öµ½¶ÔËùÓÐÕ¾µãÒ»ÊÓͬÈÊ£¬»á×ۺϿ¼ÂÇÕ¾µãʵ¼ÊÇé¿öÈ·¶¨Ò»¸öץȡÅä¶î£¬Ã¿Ì춨Á¿×¥È¡Õ¾µãÄÚÈÝ£¬¼´ÎÒÃdz£ËµµÄץȡƵ´Î¡£ÄÇô°Ù¶ÈËÑË÷ÒýÇæÊǸù¾Ýʲôָ±êÀ´È·¶¨¶ÔÒ»¸öÍøÕ¾µÄץȡƵ´ÎµÄÄØ£¬Ö÷ÒªÖ¸±êÓÐËĸö£º
1£¬ÍøÕ¾¸üÐÂƵÂÊ£º¸üпì¶àÀ´£¬¸üÐÂÂýÉÙÀ´£¬Ö±½ÓÓ°ÏìBaiduspiderµÄÀ´·ÃƵÂÊ
2£¬ÍøÕ¾¸üÐÂÖÊÁ¿£º¸üÐÂƵÂÊÌá¸ßÁË£¬½ö½öÊÇÎüÒýÁËBaiduspierµÄ×¢Ò⣬Baiduspider¶ÔÖÊÁ¿ÊÇÓÐÑϸñÒªÇóµÄ£¬Èç¹ûÍøվÿÌì¸üгöµÄ´óÁ¿ÄÚÈݶ¼±»BaiduspiderÅж¨ÎªµÍÖÊÒ³Ã棬ÒÀȻûÓÐÒâÒå¡£
3£¬Á¬Í¨¶È£ºÍøÕ¾Ó¦¸Ã°²È«Îȶ¨¡¢¶ÔBaiduspider±£³Ö³©Í¨£¬¾³£¸øBaiduspider³Ô±Õßþ¿É²»ÊǺÃÊÂÇé
4£¬Õ¾µãÆÀ¼Û£º°Ù¶ÈËÑË÷ÒýÇæ¶Ôÿ¸öÕ¾µã¶¼»áÓÐÒ»¸öÆÀ¼Û£¬ÇÒÕâ¸öÆÀ¼Û»á¸ù¾ÝÕ¾µãÇé¿ö²»¶Ï±ä»¯£¬ÊÇ°Ù¶ÈËÑË÷ÒýÇæ¶ÔÕ¾µãµÄÒ»¸ö»ù´¡´ò·Ö£¨¾ø·ÇÍâ½çËù˵µÄ°Ù¶ÈȨÖØ£©£¬ÊÇ°Ù¶ÈÄÚ²¿Ò»¸ö·Ç³£»úÃܵÄÊý¾Ý¡£Õ¾µãÆÀ¼¶´Ó²»¶ÀÁ¢Ê¹Ó㬻áÅäºÏÆäËüÒò×ÓºÍãÐÖµÒ»Æð¹²Í¬Ó°Ïì¶ÔÍøÕ¾µÄץȡºÍÅÅÐò¡£
ץȡƵ´Î¼ä½Ó¾ö¶¨×ÅÍøÕ¾ÓжàÉÙÒ³ÃæÓпÉÄܱ»½¨¿âÊÕ¼£¬Èç´ËÖØÒªµÄÊýÖµÈç¹û²»·ûºÏÕ¾³¤Ô¤ÆÚ¸ÃÈçºÎµ÷ÕûÄØ£¿°Ù¶ÈÕ¾³¤Æ½Ì¨ÌṩÁËץȡƵ´Î¹¤¾ß£¨http://zhanzhang.baidu.com/pressure/index£©£¬²¢ÒÑÍê³É¶à´ÎÉý¼¶¡£¸Ã¹¤¾ß³ýÁËÌṩץȡͳ¼ÆÊý¾ÝÍ⣬»¹Ìṩ¡°Æµ´Îµ÷Õû¡±¹¦ÄÜ£¬Õ¾³¤¸ù¾Ýʵ¼ÊÇé¿öÏò°Ù¶ÈÕ¾³¤Æ½Ì¨Ìá³öÏ£ÍûBaiduspiderÔö¼ÓÀ´·Ã»ò¼õÉÙÀ´·ÃµÄÇëÇ󣬹¤¾ß»á¸ù¾ÝÕ¾³¤µÄÒâÔ¸ºÍʵ¼ÊÇé¿ö½øÐе÷Õû¡£
Ôì³ÉBaiduspiderץȡÒì³£µÄÔÒò
ÓÐһЩÍøÒ³£¬ÄÚÈÝÓÅÖÊ£¬Óû§Ò²¿ÉÒÔÕý³£·ÃÎÊ£¬µ«ÊÇBaiduspiderÈ´ÎÞ·¨Õý³£·ÃÎʲ¢×¥È¡£¬Ôì³ÉËÑË÷½á¹û¸²¸ÇÂÊȱʧ£¬¶Ô°Ù¶ÈËÑË÷ÒýÇæ¶ÔÕ¾µã¶¼ÊÇÒ»ÖÖËðʧ£¬°Ù¶È°ÑÕâÖÖÇé¿ö½Ð¡°×¥È¡Òì³£¡±¡£¶ÔÓÚ´óÁ¿ÄÚÈÝÎÞ·¨Õý³£×¥È¡µÄÍøÕ¾£¬°Ù¶ÈËÑË÷ÒýÇæ»áÈÏΪÍøÕ¾´æÔÚÓû§ÌåÑéÉϵÄȱÏÝ£¬²¢½µµÍ¶ÔÍøÕ¾µÄÆÀ¼Û£¬ÔÚץȡ¡¢Ë÷Òý¡¢ÅÅÐòÉ϶¼»áÊܵ½Ò»¶¨³Ì¶ÈµÄ¸ºÃæÓ°Ï죬×îÖÕÓ°Ïìµ½ÍøÕ¾´Ó°Ù¶È»ñÈ¡µÄÁ÷Á¿¡£
ÏÂÃæÏòÕ¾³¤½éÉÜһЩ³£¼ûµÄץȡÒì³£ÔÒò:
1£¬·þÎñÆ÷Á¬½ÓÒì³£
·þÎñÆ÷Á¬½ÓÒì³£»áÓÐÁ½ÖÖÇé¿ö£ºÒ»ÖÖÊÇÕ¾µã²»Îȶ¨£¬Baiduspider³¢ÊÔÁ¬½ÓÄúÍøÕ¾µÄ·þÎñÆ÷ʱ³öÏÖÔÝʱÎÞ·¨Á¬½ÓµÄÇé¿ö£»Ò»ÖÖÊÇBaiduspiderÒ»Ö±ÎÞ·¨Á¬½ÓÉÏÄúÍøÕ¾µÄ·þÎñÆ÷¡£
Ôì³É·þÎñÆ÷Á¬½ÓÒì³£µÄÔÒòͨ³£ÊÇÄúµÄÍøÕ¾·þÎñÆ÷¹ý´ó£¬³¬¸ººÉÔËת¡£Ò²ÓпÉÄÜÊÇÄúµÄÍøÕ¾ÔËÐв»Õý³££¬Çë¼ì²éÍøÕ¾µÄweb·þÎñÆ÷£¨Èçapache¡¢iis£©ÊÇ·ñ°²×°ÇÒÕý³£ÔËÐУ¬²¢Ê¹ÓÃä¯ÀÀÆ÷¼ì²éÖ÷ÒªÒ³ÃæÄÜ·ñÕý³£·ÃÎÊ¡£ÄúµÄÍøÕ¾ºÍÖ÷»ú»¹¿ÉÄÜ×èÖ¹ÁËBaiduspiderµÄ·ÃÎÊ£¬ÄúÐèÒª¼ì²éÍøÕ¾ºÍÖ÷»úµÄ·À»ðǽ¡£
2£¬ÍøÂçÔËÓªÉÌÒì³££ºÍøÂçÔËÓªÉÌ·ÖµçÐźÍÁªÍ¨Á½ÖÖ£¬Baiduspiderͨ¹ýµçÐÅ»òÍøͨÎÞ·¨·ÃÎÊÄúµÄÍøÕ¾¡£Èç¹û³öÏÖÕâÖÖÇé¿ö£¬ÄúÐèÒªÓëÍøÂç·þÎñÔËÓªÉ̽øÐÐÁªÏµ£¬»òÕß¹ºÂòÓµÓÐË«Ïß·þÎñµÄ¿Õ¼ä»òÕß¹ºÂòcdn·þÎñ¡£
3£¬DNSÒì³££ºµ±BaiduspiderÎÞ·¨½âÎöÄúÍøÕ¾µÄIPʱ£¬»á³öÏÖDNSÒì³£¡£¿ÉÄÜÊÇÄúµÄÍøÕ¾IPµØÖ·´íÎ󣬻òÕßÓòÃû·þÎñÉÌ°ÑBaiduspider·â½û¡£ÇëʹÓÃWHOIS»òÕßhost²éѯ×Ô¼ºÍøÕ¾IPµØÖ·ÊÇ·ñÕýÈ·ÇҿɽâÎö£¬Èç¹û²»ÕýÈ·»òÎÞ·¨½âÎö£¬ÇëÓëÓòÃû×¢²áÉÌÁªÏµ£¬¸üÐÂÄúµÄIPµØÖ·¡£
4£¬IP·â½û£ºIP·â½ûΪ£ºÏÞÖÆÍøÂçµÄ³ö¿ÚIPµØÖ·£¬½ûÖ¹¸ÃIP¶ÎµÄʹÓÃÕß½øÐÐÄÚÈÝ·ÃÎÊ£¬ÔÚÕâÀïÌØÖ¸·â½ûÁËBaiduspiderIP¡£µ±ÄúµÄÍøÕ¾²»Ï£ÍûBaiduspider·ÃÎÊʱ£¬²ÅÐèÒª¸ÃÉèÖã¬Èç¹ûÄúÏ£ÍûBaiduspider·ÃÎÊÄúµÄÍøÕ¾£¬Çë¼ì²éÏà¹ØÉèÖÃÖÐÊÇ·ñÎóÌí¼ÓÁËBaiduspiderIP¡£Ò²ÓпÉÄÜÊÇÄúÍøÕ¾ËùÔڵĿռä·þÎñÉÌ°Ñ°Ù¶ÈIP½øÐÐÁË·â½û£¬ÕâʱÄúÐèÒªÁªÏµ·þÎñÉ̸ü¸ÄÉèÖá£
5£¬UA·â½û£ºUA¼´ÎªÓû§´úÀí£¨User-Agent£©£¬·þÎñÆ÷ͨ¹ýUAʶ±ð·ÃÎÊÕßµÄÉí·Ý¡£µ±ÍøÕ¾Õë¶ÔÖ¸¶¨UAµÄ·ÃÎÊ£¬·µ»ØÒì³£Ò³Ã棨Èç403£¬500£©»òÌøתµ½ÆäËûÒ³ÃæµÄÇé¿ö£¬¼´ÎªUA·â½û¡£µ±ÄúµÄÍøÕ¾²»Ï£ÍûBaiduspider·ÃÎÊʱ£¬²ÅÐèÒª¸ÃÉèÖã¬Èç¹ûÄúÏ£ÍûBaiduspider·ÃÎÊÄúµÄÍøÕ¾£¬useragentÏà¹ØµÄÉèÖÃÖÐÊÇ·ñÓÐBaiduspider UA£¬²¢¼°Ê±Ð޸ġ£
6£¬ËÀÁ´£ºÒ³ÃæÒѾÎÞЧ£¬ÎÞ·¨¶ÔÓû§ÌṩÈκÎÓмÛÖµÐÅÏ¢µÄÒ³Ãæ¾ÍÊÇËÀÁ´½Ó£¬°üÀ¨ÐÒéËÀÁ´ºÍÄÚÈÝËÀÁ´Á½ÖÖÐÎʽ:
ÐÒéËÀÁ´£ºÒ³ÃæµÄTCPÐÒé״̬/HTTPÐÒé״̬Ã÷È·±íʾµÄËÀÁ´£¬³£¼ûµÄÈç404¡¢403¡¢503״̬µÈ¡£
ÄÚÈÝËÀÁ´£º·þÎñÆ÷·µ»Ø״̬ÊÇÕý³£µÄ£¬µ«ÄÚÈÝÒѾ±ä¸üΪ²»´æÔÚ¡¢ÒÑɾ³ý»òÐèҪȨÏÞµÈÓëÔÄÚÈÝÎ޹صÄÐÅÏ¢Ò³Ãæ¡£
¶ÔÓÚËÀÁ´£¬ÎÒÃǽ¨ÒéÕ¾µãʹÓÃÐÒéËÀÁ´£¬²¢Í¨¹ý°Ù¶ÈÕ¾³¤Æ½Ì¨--ËÀÁ´¹¤¾ßÏò°Ù¶ÈÌá½»£¬ÒÔ±ã°Ù¶È¸ü¿ìµØ·¢ÏÖËÀÁ´£¬¼õÉÙËÀÁ´¶ÔÓû§ÒÔ¼°ËÑË÷ÒýÇæÔì³ÉµÄ¸ºÃæÓ°Ïì¡£
7£¬Òì³£Ìøת£º½«ÍøÂçÇëÇóÖØÐÂÖ¸ÏòÆäËûλÖü´ÎªÌøת¡£Òì³£ÌøתָµÄÊÇÒÔϼ¸ÖÖÇé¿ö£º
1£©µ±Ç°¸ÃÒ³ÃæΪÎÞЧҳÃ棨ÄÚÈÝÒÑɾ³ý¡¢ËÀÁ´µÈ£©£¬Ö±½ÓÌøתµ½Ç°Ò»Ä¿Â¼»òÕßÊ×Ò³£¬°Ù¶È½¨ÒéÕ¾³¤½«¸ÃÎÞЧҳÃæµÄÈë¿Ú³¬Á´½Óɾ³ýµô
2£©Ìøתµ½³ö´í»òÕßÎÞЧҳÃæ
×¢Ò⣺¶ÔÓÚ³¤Ê±¼äÌøתµ½ÆäËûÓòÃûµÄÇé¿ö£¬ÈçÍøÕ¾¸ü»»ÓòÃû£¬°Ù¶È½¨ÒéʹÓÃ301ÌøתÐÒé½øÐÐÉèÖá£
8£¬ÆäËûÒì³££º
1£©Õë¶Ô°Ù¶ÈreferµÄÒì³££ºÍøÒ³Õë¶ÔÀ´×԰ٶȵÄrefer·µ»Ø²»Í¬ÓÚÕý³£ÄÚÈݵÄÐÐΪ¡£
2£©Õë¶Ô°Ù¶ÈuaµÄÒì³££ºÍøÒ³¶Ô°Ù¶ÈUA·µ»Ø²»Í¬ÓÚÒ³ÃæÔÄÚÈݵÄÐÐΪ¡£
3£©JSÌøתÒì³££ºÍøÒ³¼ÓÔØÁË°Ù¶ÈÎÞ·¨Ê¶±ðµÄJSÌøת´úÂ룬ʹµÃÓû§Í¨¹ýËÑË÷½á¹û½øÈëÒ³Ãæºó·¢ÉúÁËÌøתµÄÇé¿ö¡£
4£©Ñ¹Á¦¹ý´óÒýÆðµÄżȻ·â½û£º°Ù¶È»á¸ù¾ÝÕ¾µãµÄ¹æÄ£¡¢·ÃÎÊÁ¿µÈÐÅÏ¢£¬×Ô¶¯É趨һ¸öºÏÀíµÄץȡѹÁ¦¡£µ«ÊÇÔÚÒì³£Çé¿öÏ£¬ÈçѹÁ¦¿ØÖÆʧ³£Ê±£¬·þÎñÆ÷»á¸ù¾Ý×ÔÉí¸ººÉ½øÐб£»¤ÐԵĿȻ·â½û¡£ÕâÖÖÇé¿öÏ£¬ÇëÔÚ·µ»ØÂëÖзµ»Ø503(Æ京ÒåÊÇ¡°Service Unavailable¡±)£¬ÕâÑùBaiduspider»á¹ý¶Îʱ¼äÔÙÀ´³¢ÊÔץȡÕâ¸öÁ´½Ó£¬Èç¹ûÍøÕ¾ÒÑ¿ÕÏУ¬Ôò»á±»³É¹¦×¥È¡¡£
ÐÂÁ´½ÓÖØÒª³Ì¶ÈÅжÏ
ºÃÀ²£¬ÉÏÃæÎÒÃÇ˵ÁËÓ°ÏìBaiduspiderÕý³£×¥È¡µÄÔÒò£¬ÏÂÃæ¾ÍҪ˵˵BaiduspiderµÄһЩÅжÏÔÔòÁË¡£ÔÚ½¨¿â»·½ÚÇ°£¬Baiduspider»á¶ÔÒ³Ãæ½øÐгõ²½ÄÚÈÝ·ÖÎöºÍÁ´½Ó·ÖÎö£¬Í¨¹ýÄÚÈÝ·ÖÎö¾ö¶¨¸ÃÍøÒ³ÊÇ·ñÐèÒª½¨Ë÷Òý¿â£¬Í¨¹ýÁ´½Ó·ÖÎö·¢ÏÖ¸ü¶àÍøÒ³£¬ÔÙ¶Ô¸ü¶àÍøÒ³½øÐÐץȡ¡ª¡ª·ÖÎö¡ª¡ªÊÇ·ñ½¨¿â&·¢ÏÖÐÂÁ´½ÓµÄÁ÷³Ì¡£ÀíÂÛÉÏ£¬Baiduspider»á½«ÐÂÒ³ÃæÉÏËùÓÐÄÜ¡°¿´µ½¡±µÄÁ´½Ó¶¼×¥È¡»ØÀ´£¬ÄÇôÃæ¶ÔÖÚ¶àÐÂÁ´½Ó£¬Baiduspider¸ù¾ÝʲôÅжÏÄĸö¸üÖØÒªÄØ£¿Á½·½Ã棺
µÚÒ»£¬¶ÔÓû§µÄ¼ÛÖµ£º
1£¬ÄÚÈݶÀÌØ£¬°Ù¶ÈËÑË÷ÒýÇæϲ»¶uniqueµÄÄÚÈÝ
2£¬Ö÷ÌåÍ»³ö£¬Çв»Òª³öÏÖÍøÒ³Ö÷ÌåÄÚÈݲ»Í»³ö¶ø±»ËÑË÷ÒýÇæÎóÅÐΪ¿Õ¶ÌÒ³Ã治ץȡ
3£¬ÄÚÈݷḻ
4£¬¹ã¸æÊʵ±
µÚ¶þ£¬Á´½ÓÖØÒª³Ì¶È£º
1£¬Ä¿Â¼²ã¼¶¡ª¡ªÇ³²ãÓÅÏÈ
2£¬Á´½ÓÔÚÕ¾ÄÚµÄÊÜ»¶Ó³Ì¶È
°Ù¶ÈÓÅÏȽ¨ÖØÒª¿âµÄÔÔò
Baiduspider×¥Á˶àÉÙÒ³Ãæ²¢²»ÊÇ×îÖØÒªµÄ£¬ÖØÒªµÄÊÇÓжàÉÙÒ³Ãæ±»½¨Ë÷Òý¿â£¬¼´ÎÒÃdz£ËµµÄ¡°½¨¿â¡±¡£ÖÚËùÖÜÖª£¬ËÑË÷ÒýÇæµÄË÷Òý¿âÊǷֲ㼶µÄ£¬ÓÅÖʵÄÍøÒ³»á±»·ÖÅäµ½ÖØÒªË÷Òý¿â£¬ÆÕͨÍøÒ³»á´ýÔÚÆÕͨ¿â£¬ÔÙ²îһЩµÄÍøÒ³»á±»·ÖÅäµ½µÍ¼¶¿âÈ¥µ±²¹³ä²ÄÁÏ¡£Ä¿Ç°60%µÄ¼ìË÷ÐèÇóÖ»µ÷ÓÃÖØÒªË÷Òý¿â¼´¿ÉÂú×㣬ÕâÒ²¾Í½âÊÍÁËΪʲôÓÐЩÍøÕ¾µÄÊÕ¼Á¿³¬¸ßÁ÷Á¿È´Ò»Ö±²»ÀíÏë¡£
ÄÇô£¬ÄÄЩÍøÒ³¿ÉÒÔ½øÈëÓÅÖÊË÷Òý¿âÄØ¡£Æäʵ×ܵÄÔÔò¾ÍÊÇÒ»¸ö£º¶ÔÓû§µÄ¼ÛÖµ¡£°üÀ¨È´²»½öÓÚ£º
1£¬ÓÐʱЧÐÔÇÒÓмÛÖµµÄÒ³Ã棺ÔÚÕâÀʱЧÐԺͼÛÖµÊDz¢ÁйØϵ£¬È±Ò»²»¿É¡£ÓÐЩվµãΪÁ˲úÉúʱЧÐÔÄÚÈÝÒ³Ãæ×öÁË´óÁ¿²É¼¯¹¤×÷£¬²úÉúÁËÒ»¶ÑÎÞ¼ÛÖµÃæÒ³£¬Ò²ÊǰٶȲ»Ô¸¿´µ½µÄ.
2£¬ÄÚÈÝÓÅÖʵÄרÌâÒ³Ã棺רÌâÒ³ÃæµÄÄÚÈݲ»Ò»¶¨ÍêÈ«ÊÇÔ´´µÄ£¬¼´¿ÉÒԺܺõذѸ÷·½ÄÚÈÝÕûºÏÔÚÒ»Æ𣬻òÕßÔö¼ÓһЩÐÂÏʵÄÄÚÈÝ£¬±ÈÈç¹ÛµãºÍÆÀÂÛ£¬¸øÓû§¸ü·á¸»È«ÃæµÄÄÚÈÝ¡£
3£¬¸ß¼ÛÖµÔ´´ÄÚÈÝÒ³Ã棺°Ù¶È°ÑÔ´´¶¨ÒåΪ»¨·ÑÒ»¶¨³É±¾¡¢´óÁ¿¾Ñé»ýÀÛÌáÈ¡ºóÐγɵÄÎÄÕ¡£Ç§Íò²»ÒªÔÙÎÊÎÒÃÇαԴ´ÊDz»ÊÇÔ´´¡£
4£¬ÖØÒª¸öÈËÒ³Ã棺ÕâÀï½ö¾ÙÒ»¸öÀý×Ó£¬¿Æ±ÈÔÚÐÂÀË΢²©¿ª»§ÁË£¬¼´Ê¹Ëû²»¾³£¸üУ¬µ«¶ÔÓÚ°Ù¶ÈÀ´Ëµ£¬ËüÈÔÈ»ÊÇÒ»¸ö¼«ÖØÒªµÄÒ³Ãæ¡£
ÄÄЩÍøÒ³ÎÞ·¨½¨ÈëË÷Òý¿â
ÉÏÊöÓÅÖÊÍøÒ³½øÁËË÷Òý¿â£¬ÄÇÆäʵ»¥ÁªÍøÉϴ󲿷ÖÍøÕ¾¸ù±¾Ã»Óб»°Ù¶ÈÊÕ¼¡£²¢·ÇÊÇ°Ù¶ÈûÓз¢ÏÖËûÃÇ£¬¶øÊÇÔÚ½¨¿âÇ°µÄɸѡ»·½Ú±»¹ýÂ˵ôÁË¡£ÄÇÔõÑùµÄÍøÒ³ÔÚ×î³õ»·½Ú¾Í±»¹ýÂ˵ôÁËÄØ£º
1£¬ Öظ´ÄÚÈݵÄÍøÒ³£º»¥ÁªÍøÉÏÒÑÓеÄÄÚÈÝ£¬°Ù¶È±ØȻûÓбØÒªÔÙÊÕ¼¡£
2£¬ Ö÷ÌåÄÚÈݿն̵ÄÍøÒ³
1£©ÓÐЩÄÚÈÝʹÓÃÁË°Ù¶ÈspiderÎÞ·¨½âÎöµÄ¼¼Êõ£¬ÈçJS¡¢AJAXµÈ£¬ËäÈ»Óû§·ÃÎÊÄÜ¿´µ½·á¸»µÄÄÚÈÝ£¬ÒÀÈ»»á±»ËÑË÷ÒýÇæÅ×Æú
2£©¼ÓÔØËٶȹýÂýµÄÍøÒ³£¬Ò²ÓпÉÄܱ»µ±×÷¿Õ¶ÌÒ³Ãæ´¦Àí£¬×¢Òâ¹ã¸æ¼ÓÔØʱ¼äËãÔÚÍøÒ³ÕûÌå¼ÓÔØʱ¼äÄÚ¡£
3£©ºÜ¶àÖ÷Ì岻ͻ³öµÄÍøÒ³¼´Ê¹±»×¥È¡»ØÀ´Ò²»áÔÚÕâ¸ö»·½Ú±»Å×Æú¡£
3£¬ ²¿·Ö×÷±×ÍøÒ³