爬虫爬取网页内外链

用Beautifulsoup库写了一个小爬虫，用于爬取一个网站所有的内链和外链。

首先我先解释一下什么是内链和外链，内链是一个网站中指向自身文件的链接，他的URL一般为 ../..,而外链，通俗的说就是我们平常浏览网页浏览器所用的URL，一般格式为 ‘www’,‘http’,‘https’。
上面的两种格式是我们区分内链和外链的重要条件，我们将用正则表达式将他们加以区分和删选。
下面就是完整的代码：

   #encoding:utf-8
   from urllib import urlopen
   from bs4 import BeautifulSoup
   import re
   import datetime
   import random
   pages = set()
   random.seed(datetime.datetime.now())
   # 获取页面所有内链的列表
   def getInternalLinks(bsObj, includeUrl):
       internalLinks = []
       # 找出所有以"/"开头的链接
       for link in bsObj.findAll("a", href=re.compile("^(/|.*"+includeUrl+")")):
           if link.attrs['href'] is not None:
               if link.attrs['href'] not in internalLinks:
                   internalLinks.append(link.attrs['href'])
       return internalLinks
   # 获取页面所有外链的列表
   def getExternalLinks(bsObj, excludeUrl):
       externalLinks = []
   # 找出所有以"http"或"www"开头且不包含当前URL的链接
       for link in bsObj.findAll("a",href=re.compile("^(http|www)((?!"+excludeUrl+").)*$")):
           if link.attrs['href'] is not None:
               if link.attrs['href'] not in externalLinks:
                   externalLinks.append(link.attrs['href'])
       return externalLinks
   def splitAddress(address):
       addressParts = address.replace("http://", "").split("/")
       return addressParts

   def getRandomExternalLink(startingPage):
       html = urlopen(startingPage)
       bsObj = BeautifulSoup(html)
       externalLinks = getExternalLinks(bsObj, splitAddress(startingPage)[0])
       if len(externalLinks) == 0:
           internalLinks = getInternalLinks(startingPage)
           return getExternalLinks(internalLinks[random.randint(0,len(internalLinks)-1)])
       else:
           return externalLinks[random.randint(0, len(externalLinks)-1)]

   def followExternalOnly(startingSite):
       externalLink = getRandomExternalLink("https://www.luckyye.com/")
       print("随机外链是："+externalLink)
       followExternalOnly(externalLink)

   followExternalOnly("https://www.luckyye.com/")

运行这段代码之后，我试了不同的网站，很有意思的是，我输入了一个我经常逛的论坛V2EX的地址，虽然代码成功了，但是在浏览器上访问这个网站时，显示 “ASSCE DENIAL” 禁止访问，看来是我的爬虫引起了网站的反爬机制，但一段时间后，又能进行访问了。