0X00 前言
前段日子,甲方爸爸需要对集团的各类门户网站做外链查询,看看有没有什么网站下面有那种见不得人的东西,相信各位老司机都懂得吧哈哈,于是开始在网上寻找一些爬虫软件(没办法,自己太菜了,只能找找大佬的软件)

但是找了半天没找到合适的,甲方爸爸要求在这周内完成收集,那么多网站,要是手动搞实在是太累了,而且要找全啊,不能是单个页面下的,还要递归查找,最后实在找不到只能自己写了,拿出我尘封已久的pycharm就开始搞了。
0X01 思路探究
在我们开始写一个工具前,必须要有一套完整的思路(本萌新自己的思路各位大佬亲喷),我这里用我自己本次的思路进行一个总结如下:

0X02 程序功能实现过程中问题总结
1.在爬虫连接时遇到反爬虫机制。
这个问题我在网上找了一些资料,基本都是通过headers字段进行反爬,由于这边甲方爸爸采用的白名单机制,且有相关的防爬waf,所以还是和甲方爸爸相关的运维配合解决了反爬问题,主要是时间确实不多,后续会进行这块的代码优化。
2.连接时候出现异常,各类变量为空。
这个就是当访问到某些特定URL时会出现无法连接的情况,然后返回的内容为none,就会出现一连串错误,这个时候简单做下异常处理,或者采用简单的if判断进行解决。
3.正则匹配不准确。
正则还是得多学学,搞了很久才弄出正确的正则。。。

4.使用递归深度爬取后发现程序容易出错且每次爬取结果不统一。
最开始选择用递归发现程序很容易出错,最后想了下用队列的方式就解决了这类问题,感觉还是队列好用啊。
5.存放外联和网站整体URL时list变量不好传递。
这个list变量由于一直在往里添加元素,最开始使用参数传递,发现不对劲,最后把他弄出全局变量就解决这个问题了,哈哈哈。
0x03 甩出主要代码

import sys
from PyQt5.QtWidgets import QApplication, QWidget, QMainWindow ,QMessageBox
from ui import Ui_Spider
import requests
from lxml import etree
#from multiprocessing import Pool
#from multiprocessing import Manager
import time
import re

class mwindow(QWidget, Ui_Spider):
    def __init__(self):
        super(mwindow, self).__init__()
        self.setupUi(self)
        self.initUi()
        self.initarg()

def initUi(self):
    #绑定事件
    self.spider_button.clicked.connect(self.add_list)
    self.url_button.clicked.connect(self.out_url)
    self.wl_button.clicked.connect(self.out_wl_url)

def initarg(self):
    # 全局url变量
    global temp_list2
    temp_list2 = []

    # 全局外联变量
    global temp_list
    temp_list = []

    global quen_list
    quen_list = []

    global count
    count = 0

def out_url(self):
    widgetres = self.write_text()

    with open('url.txt','w+',encoding='utf-8') as f:
        for i in widgetres:
            f.writelines(i + '\n')
    QMessageBox.about(self, '','导出成功')

def out_wl_url(self):
    widgetres = temp_list

    with open('wl_url.txt','w+',encoding='utf-8') as f:
        for i in widgetres:
            f.writelines(i + '\n')
    QMessageBox.about(self, '','导出成功')

def add_list(self):
    num = self.url_text.text()
    # 爬取标签列表
    p_list = ['//@href', '//@src', '//@link']

    # 判断是否为本域名参数
    domain_url = self.doamin_text.text()
    domain_list = domain_url.split(";")

    #开始之前情况清空所有列表数据
    self.url_list.clear()
    self.wl_list.clear()
    temp_list.clear()
    temp_list2.clear()
    quen_list.clear()

    # 判断是否为空
    if len(num) == 0:
        QMessageBox.about(self,'','请输入url')
    if len(domain_url) == 0:
        QMessageBox.about(self, '', '请输入domain!')
    if len(num) !=0 and len(domain_list) != 0:
        self.pool_pc(p_list,num,domain_list)

def sprider(self,reg, url, domain_url):
    if url not in temp_list2:
        # 将每次跑的url写进3.txt
        temp_list2.append(url)

        # 添加跑的url元素
        self.url_list.addItem(str(url))
        QApplication.processEvents()

        x = self.link_url(url)

        if x != None:
            # 获取页面源码
            html = etree.HTML(x.content)

            tpl_content = self.get_tpt_content(reg, html)

            filter_list = self.get_filter_list(url, tpl_content)

            self.cycle(url, filter_list, domain_url)

    else:
        # q.put(url)
        time.sleep(0.01)

def cycle(self, filter_list, domain_url):

    # 进行判断下方是否还有url,如果有继续,如果没有停止
    flag = 0
    temp_filter_list = []
    set(filter_list)
    for fl in filter_list:
        for d_url in domain_url:
            if d_url in fl:
                if fl not in temp_list2:
                    temp_filter_list.append(fl)
                    flag = 1

            if d_url not in fl:
                temp_list.append(fl)

                # 添加外联列表元素
                self.wl_list.addItem(str(fl))
                QApplication.processEvents()

    if flag == 1:
        for te in set(temp_filter_list):
            quen_list.append(te)

    # q.put(url)
    time.sleep(0.01)

def get_filter_list(self,url, tpl_content):
    # 过滤第一次讲有的//href前加上http://,filter_list1保存过滤后的列表元素
    filter_list1 = []

    # 对url进行匹配出前
    paren = r"(?:https|http)?://(?:[-\w.]|(?:%[\da-zA-Z]))+(?:[com|cn|org|js|css|img|net]+)"

    url_qinzui = re.findall(paren, url)[0]

    # 判断是否已'/'开头,是就添加前缀
    if len(tpl_content) != 0:
        for tpl_c in tpl_content:
            if tpl_c[0:4] != 'http':
                if tpl_c[0:1] == '/':
                    tpl = url_qinzui + tpl_c
                    filter_list1.append(tpl)
                elif tpl_c[0:1] == '.':
                    tpl = url_qinzui + '/' + tpl_c
                    filter_list1.append(tpl)
                elif tpl_c[0:3] == 'www':
                    tpl = tpl_c
                    filter_list1.append(tpl)
                else:
                    tpl = url_qinzui + '/' + tpl_c
                    filter_list1.append(tpl)
            else:
                filter_list1.append(tpl_c)
    return filter_list1

def get_tpt_content(self,reg, html):
    all_content = []
    for r in reg:
        try:
            tpl_content = list(set(html.xpath(r)))

        except:
            continue

        tpl_content = [tp for tp in tpl_content if tp != '']
        tpl_content = [' '.join([i.strip() for i in tp.strip().split('\t')]) for tp in tpl_content]
        all_content += tpl_content

    return set(all_content)

def link_url(self,url):
    head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0'
            }

    # 做异常处理,如果连接不同提示URL以及跳过
    try:
        x = requests.get(url, allow_redirects=False, headers=head, timeout=2)
        if x != None:
            return x
    except:
        print('无法连接' + url)

def write_text(self):
    # 存url
    url_list = []

    # 存css
    css_list = []

    # 存js
    js_list = []

    # 存图片
    img_list = []

    all_list = list(set(temp_list2))
    for a in all_list:
        h_3 = (a[-3:]).lower()
        h_4 = (a[-4:]).lower()
        if h_3 == '.js':
            js_list.append(a)
        elif h_4 == '.css':
            css_list.append(a)
        elif h_4 == '.jpg' or h_4 == '.png' or h_4 == '.gif':
            img_list.append(a)
        else:
            url_list.append(a)
    # 组合列表
    new_list = ['URL列表为:'] + url_list + ['\n\nJS列表为:'] + js_list + ['\n\nCSS列表为'] + \
               css_list + ['\n\n图片列表为'] + img_list

    return new_list

def pool_pc(self,p_list, seedUrl, domain_url):
     # 使用进程池
    # pool = Pool()
    # q = Manager().Queue()
    # 当前页的处理
    self.sprider(p_list, seedUrl, domain_url)

    # 抓取队列中的信息为空，则退出循环
    while quen_list:
        url = quen_list.pop(0)
        self.sprider(p_list, url, domain_url)

    QMessageBox.about(self,'','爬虫完毕')
    # pool.close()
    # pool.join()

if __name__ == '__main__':
    app = QApplication(sys.argv)
    w = mwindow()
    w.show()
    sys.exit(app.exec_())

0x04 代码简单讲解
1.使用库以及框架
我使用的是UI库是Pyqt5，爬虫选的request,以及lmxl,正则就是re啦，还是很简单的。
2.主要函数功能简述

0x05 软件使用测试
1.将项目进行打包
pyinstaller -F --icon=favicon.icon spider_wl.py --noconsole
2.运行spider_wl.exe

url处输入要爬取的网址,domain处输入标识为本网站的字符,如wwww.baidu.com，domain输入baidu的话，就会将页面下的所有不包含baidu字符的url设置为外联，当然可以写多个标识，以;分隔就行。