美文网首页
固定角度鸟瞰视角下小目标的检测和识别

固定角度鸟瞰视角下小目标的检测和识别

作者: gaoshine | 来源:发表于2021-09-29 21:49 被阅读0次

    固定角度鸟瞰视角下小目标的检测和识别

    在很多场合,因为场地比较大,需要在最高处架设鸟瞰相机观察全景.
    鸟瞰模式拥有非常好的视野,但是也为因为视角太广,导致观察的目标变得很小,如果使用传统的目标识别,目标检测算法,针对这么小的目标检测是个难度极大的挑战.
    我们另辟蹊径,采用帧差算法,针对移动的小目标,在2帧之间的差异,识别出来变动的区域,再通过图像分类,识别出目标的类型.

    1 . 找到小目标

    首先,定义运动检测的初始背景及参数,

    
    baseImg = []
    baseImg.append(None)
    baseImg.append(None)
    
    

    取一帧图片,灰度化后和上一帧的保存的做absdiff,结果为2帧值差异.
    差异帧通过模糊处理过滤掉微小干扰,最后形成掩膜帧

    掩膜帧 合成帧 整体效果
        global baseImg
        gray = cv2.cvtColor(currentFrame, cv2.COLOR_BGR2GRAY)
        gray = cv2.GaussianBlur(gray, (MOVE_DETECT_CONV, MOVE_DETECT_CONV), 0)
    
        if baseImg[muser] is None:
            baseImg[muser] = gray
    
        imgDelta = cv2.absdiff(baseImg[muser], gray)
        mask = cv2.threshold(imgDelta, 25, 255, cv2.THRESH_BINARY)[1]
    
        kernel = np.ones((MOVE_DETECT_CONV, MOVE_DETECT_CONV), np.uint8)
        mask = cv2.dilate(mask, kernel, iterations=3)
        mask = cv2.GaussianBlur(mask, (MOVE_DETECT_CONV, MOVE_DETECT_CONV), 0)
    
        result = cv2.bitwise_and(currentFrame, currentFrame, mask=mask)
        cv2.imshow('mask', mask)
        cv2.imshow('result', result)
        baseImg[muser] = gray
    
    bird0.gif

    2. 目标检测及过滤干扰

    # 运动检测,参数及初始化基本背景图
    '''
    MOVE_DETECT_HW = 1.0
    MOVE_DETECT_CONV = 7 # 函数卷积因子 3,7,11,13 ...
    MOVE_DETECT_MAXAREA = 10000
    MOVE_DETECT_MINAREA = 200
    '''
    
        cnts,_ = cv2.findContours(mask.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
        for c in cnts:
            (x, y, w, h) = cv2.boundingRect(c)
            personArea = int(w * h)
            #print(personArea,x,y,w,h)
            
         
         
    
            if (h/w)<1.0:
                continue
    
            # 过滤较小的目
            if (personArea < 200) :
                continue
    
            # 过滤较大的目标
            if (personArea > 10000) :
                continue
            
            cv2.rectangle(currentFrame, (x, y), (x + w, y + h), (0,0,255), 1) 
                
    
    
    
    
    

    3. 分类识别

    # 对识别的目标图像,分割后送到深度学习模型做检测
    # 本次采用的是resnet50模型,这个在分类中算是比较经典的一种,如果目标很小也可以采用resnet18,这样推理速度会更加快.
    # CV图像张量化处理
    image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
    image = cv2.resize(image,(224, 224))
    arr = np.array(image).astype(np.float32) / 255.0
    arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])
    
    
    # ONNX Run Time
    load_onnx = timer('Load ONNX Model')
    ort_session = ort.InferenceSession('resnet18.onnx')
    load_onnx.end()
    
    # run( out_feed, in_feed, opt )
    input_name = ort_session.get_inputs()[0].name
    
    infer_onnx = timer('Run Infer')
    outputs = ort_session.run(None, {input_name: arr})[0]
    infer_onnx.end()
    
    
    # 输出结果
    # Get Labels
    f = open('../lables.txt')
    t = [ i.replace('\n','') for i in f.readlines()]
    logger("Result : {}".format(t[np.argmax(outputs)]))
    
    
    
    动态效果图

    相关文章

      网友评论

          本文标题:固定角度鸟瞰视角下小目标的检测和识别

          本文链接:https://www.haomeiwen.com/subject/vnqsnltx.html