[제안] 이진화 및 가로 세로 선 제거 방법

[JJayy]

    앞서 이진화 한 것 처럼 loaddataset 내의 getitem에 적용하면 됩니다.

def getitem(self, i):
item = self.data[i]
image = Image.open(item["path"])

    if self.rgb == 3:
        image = image.convert("RGB")
    elif self.rgb == 1:
        image = image.convert("RGB")#L------------------cv2.color_rgb2gray 때문에 다 'RGB'로
    else:
        raise NotImplementedError
   -----------------------추가----------------------------
    numpy_image = np.array(image)
    removed = numpy_image
    gray = cv2.cvtColor(cv2.UMat(numpy_image),cv2.COLOR_RGB2GRAY)
    thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

    # Remove horizontal lines
    horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40,1))
    remove_horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2)
    cnts = cv2.findContours(remove_horizontal, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    cnts = cnts[0] if len(cnts) == 2 else cnts[1]
    for c in cnts:
        cv2.drawContours(removed, [c], -1, (255,255,255), 5)

    # Remove vertical lines
    #vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,40))
    #remove_vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2)
    #cnts = cv2.findContours(remove_vertical, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    #cnts = cnts[0] if len(cnts) == 2 else cnts[1]
    #for c in cnts:
    #    cv2.drawContours(removed, [c], -1, (255,255,255), 15)

    # Repair kernel
    repair_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3,3))
    removed = 255 - removed
    dilate = cv2.dilate(removed, repair_kernel, iterations=5)
    dilate = cv2.cvtColor(dilate, cv2.COLOR_BGR2GRAY)
    pre_result = cv2.bitwise_and(dilate, thresh)
    result = cv2.morphologyEx(pre_result, cv2.MORPH_CLOSE, repair_kernel, iterations=5)
    final = cv2.bitwise_and(result, thresh)
    invert_final = cv2.bitwise_not(final)

    img_array = cv2.UMat.get(invert_final)
    #img = cv2.cvtColor(img_array, cv2.COLOR_BGR2GRAY)
    image = Image.fromarray(img_array)

vertical의 경우 4나 6, 9와 같은 숫자에서 세로 줄이 제거 되는 경우가 발견되어 주석 처리했습니다.
동일 조건에서 앞서 단순히 TRUNC를 사용하여 이진화 한 것보다 성능이 소폭 낮았습니다. (0.02정도)
그래도 안 했을 때 보다 0.01정도 성능 향상이 있었습니다.

https://wandb.ai/pstage4_ocr/jjayy?workspace=user-jjay
제 wandb에서 빨간색이 baseline, 보라색이 TRUNC 이진화, 파란색이 가로줄 제거 이진화 결과 입니다.