Как удалить дефекты выпуклости в квадрате судоку?

ответ Ники решил мою проблему, но его ответ был в Mathematica. Поэтому я подумал, что должен дать его адаптацию OpenCV здесь. Но после реализации я мог видеть, что код OpenCV намного больше, чем код mathematica от nikie. Кроме того, я не смог найти метод интерполяции, выполненный nikie в OpenCV ( хотя это можно сделать с помощью scipy, я расскажу об этом, когда придет время.)

1. Предварительная обработка изображений ( операция закрытия )

import cv2
import numpy as np

img = cv2.imread('dave.jpg')
img = cv2.GaussianBlur(img,(5,5),0)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
mask = np.zeros((gray.shape),np.uint8)
kernel1 = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(11,11))

close = cv2.morphologyEx(gray,cv2.MORPH_CLOSE,kernel1)
div = np.float32(gray)/(close)
res = np.uint8(cv2.normalize(div,div,0,255,cv2.NORM_MINMAX))
res2 = cv2.cvtColor(res,cv2.COLOR_GRAY2BGR)

результат :

2. Поиск квадрата судоку и создание маски изображения

thresh = cv2.adaptiveThreshold(res,255,0,1,19,2)
contour,hier = cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)

max_area = 0
best_cnt = None
for cnt in contour:
    area = cv2.contourArea(cnt)
    if area > 1000:
        if area > max_area:
            max_area = area
            best_cnt = cnt

cv2.drawContours(mask,[best_cnt],0,255,-1)
cv2.drawContours(mask,[best_cnt],0,0,2)

res = cv2.bitwise_and(res,mask)

результат :

3. Поиск вертикальных линий

kernelx = cv2.getStructuringElement(cv2.MORPH_RECT,(2,10))

dx = cv2.Sobel(res,cv2.CV_16S,1,0)
dx = cv2.convertScaleAbs(dx)
cv2.normalize(dx,dx,0,255,cv2.NORM_MINMAX)
ret,close = cv2.threshold(dx,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)
close = cv2.morphologyEx(close,cv2.MORPH_DILATE,kernelx,iterations = 1)

contour, hier = cv2.findContours(close,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
for cnt in contour:
    x,y,w,h = cv2.boundingRect(cnt)
    if h/w > 5:
        cv2.drawContours(close,[cnt],0,255,-1)
    else:
        cv2.drawContours(close,[cnt],0,0,-1)
close = cv2.morphologyEx(close,cv2.MORPH_CLOSE,None,iterations = 2)
closex = close.copy()

результат :

4. Поиск Горизонтальных Линий

kernely = cv2.getStructuringElement(cv2.MORPH_RECT,(10,2))
dy = cv2.Sobel(res,cv2.CV_16S,0,2)
dy = cv2.convertScaleAbs(dy)
cv2.normalize(dy,dy,0,255,cv2.NORM_MINMAX)
ret,close = cv2.threshold(dy,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)
close = cv2.morphologyEx(close,cv2.MORPH_DILATE,kernely)

contour, hier = cv2.findContours(close,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
for cnt in contour:
    x,y,w,h = cv2.boundingRect(cnt)
    if w/h > 5:
        cv2.drawContours(close,[cnt],0,255,-1)
    else:
        cv2.drawContours(close,[cnt],0,0,-1)

close = cv2.morphologyEx(close,cv2.MORPH_DILATE,None,iterations = 2)
closey = close.copy()

результат :

конечно, это не так хороший.

5. Поиск Точек Сетки

res = cv2.bitwise_and(closex,closey)

результат :

6. Исправление дефектов

здесь Никки делает какую-то интерполяцию, о которой у меня мало знаний. И я не мог найти никакой соответствующей функции для этого OpenCV. (может быть, это там, я не знаю).

проверьте этот SOF, который объясняет, как это сделать с помощью SciPy, который я не хочу использовать : преобразование изображений в OpenCV

Итак, здесь я взял 4 угла каждого суб-квадрата и применил перспективу деформации к каждому.

для этого, сначала мы находим центроиды.

contour, hier = cv2.findContours(res,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
centroids = []
for cnt in contour:
    mom = cv2.moments(cnt)
    (x,y) = int(mom['m10']/mom['m00']), int(mom['m01']/mom['m00'])
    cv2.circle(img,(x,y),4,(0,255,0),-1)
    centroids.append((x,y))

но полученные центроиды не будут отсортированы. Проверьте ниже изображение, чтобы увидеть их порядок:

поэтому мы сортируем их слева направо, сверху вниз.

centroids = np.array(centroids,dtype = np.float32)
c = centroids.reshape((100,2))
c2 = c[np.argsort(c[:,1])]

b = np.vstack([c2[i*10:(i+1)*10][np.argsort(c2[i*10:(i+1)*10,0])] for i in xrange(10)])
bm = b.reshape((10,10,2))

теперь смотрите ниже их порядок :

наконец, мы применяем преобразование и создаем новое изображение размером 450x450.

output = np.zeros((450,450,3),np.uint8)
for i,j in enumerate(b):
    ri = i/10
    ci = i%10
    if ci != 9 and ri!=9:
        src = bm[ri:ri+2, ci:ci+2 , :].reshape((4,2))
        dst = np.array( [ [ci*50,ri*50],[(ci+1)*50-1,ri*50],[ci*50,(ri+1)*50-1],[(ci+1)*50-1,(ri+1)*50-1] ], np.float32)
        retval = cv2.getPerspectiveTransform(src,dst)
        warp = cv2.warpPerspective(res2,retval,(450,450))
        output[ri*50:(ri+1)*50-1 , ci*50:(ci+1)*50-1] = warp[ri*50:(ri+1)*50-1 , ci*50:(ci+1)*50-1].copy()

результат :

результат почти такой же, как у nikie, но длина кода большая. Может быть, лучшие методы доступны там, но до тех пор, это работает нормально.

С уважением КОВЧЕГ.

вы можете попробовать использовать какое-то сеточное моделирование произвольного деформирования. И поскольку судоку уже является сеткой, это не должно быть слишком сложно.

таким образом, вы можете попытаться определить границы каждого субрегиона 3x3, а затем деформировать каждый регион по отдельности. Если обнаружение пройдет успешно, это даст вам лучшее приближение.

Я хочу добавить, что выше метод работает только тогда, когда судоку доска стоит прямо, в противном случае высота/ширина (или наоборот) тест отношения, скорее всего, не удастся, и вы не сможете обнаружить края судоку. (Я также хочу добавить, что если линии, которые не перпендикулярны границам изображения, операции sobel (dx и dy) все равно будут работать, поскольку линии все равно будут иметь края относительно обеих осей.)

чтобы иметь возможность обнаруживать прямые линии, вы должны работать по контуру или по пикселям анализ, такой как contourArea/boundingRectArea, верхние левые и нижние правые точки...

Edit: мне удалось проверить, образует ли набор контуров линию или нет, применяя линейную регрессию и проверяя ошибку. Однако линейная регрессия выполняется плохо, когда наклон линии слишком велик (т. е. >1000) или очень близок к 0. Поэтому применение теста отношения выше (в большинстве опрошенных ответов) перед линейной регрессией логично и работает для меня.