Выполнение ЧВ::warpPerspective за подделку выравнивания на ЧВ::точка

проблема была в порядке, в котором точки были объявлены внутри вектора, а затем был также еще один вопрос, связанный с этим на определение dst_vertices.

порядок точек имеет значение до getPerspectiveTransform() и должны быть указаны в следующем порядке:

1st-------2nd
 |         |
 |         |
 |         |
3rd-------4th

поэтому точки происхождения должны быть переупорядочены следующим образом:

vector<Point> not_a_rect_shape;
not_a_rect_shape.push_back(Point(408, 69));
not_a_rect_shape.push_back(Point(1912, 291));
not_a_rect_shape.push_back(Point(72, 2186));
not_a_rect_shape.push_back(Point(1584, 2426));

и назначения:

Point2f dst_vertices[4];
dst_vertices[0] = Point(0, 0);
dst_vertices[1] = Point(box.boundingRect().width-1, 0); // Bug was: had mistakenly switched these 2 parameters
dst_vertices[2] = Point(0, box.boundingRect().height-1);
dst_vertices[3] = Point(box.boundingRect().width-1, box.boundingRect().height-1);

после этого некоторые обрезки нужно сделать потому что полученное изображение-это не просто область внутри зеленого прямоугольника, как я думал:

Я не знаю, если это ошибка OpenCV или если я чего-то не хватает, но основная проблема была решена.

при работе с четырехугольником OpenCV на самом деле не ваш друг. RotatedRect даст вам неверные результаты. Также вам понадобится перспективная проекция вместо аффинной проекции, как и другие, упомянутые здесь..

в основном то, что должно быть сделано:

• пройдите через все сегменты полигона и соедините те, которые почти равны.
• сортировать их, так что у вас есть 4 самых крупных отрезков.
• пересеките эти линии и у вас есть 4 наиболее вероятные угловые точки.
• преобразуйте матрицу по перспективе, собранной из угловых точек и соотношения сторон известного объекта.

я реализовал класс Quadrangle который заботится о преобразовании контура в четырехугольник, а также преобразует его в правильной перспективе.

посмотреть рабочую реализацию здесь: Java с использованием OpenCV выравнивания контура

ОБНОВЛЕНИЕ: РАЗРЕШЕНО

У меня почти это работает. Так близко к тому, чтобы быть полезным. Это deskews правильно, но я, кажется, есть масштаб или перевести вопрос. Я установил точку привязки к нулю, а также экспериментировал с изменением режима масштабирования (aspectFill, scale to fit и т. д...).

настройки точки выравнивания (красный цвет делает их трудно увидеть):

применить вычисленное преобразование:

теперь это deskews. Это выглядит довольно хорошо, за исключением того, что его не по центру экрана. Добавив жест панорамирования в представление изображения, я могу перетащить его и проверить, что он выравнивается:

это не так просто, как перевести на -0.5, -0.5, потому что исходное изображение становится многоугольником, который простирается очень далеко (потенциально), поэтому он ограничивает прямоугольник намного больше, чем рамка экрана.

кто-нибудь видит, что я могу сделать, чтобы получить это завернутый? Я бы хотел, чтобы это было совершено и поделиться им здесь. Это популярная тема, но я не нашли решение, которое так же просто, как копировать/вставить.

полный исходный код здесь:

git clone https://github.com/zakkhoyt/Quadrilateral.git

git checkout demo

однако, я вставлю соответствующие части здесь. Этот первый метод является моим и где я получаю очки deskew.

- (IBAction)buttonAction:(id)sender {

    Quadrilateral quadFrom;
    float scale = 1.0;
    quadFrom.topLeft.x = self.topLeftView.center.x / scale;
    quadFrom.topLeft.y = self.topLeftView.center.y / scale;
    quadFrom.topRight.x = self.topRightView.center.x / scale;
    quadFrom.topRight.y = self.topRightView.center.y / scale;
    quadFrom.bottomLeft.x = self.bottomLeftView.center.x / scale;
    quadFrom.bottomLeft.y = self.bottomLeftView.center.y / scale;
    quadFrom.bottomRight.x = self.bottomRightView.center.x / scale;
    quadFrom.bottomRight.y = self.bottomRightView.center.y / scale;

    Quadrilateral quadTo;
    quadTo.topLeft.x = self.view.bounds.origin.x;
    quadTo.topLeft.y = self.view.bounds.origin.y;
    quadTo.topRight.x = self.view.bounds.origin.x + self.view.bounds.size.width;
    quadTo.topRight.y = self.view.bounds.origin.y;
    quadTo.bottomLeft.x = self.view.bounds.origin.x;
    quadTo.bottomLeft.y = self.view.bounds.origin.y + self.view.bounds.size.height;
    quadTo.bottomRight.x = self.view.bounds.origin.x + self.view.bounds.size.width;
    quadTo.bottomRight.y = self.view.bounds.origin.y + self.view.bounds.size.height;

    CATransform3D t = [self transformQuadrilateral:quadFrom toQuadrilateral:quadTo];
//    t = CATransform3DScale(t, 0.5, 0.5, 1.0);
    self.imageView.layer.anchorPoint = CGPointZero;
    [UIView animateWithDuration:1.0 animations:^{
        self.imageView.layer.transform = t;
    }];

}


#pragma mark OpenCV stuff...
-(CATransform3D)transformQuadrilateral:(Quadrilateral)origin toQuadrilateral:(Quadrilateral)destination {

    CvPoint2D32f *cvsrc = [self openCVMatrixWithQuadrilateral:origin];
    CvMat *src_mat = cvCreateMat( 4, 2, CV_32FC1 );
    cvSetData(src_mat, cvsrc, sizeof(CvPoint2D32f));


    CvPoint2D32f *cvdst = [self openCVMatrixWithQuadrilateral:destination];
    CvMat *dst_mat = cvCreateMat( 4, 2, CV_32FC1 );
    cvSetData(dst_mat, cvdst, sizeof(CvPoint2D32f));

    CvMat *H = cvCreateMat(3,3,CV_32FC1);
    cvFindHomography(src_mat, dst_mat, H);
    cvReleaseMat(&src_mat);
    cvReleaseMat(&dst_mat);

    CATransform3D transform = [self transform3DWithCMatrix:H->data.fl];
    cvReleaseMat(&H);

    return transform;
}

- (CvPoint2D32f*)openCVMatrixWithQuadrilateral:(Quadrilateral)origin {

    CvPoint2D32f *cvsrc = (CvPoint2D32f *)malloc(4*sizeof(CvPoint2D32f));
    cvsrc[0].x = origin.topLeft.x;
    cvsrc[0].y = origin.topLeft.y;
    cvsrc[1].x = origin.topRight.x;
    cvsrc[1].y = origin.topRight.y;
    cvsrc[2].x = origin.bottomRight.x;
    cvsrc[2].y = origin.bottomRight.y;
    cvsrc[3].x = origin.bottomLeft.x;
    cvsrc[3].y = origin.bottomLeft.y;

    return cvsrc;
}

-(CATransform3D)transform3DWithCMatrix:(float *)matrix {
    CATransform3D transform = CATransform3DIdentity;

    transform.m11 = matrix[0];
    transform.m21 = matrix[1];
    transform.m41 = matrix[2];

    transform.m12 = matrix[3];
    transform.m22 = matrix[4];
    transform.m42 = matrix[5];

    transform.m14 = matrix[6];
    transform.m24 = matrix[7];
    transform.m44 = matrix[8];

    return transform; 
}

обновление: я получил его работает должным образом. Координаты должны быть исходными в центре, а не в верхнем левом углу. Я подал заявление xOffset и yOffset и Виола. Демо-код по указанному выше адресу (ветка" демо")

Я получил такую же проблему и исправил ее с помощью функции извлечения гомографии OpenCV.

вы можете видеть, как я сделал в этом вопросе:преобразование изображения прямоугольника в четырехугольник с помощью CATransform3D

очень вдохновлен ответом @VaporwareWolf, реализованным в C# с использованием Xamarin MonoTouch для iOS. Основное отличие заключается в том, что я использую GetPerspectiveTransform вместо FindHomography и TopLeft, а не ScaleToFit для режима содержимого:

    void SetupWarpedImage(UIImage sourceImage, Quad sourceQuad, RectangleF destRectangle)
    {
        var imageContainerView = new UIView(destRectangle)
        {
            ClipsToBounds = true,
            ContentMode = UIViewContentMode.TopLeft
        };

        InsertSubview(imageContainerView, 0);

        var imageView = new UIImageView(imageContainerView.Bounds)
        {
            ContentMode = UIViewContentMode.TopLeft,
            Image = sourceImage
        };

        var offset = new PointF(-imageView.Bounds.Width / 2, -imageView.Bounds.Height / 2);
        var dest = imageView.Bounds;
        dest.Offset(offset);
        var destQuad = dest.ToQuad();

        var transformMatrix = Quad.GeneratePerspectiveTransformMatrixFromQuad(sourceQuad, destQuad);
        CATransform3D transform = transformMatrix.ToCATransform3D();

        imageView.Layer.AnchorPoint = new PointF(0f, 0f);
        imageView.Layer.Transform = transform;

        imageContainerView.Add(imageView);
    }