개요

개요

ImageRecognition 라이브러리에서 제공하는 기능을 이용해 이미지를 대상 UI로 지정할 수 있습니다. 사용자가 이미지를 캡처하면 해당 이미지와 동일한 UI 요소를 인식하여 라이브러리의 동작을 수행합니다. 이미지의 특정 위치를 클릭하거나, 이미지 안의 문자를 텍스트로 변환 등의 동작을 수행할 수 있습니다. 또한 OCR(Optical Character Recognition: 문자 인식) 서버를 통하여 이미지에 있는 문자와 테이블을 텍스트, 배열의 형태로 반환하는 등의 동작도 수행합니다. ImageRecognition 라이브러리는 OCR 서버를 이용하여 동작하는 방식으로 디자이너에 계정 로그인이 되어 있어야 사용할 수 있습니다.

ImageRecognition 라이브러리에서 사용할 수 있는 기능은 다음과 같습니다.

• 마우스 동작: ImageClick, ImageHover, ImageRightClick, ImageDoubleClick

• 이미지 인식: IsExist, MatchImages, WaitImageAppear, WaitImageDisappear, GetImageBounds

• 이미지 캡처 기능: CaptureBounds, CaptureScreen, CaptureWindow, CaptureFromFile

• 이미지 컬러 관련 기능: GetImageColor

• 이미지에 문자 입력: ImageTextInput

• Label 정보를 이용하여 이미지의 대표 값을 식별 : GetImageLabel, GetImageLabelOnFile

일부 액티비티 카드들에서는 이미지 기반 탐색 결과가 여러 개 일 경우, 최종 결과로 사용할 대상을 선택하는  기능을 지원합니다

• 복수 이미지 결과 색인 탐색을 지원: GetImageBounds, ImageClick, ImageRightClick, ImageHover, ImageDoubleClick, IsExist, WaitImageAppear, ImageTextInput 등

공통 속성

공통 속성

IMAGE

• 캡쳐한 이미지의 정보(크기/위치)가 표시됩니다.

이미지 기반 탐색을 위해 Image 속성의 이미지 모양을 정밀하게 설정하려면, Image 속성의 그림 부분을 더블 클릭하여, 이미지 속성 상세 보기 창을 띄웁니다.

이미지 상세 보기 창에서는, 실제 이미지 비교에 사용할 이미지 비교 영역 후보 크기를 줄일 수 있으며, 마우스로 클릭할 위치도 지정할 수 있습니다. 이미지 비교 영역 후보 크기를 줄이는 중에는, 잘라내기 로 크기 변경을 확정한 후에, 적용 으로 마우스 클릭 위치를 변경할 수 있습니다.

MORE OPTION

DESCRIPTION

ImageClick

ImageClick

개요

이미지 위의 특정 위치를 클릭합니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 클릭할 대상 이미지의 범위를 지정하세요.

3. 지정한 이미지의 범위에서 마우스로 클릭할 지점을 클릭하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 아마존 페이지(www.amazon.com)를 열고, 아마존 로고가 표시될 때까지 대기한 후 '반품&주문' 메뉴 이미지가 있는지 확인합니다. 해당 메뉴가 있으면 클릭하고, 없으면 'Returns & Orders' 메뉴 이미지를 클릭합니다. 이후 아마존 로고를 클릭해 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Mouse Action > P_ImageClick_Test

사용된 변수

• openBrowser = 실행한 브라우저를 지정할 변수

• imgWait = 아마존 로고 이미지 나타난 결과를 저장한 변수

• imgExist = '반품&주문' 메뉴 이미지 존재 여부를 저장한 변수

사용된 속성

• Threshold = 96

• Timeout(Sec) = 10

• Draw Bounds = True

연관/유사 액티비티

ImageHover, ImageRightClick, ImageDoubleClick

ImageTextInput

ImageTextInput

개요

지정된 이미지를 인식하여 문자를 입력합니다. (TextInput 기능)

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 클릭할 대상 이미지의 범위를 지정하세요.

3. 지정한 이미지의 범위에서 텍스트를 입력할 지점을 클릭하세요.

4. Input Text에 지정한 영역에 입력할 텍스트를 입력하세요.

5. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 열고, 구글 로그가 나타날 때까지 대기한 후 지정한 위치에 'RPA'를 입력하고 3초간 대기한 후에 실행한 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Other Samples > P_ImageTextInput_Test

사용된 변수

• Browser = 실행한 브라우저를 저정할 변수

사용된 속성

• Input Text = 'RPA'

• Done(Enter) = On

ImageHover

ImageHover

개요

이미지 위의 특정 위치에 마우스 포인터를 올려놓습니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 마우스 포인터를 올려 놓을 대상 이미지의 범위를 지정하세요.

3. 지정한 이미지의 범위에서 마우스 포인터를 올려 놓을 지점을 클릭하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 아마존 웹페이지(www.amazon.com)를 열고, 1초간 대기합니다. 3개의 메뉴 이미지에 각각 마우스 포인터를 위치하고 1초간 대기한 후에 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Mouse Action > P_ImageHover_Test

사용된 변수

• browser1 = 실행한 브라우져 지정 변수

사용된 속성

• Threshold = 96

• Timeout(Sec) = 10

• Draw Bounds = True

연관/유사 액티비티

ImageClick, ImageRightClick, ImageDoubleClick

ImageRightClick

ImageRightClick

개요

이미지 위의 특정 위치를 마우스 오른쪽 버튼으로 클릭합니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 마우스 오른쪽 버튼으로 클릭할 대상 이미지의 범위를 지정하세요.

3. 지정한 이미지의 범위에서 마우스 오른쪽 버튼으로 클릭할 지점을 클릭하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 열고, G메일 로고를 클릭합니다. 구글 로고 이미지를 마우스 오른쪽 버튼으로 클릭한 후에 2초 대기합니다. 이후 'ESC' 버튼을 클릭하고 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Mouse Action > P_ImageRightClick_Test

사용된 변수

• browser1 = 실행한 브라우저를 지정할 변수

사용된 속성

• Threshold = 96

• Timeout(Sec) = 10

• Draw Bounds = True

연관/유사 액티비티

ImageClick, ImageHover, ImageDoubleClick

ImageDoubleClick

ImageDoubleClick

개요

이미지 위의 특정 위치를 더블클릭합니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 더블클릭할 대상 이미지의 범위를 지정하세요.

3. 지정한 이미지의 범위에서 더블클릭할 지점을 클릭하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 삼성SDS의 BrityRPA 도움말 사이트를 열고, 메뉴 이미지가 나타날 때까지 대기합니다.
이후 메뉴 이미지를 3회 더블클릭하고 2초간 대기한 후 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Mouse Action > P_ImageDoubleClick_Test

사용된 변수

• 없음

사용된 속성

• Threshold = 98

• Timeout(Sec) = 5

연관/유사 액티비티

ImageClick, ImageRightClick, ImageHover

GetImageBounds

GetImageBounds

개요

화면에서 지정된 이미지를 찾아 해당 좌표 정보를 가져옵니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 지정한 이미지의 범위에서 좌표 정보를 가져올 지점을 클릭하세요.

3. 좌표 정보를 가져올 대상 이미지의 범위를 지정하세요.

4. [Output] Output에 검색한 이미지의 영역 정보를 저장하기 위한 변수를 입력하세요.

5. 그 외 속성에 원하는 값을 지정하세요.

카드 출력 속성

카드 입력 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 열고, 지정된 이미지를 찾아 좌표 영역 정보를 가져온 후 메시지 박스에 출력하고 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Other Samples > P_GetImageBounds_Test

사용된 변수

• point = 검색한 이미지의 영역 정보를 저장할 변수

사용된 속성

• [Output] Output = this.point

• Threshole = 96

특이 사항

연관/유사 액티비티

GetImageColor

GetImageColor

GetImageColor

개요

이미지에서 지정된 좌표의 색상 정보를 가져옵니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 색상값을 가져올 대상 이미지의 범위를 지정하세요.

3. 지정한 이미지의 범위에서 색상값을 가져올 지점을 클릭하세요.

4. [Output] Output에 이미지의 지정한 좌표에서 가져온 색상값을 저장하기 위한 변수를 입력하세요.

5. 그 외 속성에 원하는 값을 지정하세요.

카드 출력 속성

카드 입력 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 열고, 지정된 이미지를 찾아 좌표의 색상값을 가져온 후 메시지 박스에 출력하고 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Other Samples > P_GetImageColor_Test

사용된 변수

• openBrowsser = 실행된 브라우저를 저장할 변수

• getImageColor = 이미지에서 지정된 좌표의 색상값을 저장할 변수

• waitImage = 이미지가 나타난 결과를 저장할 변수

사용된 속성

• [Output] Output = this.getImageColor

• Search Bounds = '1606,155,52,60'

연관/유사 액티비티

GetImageBounds

IsExist

IsExist

개요

특정 이미지가 화면에 있는지 확인합니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 더블클릭할 대상 이미지의 범위를 지정하세요.

3. [Output] Output에 수행 결과를 저장할 변수를 입력하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 열고, 검색(돋보기) 메뉴가 나타나면 구글 로고에 마우스 포인터를 올려 놓습니다. 2초간 대기한 후 구글 이미지가 나타나면 크롬 브라우저를 종료하고, 구글 이미지가 나타나지 않으면 크롬으로 구글 페이지를 다시 엽니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Other Samples > P_IsExist_Image_Test

사용된 변수

• isExist = 검색(돋보기) 메뉴 이미지 존재 여부를 저장한 변수

사용된 속성

• [Output] Output = this.isExit

• Threshold = 98

• Draw Bounds = True

• On Error = Ignore

연관/유사 액티비티

WaitImageAppear, WaitImageDisappear

MatchImages

MatchImages

개요

지정한 영역 안에서 특정 폴더 내의 이미지와 매칭되는 이미지 파일을 찾아 파일명을 반환합니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 특정 폴더 내 이미지와 비교할 대상 이미지의 범위를 지정하세요.

3. [Output] Output에 수행 결과 찾은 파일명을 저장할 변수를 입력하세요.

4. SourceImagePath에 비교할 이미지 파일이 있는 파일명을 입력하세요.

5. 그 외 속성에 원하는 값을 지정하세요.

카드 출력 속성

카드 입력 속성

활용 예시

크롬 브라우저로 Brity RPA 메뉴얼 사이트의 옵션 페이지에 접속합니다. 특정 체크 박스 표시 영역을 지정한 폴더에 포함된 이미지와 비교합니다. 비교한 결과를 'Matching file :  비교한 파일명'으로 메시지 박스에 출력한 후 로 보여주고 크롬 브라우저를 종료합니다.
이후 'I found a similar file in the given folder (C: \\ IPA_Temp_Image). Press OK and the C: \\ IPA_Temp_Image folder will be deleted. '라는 문구를 메시지에 출력하고 복사한 파일들과 디렉토리를 삭제합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Other Samples > P_MatchImage_Test

사용된 변수

• matchImages = 비교하여 찾은 이미지 파일명

• bid = 실행된 브라우저를 저장할 변수

사용된 속성

• [Output] Output = this.matchImages

• Threshold = 96

• SourceImagePath = 'C:\\IPA_Temp_Image'

• Draw Bounds = True

• On Error = Ignore

WaitImageAppear

WaitImageAppear

개요

지정한 이미지가 화면에 나타날 때까지 기다립니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 찾을 대상 이미지의 범위를 지정하세요.

3. [Output] Output에 이미지가 나타난 결과를 저장하기 위한 변수를 입력하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 열고, 구글 로고가 나타날 때까지 대기합니다.
이미지가 나타난 결과를 메시지 박스로 출력하고 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Wait Image Target > P_WaitImageAppear_Test

사용된 변수

• appear = 이미지가 나타난 결과를 저장한 변수

사용된 속성

• [Output] Output = this.appear

• Threshold = 96

연관/유사 액티비티

IsExist, WaitImageDisappear

WaitImageDisappear

WaitImageDisappear

개요

지정한 이미지가 화면에서 사라질 때까지 기다립니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 찾을 대상 이미지의 범위를 지정하세요.

3. [Output] Output에 이미지가 사라진 결과를 저장하기 위한 변수를 입력하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹 페이지(http://www.google.com)를 열고, 구글 로고가 나타날 때까지 대기합니다.
새 크롬으로 아마존 웹 페이지(www.amazon.com)를 열고, 아마존 로고가 나타날 때까지 대기합니다.
이후 구글 로고가 사라질 때까지 대기한 후 그 결과를 메시지 박스로 출력하고 크롬 브라우저를 모두 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Wait Image Target > P_WaitImageDisappear_Test

사용된 변수

• browser1, browser2 = 실행된 브라우저를 지정한 변수

• appear = 이미지가 나타난 결과를 저장한 변수

• disAppear = 이미지가 사라진 결과를 저장한 변수

사용된 속성

• [Output] Output = this.disAppear

• Threshold = 96

연관/유사 액티비티

IsExist, WaitImageAppear

CaptureBounds

CaptureBounds

개요

PC 화면의 특정 영역을 지정하여 캡처합니다.

사용 절차

1. CaptureBounds에 캡처할 영역의 정보를 'X, Y, Width, Height'의 형태로 입력하세요.

2. SaveClipboard에서 캡처한 영역을 클립보드로 저장할지 선택하세요.

3. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 엽니다.
이후 좌표 '500,200,600,200'(x, y, width, height)에 해당하는 영역을 캡처하고 클립보드에 저장한 후 크롬 브라우저를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Capture Screen > P_CaptureBounds_Test

사용된 변수

• openBrowser = 실행된 브라우저를 지정할 변수

• waitImage = 이미지가 나타난 결과를 저장한 변수

사용된 속성

• CaptureBounds = '500,200,600,200'

• SaveClipboard = true

특이 사항

연관/유사 액티비티

CaptureScreen, CaptureWindow, CaptureFromFile

CaptureScreen

CaptureScreen

개요

로컬 PC의 전체 화면을 캡처합니다.

사용 절차

1. Capture Path에 로컬 PC의 전체 화면을 캡처한 이미지를 저장할 경로와 파일명을 입력하세요.

2. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

크롬으로 구글 웹페이지(http://www.google.com)를 엽니다.
이후 PC 전체 화면을 캡처하여 'C:\CaptureScreen 테스트.png'로 저장한 후 크롬 브라우를 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Capture Screen > P_CaptureScreen_Test

사용된 변수

• openBrowser = 실행된 브라우저를 지정할 변수

• waitImage = 이미지가 나타난 결과를 지정한 변수

사용된 속성

• Capture Path = 'C:\\CaptureScreen 테스트.png'

연관/유사 액티비티

CaptureBounds, CaptureWindow, CaptureFromFile

CaptureWindow

CaptureWindow

개요

PC 화면의 특정 객체 또는 윈도우를 캡처합니다.

사용 절차

1. 액티비티 카드의 No Target을 더블클릭하세요.

2. 캡처할 대상 객체나 윈도우를 선택하세요.

3. Capture Path에 캡처한 이미지를 저장할 경로와 파일명을 입력하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

Notepad 앱을 실행하고 'File' 메뉴에 해당하는 객체를 캡처해 'C:\\CaptureWindowTest.png'로 저장한 후 Notepad 앱을 종료합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Capture Screen > P_CaptureWindow_Test

사용된 변수

• 없음

사용된 속성

• Capture Path = 'C:\\CaptureWindowTest.png'

• IsOnlyTarget = On

연관/유사 액티비티

CaptureBounds, CaptureScreen, CaptureFromFile

CaptureFromFile

CaptureFromFile

개요

지정된 파일의 특정 영역을 캡처해 클립보드로 복사하거나 파일로 저장합니다.

사용 절차

1. CaptureBounds에 캡처할 영역의 정보를 'X, Y, Width, Height'의 형태로 입력하세요.

2. SourceImagePath에 캡처할 이미지가 있는 경로와 파일명을 입력하세요.

3. SaveClipboard에서 캡처한 영역을 클립보드로 저장할지 선택하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

이미지 파일의 특정 영역을 캡쳐하여 클립보드에 저장한 후, 클립보드에 저장한 이미지를 별도 파일로 저장합니다. 새로운 Excel 파일을 만들어 열어 A1에 클립보드의 이미지를 붙여넣기 합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > Capture Screen > P_CaptureFromFile_Test

사용된 변수

• browser = 열린 Excel 문서를 할당할 변수

사용된 속성

• CaptureBounds = '0,100,200,200'

• SourceImagePath = Global.ResourcesDir + '아이유.png'

• SaveClipboard = On

특이 사항

연관/유사 액티비티

CaptureBounds, CaptureScreen, CaptureWindow

GetImageLabel

GetImageLabel

개요

미리 만들어진 이미지 파일과 라벨링 정보를 기반으로 지정된 이미지에서 라벨을 인식합니다.

사용 절차

1. [Output]Output에 수행 결과를 저장할 변수를 지정하세요.

2. LabelNum에 이미지에서 읽을 라벨 수를 입력하세요.

3. ImageLabelPath에 라벨링 정보가 들어있는 XML 파일을 지정하세요.

4. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

인식할 이미지 파일을 실행하여 특정 영역을 캡쳐하고 라벨링 정보에서 해당 영역의 이미지의 라벨들을 식별하여 메시지로 출력합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > ImageLabel_Sample > P_GetImageLabel_Test

사용된 변수

• readBound = 라벨을 읽어올 영역

사용된 속성

• LabelNum = 3

• ImageLabelPath = Global.ResourcesDir + 'Training\\ImageLabel.xml'

연관/유사 액티비티

GetImageLabelOnFile

라벨로 인식할 이미지를 각각 폴더로 만들고, XML 포맷을 아래 그림과 같이 작성합니다.
각 폴더에서 인식되는 라벨 값을 지정하여 최종 Label 정보 파일을 생성하고 폴더와 동일한 위치에 저장합니다.

GetImageLabelOnFile

GetImageLabelOnFile

개요

미리 만들어진 이미지 파일과 라벨링 정보를 기반으로 지정된 이미지 파일에서 라벨을 인식합니다.

사용 절차

1. [Output]Output에 수행 결과를 저장할 변수를 지정하세요.

2. LabelNum에 이미지에서 읽을 라벨 수를 입력하세요.

3. ImageLabelPath에 라벨링 정보가 들어있는 XML 파일을 지정하세요.

4. SourceImagePath에 라벨을 인식할 이미지 파일을 지정하세요.

5. 그 외 속성에 원하는 값을 지정하세요.

카드 속성

활용 예시

인식할 이미지 파일을 읽어 라벨링 정보에서 해당 이미지의 라벨들을 식별하여 메시지로 출력합니다.

예제 파일

• 메뉴 > 도움말 > 샘플 > Sample > ImageRecognition > ImageLabel_Sample > P_GetImageLabelOnFile_Test

사용된 변수

사용된 속성

• LabelNum = 3

• ImageLabelPath = Global.ResourcesDir + 'Training\\ImageLabel.xml'

• SourceImagePath = Global.ResourcesDir + 'Label_Test.png'

연관/유사 액티비티

GetImageLabel