■ 장애조치 가이드 | ||
현 상 | 확 인 | 조치방법 |
1. 포털에 접속이 불가함 | 1.1 리눅스 서버 콘솔에서 tomcat 프로세스 실행 여부를 확인 Ps -ef|grep tomcat | 종료된 tomcat 서비스를 재기동 후 5~10분 대기. cd /rpa/bin/ ./tomcat-run.sh |
1.2 gateway, auth, tenant 서비스를 확인 ps -ef|grep gateway ps -ef|grep auth ps -ef|grep tenant | gateway 서비스가 종료되어 있다면 재시작 cd /rpa/apps/gateway ./run.sh auth 서비스가 종료되어 있다면 재시작 cd /rpa/apps/auth ./run.sh tenant 서비스가 종료되어 있다면 재시작 cd /rpa/apps/tenant ./run.sh | |
1.3 activemq 서비스를 확인 Ps -ef|grep activemq | activemq 서비스가 종료되어 있다면 재시작 cd /rpa/bin ./activemq-run.sh | |
1.4 tomcat 로그를 확인 /rpa/logs/admin/catalina.out | 에러 로그를 통해 원인 식별 | |
2. activemq 재기동이 불가한 경우 | 2.1 리눅스 서버 콘솔에서 activemq 프로세스 실행 여부를 확인 ps -ef|grep activemq | activemq 서비스가 종료되어 있다면 재시작 cd /rpa/bin ./activemq-run.sh |
2.2 activemq 로그를 확인 경로는 activemq 버전에 따라 약간 다를 수 있다. /rpa/pkgs/apache-activemq-5.15.14/data/activemq.log | 보통 로그상 WARN 또는 INFO 는 에러의 원인이 아님 에러 로그를 통해 원인 식별 | |
3. 봇PC에서 서버 연결되지 않음 | 3.1 Admin 포털 About 화면에서 프로세스가 연결되었는지 확인 | 종료된 RPA 서비스를 재기동 |
3.2 리눅스 서버 콘솔에서 gateway 와 communication 프로세스 실행 여부를 확인 gateway, comm 서버 프로세스 확인 ps -ef|grep gateway ps -ef|grep comm | gateway 서비스가 종료되어 있다면 재시작 cd /rpa/apps/gateway ./run.sh comm 서비스가 종료되어 있다면 재시작 cd /rpa/apps/comm ./run.sh | |
3.3 gateway, comm 에러 로그를 확인 /rpa/logs/gateway/error.log /rpa/logs/comm/error.log | 에러 로그를 통해 원인 식별 | |
3.4 네트워크, 방화벽 변경사항 및 상태를 확인 | 망 상태 점검 | |
4. DB 접속이 불가능 한경우 | 4.1 리눅스 서버 콘솔에서 mariaDB 프로세스 실행 여부를 확인 ps -ef|grep mysql | mariaDB 서비스가 종료되어 있다면 모든 RPA 서비스와 tomcat 을 종료한 후 재기동. cd /rpa/bin ./mysql-start.sh |
4.2 프로세스가 살아 있다면 접속여 상태를 점검 cd /rpa/pkgs/mariadb/bin ./mysql -u root -p 패스워드 입력 MariaDB [(none)]> select now(); 현재 시간 조회 | DB 콘솔을 통해 mariadb 데이터를 확인 | |
4.3 에러 로그를 확인 /rpa/logs/mariadb/mariadb.err /rpa/logs/mariadb/mariadb-slow.log | 에러 로그를 통해 원인 식별 | |
5. 포털 사용중 느려짐이 발생 | 5.1 Admin 포털 About 화면에서 프로세스가 연결되었는지 확인 | 종료된 RPA 서비스를 재기동. |
5.2 리눅스 버서 콘솔에서 RPA 서비스의 동작 상태를 점검 curl https://127.0.0.1:8777/version --insecure curl http://127.0.0.1:9091/auth/version curl https://127.0.0.1:9001/communication/version --insecure curl http://127.0.0.1:9096/asset/version curl http://127.0.0.1:9093/scheduler/version curl http://127.0.0.1:9094/workflow/version curl http://127.0.0.1:9096/interface/version curl http://127.0.0.1:9099/tenant/version | 응답이 없거나 에러가 발생하는 RPA 서비스가 있다면 해당 서비스의 에러 로그를 점검 /rpa/logs/gateway/error.log /rpa/logs/auth/error.log /rpa/logs/comm/error.log /rpa/logs/core/server.log /rpa/logs/asset/error.log /rpa/logs/scheduler/error.log /rpa/logs/workflow/error.log /rpa/logs/interface/error.log /rpa/logs/tenant/error.log | |
5.3 top 명령을 통해 CPU, MEM 사용량을 점검 | 과도하게 리소스를 사용하는 프로세스가 있는지 확인 | |
5.4 df -k 명령을 통해 디스크 사용량을 점검 | Disk full 여부를 확인하고 여유 공간을 확보 | |
6. core 서비스가 갑자가 종료되거나 OutOfMemory 등이 로그에 표시됨 | 6.1 core 서비스의 jvm 메모리를 늘려준다. cd /rpa/apps/core vi run.sh 해당 모듈 기동에 사용하는 memory 설정 option 이 있음 -Xmx to specify the maximum heap size -Xms to specify the initial Java heap size -Xss to set the Java thread stack size 해당 수치를 증가시켜 수정 후 재기동 | 대량의 리소스를 포함한 Job 들이 한꺼번에 동작하는 상황등에서 JVM 메모리가 부족해 질수 있으며, run.sh 에서 늘려주면 에러가 해소됨 |
7. 공용 리소스 업로드 시, 용량이 풀로 차서 업로드가 안되는 현상 | 7.1 현재 성능향상을 위해 프로젝트 배포 시 프로젝트 크기를 50M로 제한함. 가능한 50M를 유지를 권하며 꼭 필요하신 경우 아래와 같이 변경가함. 1) 프로젝트 크기 수정 방법 (1) 디자이너 종료 (2) 설치경로 / Designer.config / 에서 value변경. <UserSetting category="Server" group="Internal" name="UploadFileSizeLimit" value="99137200" isReadOnly="false" valueType="number" /> | |
7.2 core 서비스의 jvm 메모리를 늘려준다. cd /rpa/apps/core vi run.sh 해당 모듈 기동에 사용하는 memory 설정 option 이 있음 -Xmx to specify the maximum heap size -Xms to specify the initial Java heap size -Xss to set the Java thread stack size 해당 수치를 증가시켜 수정 후 재기동 | ||