[Runyour Cloud 10월 업데이트] 낭비 없는 자원 활용, GPU를 쪼개 쓰는 MIG 기술 탑재

고성능 GPU 한 장을 하나의 작업에 통째로 배정하기에는 아깝고, 그렇다고 여러 작업에 나눠 쓰자니 자원을 어떻게 배분해야 할지 고민되는 상황이 있습니다. GPU를 보유하고 있어도 작업마다 필요한 자원 규모가 다르다 보니, 일부 자원이 충분히 활용되지 못한 채 남아 있을 수 있는데요.

이번 10월 업데이트부터 Runyour Cloud에서 MIG(GPU 분할) 서버를 지원합니다. GPU 한 장을 여러 개의 독립적인 인스턴스로 나눠, 각 작업 환경에 필요한 자원을 더욱 세밀하게 배분할 수 있게 되었습니다.

새롭게 추가된 MIG 기능을 함께 살펴볼까요?

1. GPU 한 장을 여러 개로 나눠 쓸 수 있다?

MIG(Multi-Instance GPU)는 GPU 한 장을 여러 개의 독립적인 GPU 인스턴스로 나눠 사용할 수 있는 기술입니다. 쉽게 말해 하나의 GPU를 여러 개의 '칸'으로 나누어, 각 작업 환경에 필요한 만큼 할당하는 방식인데요.

각 인스턴스는 분리된 자원을 사용하도록 구성되기 때문에, 여러 작업 환경이 하나의 GPU를 공유하면서도 서로의 영향을 줄일 수 있습니다. 이를 통해 MIG를 지원하는 GPU 환경에서는 보유한 자원을 더욱 유연하게 활용할 수 있습니다.

Runyour Cloud에서는 서버 상세 화면의 '머신과 GPU' 영역에서 GPU별 분할 현황을 확인할 수 있습니다. GPU가 몇 개의 인스턴스로 나뉘어 있는지, 각 인스턴스의 크기는 얼마인지, 현재 사용 중이거나 새로 생성할 수 있는 인스턴스는 무엇인지 한눈에 살펴볼 수 있습니다.

2. 필요한 만큼 선택하고, 머신에 바로 배치하세요.

GPU 분할 현황을 확인했다면, 이제 실제 작업에 필요한 자원을 할당할 차례입니다. Runyour Cloud에서는 머신을 생성할 때 사용할 GPU 인스턴스를 직접 선택할 수 있습니다. 서버 상세 화면에서 머신을 생성하고 그룹에 배치하는 것도 가능해, 작업 환경에 필요한 GPU 자원을 더욱 세밀하게 할당할 수 있습니다.

할당된 GPU 인스턴스의 사용 현황도 확인할 수 있는데요. 머신 상세 모니터링에서는 해당 인스턴스를 기준으로 VRAM 사용률을 표시하며, 머신에 접근 권한이 있는 일반 멤버도 확인할 수 있습니다. 또한 자원 목록에서 MIG 서버 여부와 GPU 종류를 기준으로 필터링할 수 있어, 필요한 자원을 더욱 편리하게 찾아볼 수 있습니다.

3. 사용이 끝난 GPU 자원은 다시 활용하세요

여러 작업 환경에 GPU를 나눠 사용하는 만큼, 사용이 끝난 자원을 회수하는 과정도 중요합니다. Runyour Cloud에서는 머신을 등록 해제하거나 삭제하면 해당 머신에 할당된 GPU 인스턴스가 반환됩니다. 반환된 인스턴스는 다시 선택할 수 있어, 다른 작업 환경에 재할당하는 것도 가능합니다. GPU 한 장을 통째로 할당하는 대신 작업에 필요한 단위로 나눠 사용하고, 사용이 끝난 인스턴스는 다시 배분할 수 있는 것이죠.

이를 통해 보유한 GPU 자원의 활용도를 높이는 데 도움이 될 수 있습니다.