Nvidia docker install 하기

이번에 구매한 NVIDIA A5000#

아... 내가 A5000을 구매했다.. 자연어처리를 해보고자, 구매했다. 구매가는 325였던가 335였던가..

아무튼 이상없이 서버컴에 설치 완료 ! 기존에는 뭣도 모르고, 바보같이 라데온 거를 구매했었는데... 이런 머신러닝, 딥러닝 쪽은 무조건(?) nvidia인것 같다.

자... 그러면 어떻게 설치하는지 확인해보도록 하겠다.

여기를 보면 된다. 너무 깔끔. 아주 좋다.

nvidia-smi

아주 설치가 잘 되었다. A5000 도 잘뜨고 !!

그러면, 이제 이거를 docker에 인스톨 해야하는데...

아. 여기를 보면 된다... 어려울 것이 없다.

이것만 보면 된다. 수 많은 걸 찾아보고 했지만, 여기만큼 깔끔한 곳이 또 없다.

자.. 이러면 설치가 끝난다..

나는 현재 huggingface 에서 모델을 받아서, 사용하고 있고. FastAPI로 해서, API로 통신해서 받고 있다.

일단, python 에서 FastAPI는 무지무지 빠르다고 소개되고 있기도 하지만, 더 중요한 것은 jupyter notebook 이다.

이유는... 하.. 모델을 한번 불러오는데 있어서 3~4분이 소요되는데, 이걸 매번 파이썬을 실행(코드변경 후)시킬때마다. 시간이 들어가는 거다...

하지만, 쥬피터 노트북을 설치해서 한다면, 프로세스 상에 올려놓고서 사용하기 때문에. 즉각적으로 코드 수정한걸 바로바로 확인할 수 있는 장점이 생긴다.

처음에 뭣도 모르고, 매번 3-4분씩 걸려서 작업하던 내가 바보스럽기도 하지만, 무조건 딥러닝, 머신러닝 관련해서 코드를 치고 테스트를 해보고 개발을 할거라면, 무조건 jupyter notebook 를 설치하는걸 추천합니다.