安装 Nvidia Docker
这次购买的 NVIDIA A5000 啊……我买了 A5000……为了尝试自然语言处理,就买了。购买价是 325 还是 335 来着…… 总之,已经顺利安装到服务器上了!之前我什么都不懂,傻乎乎地买了 Radeon 的显卡……机器学习、深度学习这类领域,似乎无论如何(?)都得选 NVIDIA。 那么……就来看看该怎么安

这次购买的 NVIDIA A5000 啊……我买了 A5000……为了尝试自然语言处理,就买了。购买价是 325 还是 335 来着…… 总之,已经顺利安装到服务器上了!之前我什么都不懂,傻乎乎地买了 Radeon 的显卡……机器学习、深度学习这类领域,似乎无论如何(?)都得选 NVIDIA。 那么……就来看看该怎么安


啊……我买了 A5000……为了尝试自然语言处理,就买了。购买价是 325 还是 335 来着……
总之,已经顺利安装到服务器上了!之前我什么都不懂,傻乎乎地买了 Radeon 的显卡……机器学习、深度学习这类领域,似乎无论如何(?)都得选 NVIDIA。
那么……就来看看该怎么安装吧。
https://www.server-world.info/en/note?os=CentOS_Stream_8&p=nvidia&f=1
看这里就行。写得非常简洁,太棒了。
nvidia-smi
安装得非常顺利。A5000 也显示出来了!!
那么,接下来要把它安装到 Docker 里……
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html
啊,看这里就行……没什么难的。
只看这个就行了。我查了很多资料,不过没有哪个地方像这里一样清晰简洁。
好……这样就安装完成了……
我目前从 huggingface 下载模型来使用,并通过 FastAPI 与 API 通信来接收数据。
首先,虽然大家都说 Python 中的 FastAPI 非常非常快,但更重要的是 jupyter notebook。
原因是……唉……每次加载模型都要花 3~4 分钟,而每次运行 Python(修改代码后)都得花这么长时间……
但是,如果安装并使用 Jupyter Notebook,就可以让模型留在进程中运行。也就是说,修改代码后可以立即查看效果。
一开始什么都不懂,每次都要花 3~4 分钟来做事,现在想想自己真傻。不过,如果你要编写、测试和开发任何与深度学习、机器学习相关的代码,我无论如何都推荐安装 jupyter notebook。