记录-内网部署vllm分布式推理DeepSeekR1:70b
##背景前段时间接到需求要在内网部署DeepSeekR1:70b，由于手里的服务器和显卡比较差（四台 四块Tesla T4- 16g显存的服务器），先后尝试了ollama、vllm、llamacpp等，最后选择用v...
每一篇，都是探索的痕迹。
每一篇，都是探索的痕迹。
##背景前段时间接到需求要在内网部署DeepSeekR1:70b，由于手里的服务器和显卡比较差（四台 四块Tesla T4- 16g显存的服务器），先后尝试了ollama、vllm、llamacpp等，最后选择用v...