Docker7530
44 lines
2.8 KiB
Markdown
44 lines
2.8 KiB
Markdown
硬件：NVIDIA A800 80GB GPU，30GB 系统盘 和 100GB 数据盘 (`/root/autodl-tmp`)。
|
||
|
||
> **19.5 TFLOPS** = 普通生产线能力
|
||
> **312 Tensor TFLOPS** = AI 专用流水线能力
|
||
|
||
模型：deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
|
||
|
||
> Tensor type BF16
|
||
> Tensor type（张量类型）通常指 PyTorch 或 TensorFlow 等框架中，用于表示多维数组的数据对象。通俗理解模型内部数字是用什么“数据格式”来存的。
|
||
> 33B × 2 字节 ≈ 66GB
|
||
|
||
服务器启动日志
|
||
|
||
```
|
||
+-----------------------------------------------AutoDL-----------------------------------------------------+
|
||
目录说明:
|
||
╔═════════════════╦════════╦════╦═════════════════════════════════════════════════════════════════════════╗
|
||
║目录 ║名称 ║速度║说明 ║
|
||
╠═════════════════╬════════╬════╬═════════════════════════════════════════════════════════════════════════╣
|
||
║/ ║系 统 盘║一般║实例关机数据不会丢失，可存放代码等。会随保存镜像一起保存。 ║
|
||
║/root/autodl-tmp ║数 据 盘║ 快 ║实例关机数据不会丢失，可存放读写IO要求高的数据。但不会随保存镜像一起保存 ║
|
||
╚═════════════════╩════════╩════╩═════════════════════════════════════════════════════════════════════════╝
|
||
CPU ：14 核心
|
||
内存：120 GB
|
||
GPU ：NVIDIA A800 80GB PCIe, 1
|
||
存储：
|
||
系 统 盘/ ：1% 53M/30G
|
||
数 据 盘/root/autodl-tmp：1% 12K/100G
|
||
+----------------------------------------------------------------------------------------------------------+
|
||
*注意:
|
||
1.系统盘较小请将大的数据存放于数据盘或文件存储中，重置系统时数据盘和文件存储中的数据不受影响
|
||
2.清理系统盘请参考：https://www.autodl.com/docs/qa1/
|
||
3.终端中长期执行命令请使用screen等工具开后台运行，确保程序不受SSH连接中断影响：https://www.autodl.com/docs/daemon/
|
||
|
||
```
|
||
|
||
显卡检测
|
||
|
||
```
|
||
root@autodl-container-c6d54aa471-4479d4d0:~# python -c "import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))"
|
||
True
|
||
NVIDIA A800 80GB PCIe
|
||
```
|