分享
GPU 选型
输入“/”快速插入内容
GPU 选型
飞书用户1247
飞书用户2988
2024年7月15日修改
资源分配
本平台的GPU与CPU分配机制如下:
GPU独占:
每个实例租用的GPU是独占的,不与其他用户共享。
CPU和内存按GPU数量比例分配
:租用的GPU数量决定了分配的CPU和内存的数量,例如一块GPU分配个2CPU8G运行内存则计算为CPU=2*GPU数量 内存=8G*GPU数量。
显卡算力
算力:
更高的算力意味着更快的计算速度,AI处理数据和学习新知识的速度就越快。
显存:
显存的大小还决定了可以处理的批处理大小,显存的增加使得同时运行多个模型或多个任务成为可能。
算力和显存在AI应用中相辅相成,共同决定了AI模型的性能和应用范围
显卡算力图
显卡详细信息
实际性能分析
Stable Diffusion
Stable Diffusion 是一种流行的文本生成高质量图像的模型。性能基准测试显示了不同显卡的显著差异。
•
RTX 4090:
◦
在15步图像生成中达到27.3步/秒,在50步生成中达到37.6步/秒 (
Lambda | GPU Compute for AI
)。
◦
在512x512分辨率、批处理大小为1的情况下,使用EulerA采样器,RTX 4090的推理速度约为23-24.5次迭代/秒 (
GitHub
)。
•
AD 102:
◦
在高负载下,AD 102表现出色,能够处理复杂的推理任务,具体推理时间视任务而定,但在多任务处理上表现优异 (
Lambda | GPU Compute for AI
)。
•
RTX 4090D:
◦
生成一张512x512图像的时间约为3.74到5.59秒,使用的是PyTorch实现的模型 (
Lambda | GPU Compute for AI
)。
•
NVIDIA V100:
◦
使用单精度浮点数时,推理一个512x512图像大约需要7.7 GB的显存,半精度浮点数推理时需要约4.5 GB的显存 (
Lambda | GPU Compute for AI
)。