AI常用的算力單位
AI常用的算力單位
主要算力單位
- TOPS(Tera Operations Per Second)
每秒萬億次操作。TOPS是AI推理(即模型執行階段)常用的算力單位,用來衡量AI硬體(如GPU、NPU、AI加速器)每秒可執行多少萬億次運算,通常包含整數運算(如INT8)和低精度浮點運算。舉例來說,消費級AI筆電要求至少40 TOPS。 - FLOPS(Floating Point Operations Per Second)
每秒浮點運算次數。FLOPS是AI訓練(即模型學習階段)常用的算力單位,特別適合高精度運算(如FP32、FP16)。常見單位有:- GFLOPS(十億次/秒)
- TFLOPS(兆次/秒)
- PFLOPS(千兆次/秒)
- EFLOPS(百萬兆次/秒)
FLOPS數值越高,代表訓練大型AI模型的能力越強。
- OPS(Operations Per Second)
每秒運算次數。OPS是更通用的運算單位,包含所有類型的運算(整數、浮點等),但在AI領域通常細分為TOPS和FLOPS。
精度單位
- FP32:單精度浮點運算,常用於AI訓練。
- FP16:半精度浮點運算,兼顧速度與精度。
- INT8:8位元整數運算,常用於AI推理,效率高、能耗低。
- FP8:8位元浮點運算,近年新興,進一步壓縮記憶體需求
其他相關運算
- MAC(Multiply-Accumulate):乘加運算,是深度學習常見的運算型態。
- ALU(Arithmetic Logic Unit)數量:AI晶片內部可同時執行運算的單元數量,也是算力衡量指標之一。
舉例來說
- 推理階段常用TOPS(如40 TOPS、100 TOPS)。
- 訓練階段常用FLOPS(如100 TFLOPS、1 PFLOPS)。
- 精度單位(FP32、FP16、INT8)會影響算力數值。
- 算力越高,AI模型訓練和推理速度越快,能處理更大規模的數據和模型