AI常用的算力單位

AI常用的算力單位

主要算力單位

  • TOPS（Tera Operations Per Second）
    每秒萬億次操作。TOPS是AI推理（即模型執行階段）常用的算力單位，用來衡量AI硬體（如GPU、NPU、AI加速器）每秒可執行多少萬億次運算，通常包含整數運算（如INT8）和低精度浮點運算。舉例來說，消費級AI筆電要求至少40 TOPS。
  • FLOPS（Floating Point Operations Per Second）
    每秒浮點運算次數。FLOPS是AI訓練（即模型學習階段）常用的算力單位，特別適合高精度運算（如FP32、FP16）。常見單位有：
    • GFLOPS（十億次/秒）
    • TFLOPS（兆次/秒）
    • PFLOPS（千兆次/秒）
    • EFLOPS（百萬兆次/秒）
      FLOPS數值越高，代表訓練大型AI模型的能力越強。
  • OPS（Operations Per Second）
    每秒運算次數。OPS是更通用的運算單位，包含所有類型的運算（整數、浮點等），但在AI領域通常細分為TOPS和FLOPS。

精度單位

  • FP32：單精度浮點運算，常用於AI訓練。
  • FP16：半精度浮點運算，兼顧速度與精度。
  • INT8：8位元整數運算，常用於AI推理，效率高、能耗低。
  • FP8：8位元浮點運算，近年新興，進一步壓縮記憶體需求

其他相關運算

  • MAC（Multiply-Accumulate）：乘加運算，是深度學習常見的運算型態。
  • ALU（Arithmetic Logic Unit）數量：AI晶片內部可同時執行運算的單元數量，也是算力衡量指標之一。

舉例來說

  • 推理階段常用TOPS（如40 TOPS、100 TOPS）。
  • 訓練階段常用FLOPS（如100 TFLOPS、1 PFLOPS）。
  • 精度單位（FP32、FP16、INT8）會影響算力數值。
  • 算力越高，AI模型訓練和推理速度越快，能處理更大規模的數據和模型
Post Views: 35