如果 http://localhost:13305 可以連到管理介面,但透過IP無法連到
lemonade config set host=0.0.0.0
設定允許的白名單
set LEMONADE_ALLOWED_ORIGINS="http://192.168.yyy.xxx:port"
setx LEMONADE_ALLOWED_ORIGINS="*" #假設都允許進入,setx為永久寫入
想要知道有哪些model可以下載,除了可以到 官網 上搜尋外,也可以透過以下指令
lemonade list
就會列出所有可用的models,以及是否已經下載、檔案大小等資料。如果想要找針對AMD Ryzen AI平台的特化版image,也可以找「Detailes」中有標註ryzenai-llm的。

如何同時載入多個模型?
#設定同時可以載入最多的模型數
lemonade config set max_loaded_models=3 # -1是無限制(不會自動卸載)
載入模型
lemonade run 模型名稱
如何讓模型允許多個client連接
lemonade config set llamacpp.args="--parallel 4"
#不分backend,全部套用—
#不管這次啟動用的是 ROCm、Vulkan 還是 CPU backend,這個參數都會被帶進去。
#適合放「跟硬體無關、你希望永遠生效」的參數,比如 --parallel 4 這種邏輯層設定。
lemonade config set llamacpp.rocm_args="--parallel 4"
#只有在這次啟動選擇 ROCm backend 時才生效。
#如果這次是走 Vulkan 跑,這裡設的參數完全不會被用到。
如何設定模型的Context Size
#全域設定
lemonade config set ctx_size=131072 # -1代表自動判斷(盡量吃滿)
