Windows下使用amd 5600xt 6G 显卡加速ollama跑本地推理大模型

首先下载

下载sdk 6.2.4版本

• https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html#downloads

下载

• https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases/tag/v0.6.2.4
  下载这个rocm.gfx1010-gfx1012-for.hip.sdk.6.2.4.7z

下载 amd专用ollama ，最新Setup.exe即可

• https://github.com/likelovewant/ollama-for-amd/releases/tag/v0.6.1

替换文件

找到安装目录

C:\Program Files\AMD\ROCm
C:\Users\Administrator\AppData\Local\Programs\Ollama

解压这个rocm.gfx1010-gfx1012-for.hip.sdk.6.2.4.7z
替换其中的 rocblas.dll 和 library 里的所有文件

C:\Program Files\AMD\ROCm\6.2\bin
C:\Program Files\AMD\ROCm\6.2\bin\rocblas\library
C:\Users\Administrator\AppData\Local\Programs\Ollama\lib\ollama\rocm
C:\Users\Administrator\AppData\Local\Programs\Ollama\lib\ollama\rocm\rocblas\library

现在ollama就可以用5600xt在windows下加速了（模型尽量用7b以下的）