Skip to content

想在 Windows 上玩转 Ollama?看这篇就够了!(超详细图文教程)

嘿,朋友!想不想在自己的 Windows 电脑上,不用联网也能跑各种酷炫的大语言模型(LLM)?那 Ollama 这个神器你可不能错过!

别担心自己是技术小白,这篇指南就是为你量身打造的。咱们会一步步带你搞定下载、安装、配置,还有怎么验证它是不是乖乖工作了。保证让你轻松上手,在本地畅玩 AI 大模型!

咱们要做啥?简单来说就这几步:

  1. 去官网把它“请”回来 (下载安装包)
  2. 给它安个家,顺便设置点“规矩” (配置环境变量,特别是模型放哪儿)
  3. 启动它,让它开始“干活” (运行 Ollama 服务)
  4. 检查一下,确保一切 OK (验证安装)

准备好了吗?Let's Go!

第一步:下载和安装 Ollama

  1. 直奔官网下载:

    打开下载页面,那个大大的 "Download for Windows" 按钮应该很显眼。点它!浏览器就会开始下载一个叫 OllamaSetup.exe 的文件。

    Ollama 官网下载

  2. 无脑式安装: 下载完成后,找到 OllamaSetup.exe,双击它。弹出来的窗口里,直接点 "Install" 就行。接下来,耐心等它自己跑完安装进度条。它会自动把需要的东西都准备好。

    Ollama 安装界面

  3. 安装完成,它可能自己就启动了: 安装结束后,Ollama 通常会悄悄在后台启动。你可以在电脑右下角的任务栏通知区(就是显示时间、网络图标那里)找到 Ollama 的小图标。右键点它,可以选 "Quit Ollama" 把它关掉,或者点 "Logs" 看看它的运行日记。

    Ollama 任务栏图标

第二步:配置环境变量 (这一步超关键!)

装好了 Ollama,强烈建议你花几分钟配置一下环境变量。这能让你更好地“指挥”Ollama,比如,告诉它模型文件应该存到哪里去。

“环境变量”是啥玩意儿?

简单说,它就像是给电脑系统贴的一些“小纸条”,上面写着一些配置信息。程序(比如 Ollama)可以读取这些“纸条”,知道自己该怎么运行,东西该放哪儿等等。

几个 Ollama 常用的“小纸条”:

变量名 (纸条名称)说明 (纸条内容)咱们的建议
OLLAMA_MODELS模型仓库位置! 默认它会把下载的模型塞到 C 盘你的用户文件夹下(类似 C:\Users\你的用户名\.ollama\models)。强烈建议挪到其他盘(比如 D 盘、E 盘)! 不然模型一大,C 盘空间就告急了!比如,放到 E:\ollama\models (记得先建好 E:\ollama 这个文件夹)
OLLAMA_HOST谁能访问 Ollama? 默认是 127.0.0.1,意思是只有你自己这台电脑能用。如果你想让局域网里的其他设备(比如手机、平板或其他电脑)也能连上它,就改成 0.0.0.0想局域网共享就设 0.0.0.0,否则默认就好
OLLAMA_PORTOllama 服务的“门牌号”。 默认是 11434。如果这个“门牌号”被其他程序占用了,Ollama 就启动不了。到时候可以换个没被用的号码(比如 8080)。默认 11434,真冲突了再改
OLLAMA_ORIGINS允许哪些“访客”(HTTP 客户端)来敲门。一般用不到特别设置,想省事可以直接设成 *,表示谁来都欢迎。本地用就设 *
OLLAMA_KEEP_ALIVE模型加载进内存后能“待机”多久? 默认是 5m (5分钟)。时间到了没人用,模型就从内存里卸载了,下次用又要重新加载。可以设成纯数字(单位是秒),0 表示用完立刻“走人”,负数表示“赖着不走”。想让反应快点?建议设长一点,比如 24h (24 小时)。追求速度就设 24h
OLLAMA_NUM_PARALLEL同时能处理多少个请求。默认 1。电脑配置好可以适当调高。看你电脑性能,默认一般够用
OLLAMA_MAX_LOADED_MODELS内存里最多同时“住”几个模型。默认 1。如果你经常切换着用不同模型,可以调高点,但会更吃内存。内存够大且有需要再调整
OLLAMA_DEBUG要不要看超详细的运行日志?调试时可以设成 1遇到问题需要排查时设 1
OLLAMA_MAX_QUEUE请求排队的最大长度。默认 512。一般不用改。默认就好

怎么设置这些“小纸条”(环境变量)?

  1. 找到设置的地方:

    • 最快的方法:在 Windows 搜索框里搜“环境变量”,然后点“编辑系统环境变量”。
    • 或者:右键点“此电脑” -> “属性” -> “高级系统设置” -> “环境变量”。
    • 再或者:控制面板 -> 系统和安全 -> 系统 -> 高级系统设置 -> 环境变量。
    • 还可以:按 Win + R 键,输入 sysdm.cpl 回车,去“高级”选项卡,点“环境变量”。
  2. 新建“小纸条”: 在弹出的“环境变量”窗口里,找到下面的“系统变量”区域(如果你只想让当前用户生效,也可以选上面的“用户变量”),然后点“新建”。

  3. 写上“纸条名称”和“内容”:

    • 在“变量名”里输入上面表格里的名称,比如 OLLAMA_MODELS
    • 在“变量值”里输入你想要的值,比如 E:\ollama\models
    • 特别注意:OLLAMA_MODELS 这种路径设置,请确保 E:\ollama 这个文件夹是你已经创建好的,或者至少 E: 盘是存在的。Ollama 可能会帮你创建 models 子文件夹,但保险起见,父目录最好先有。

    新建系统变量

  4. 保存“小纸条”: 点“确定”。

  5. 重复添加: 如果还需要设置其他的环境变量(比如 OLLAMA_KEEP_ALIVE),就重复步骤 2-4。

  6. 一路“确定”: 把所有打开的设置窗口都点“确定”关掉。

  7. 让设置生效: 重启一下 Ollama(如果它正在运行,先退出再启动),或者重新打开一个命令提示符/PowerShell 窗口。这样新的环境变量才能被识别到。

检查一下设置好了没:

  1. 打开 命令提示符 (CMD) 或者 PowerShell。(记得要新开一个!

  2. 输入 echo %OLLAMA_MODELS% 然后按回车。如果下面显示的是你刚才设置的路径(比如 E:\ollama\models),那就说明搞定了!

    验证环境变量

第三步:启动 Ollama 服务

虽然安装后它可能自己启动了,但我们有时需要手动控制它。或者,如果你取消了开机自启,就需要手动来启动。

  1. 打开 命令提示符 (CMD) 或者 PowerShell

  2. 输入 ollama serve 然后按回车。

    bash
    ollama serve

    遇到麻烦了?

    如果你看到类似这样的报错:

    Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address...

    意思是“门牌号” 11434 已经被占用了!最常见的原因是:Ollama 安装时默认设置了开机自启动,所以它已经在后台运行了,你又手动启动了一次,就冲突了。

    怎么办?

    • 方法一(推荐): 关掉那个已经在运行的 Ollama。

      1. Ctrl + Shift + Esc 召唤出 任务管理器
      2. 如果你的任务管理器有“启动应用”或类似(Win10叫“启动”)的选项卡,去那里找到 "Ollama",右键点它,选 "禁用",这样下次开机它就不会自动运行了。(这一步顺手做了,后面会单独讲) 禁用 Ollama 开机启动 (这张图可能需要更新为任务管理器的启动项界面)
      3. 切换到“进程”或“详细信息”选项卡,找到所有名字叫 ollama.exe 的进程,选中它们,点右下角的“结束任务”。
    • 方法二(不推荐,除非你清楚后果): 给 Ollama 换个“门牌号”。

      1. 按照第二步的方法,设置 OLLAMA_PORT 环境变量,给它一个你确定没被占用的端口号。
  3. 解决了端口冲突后,再试一次运行 ollama serve 命令。如果没报错,那就说明 Ollama 服务成功启动了。

确认一下它是不是真的在“监听”:

  1. 再打开一个 命令提示符 (CMD) 或者 PowerShell

  2. 输入 netstat -aon | findstr 11434 然后回车。(如果你改了端口,就把 11434 换成你改的端口号)

  3. 如果看到有类似 TCP 127.0.0.1:11434 ... LISTENING 这样的输出,那就对了!表示 Ollama 正在 11434 端口上等着接收命令呢。

    bash
    netstat -aon | findstr 11434

    输出大概长这样:

    TCP    127.0.0.1:11434        0.0.0.0:0              LISTENING       17556

    最后那个数字(比如 17556)是 Ollama 进程的身份证号 (PID)。

  4. 好奇的话,可以用 tasklist | findstr "17556" (把数字换成你看到的 PID) 看看这个进程是谁。

    bash
    tasklist | findstr "17556"

    应该能看到 ollama.exe 的信息。

第四步:验证安装,跑个模型试试!

  1. 打开 命令提示符 (CMD) 或者 PowerShell

  2. 输入 ollama -h 然后回车。如果哗啦啦出来一堆 Ollama 的帮助说明文字,恭喜你,安装基本成功了!

    bash
    ollama -h

    你应该能看到类似这样的输出:

    Large language model runner
    
    Usage:
      ollama [flags]
      ollama [command]
    
    Available Commands:
      serve       Start ollama
      create      Create a model from a Modelfile
      show        Show information for a model
      run         Run a model
      pull        Pull a model from a registry
      push        Push a model to a registry
      list        List models
      ps          List running models
      cp          Copy a model
      rm          Remove a model
      help        Help about any command
      ... (可能还有更多)

是时候让它干点活了!运行第一个模型:

  1. Ollama 模型库 逛逛,找个你顺眼的模型。比如,llama3 (Meta 的新模型,很火) 或者 qwen:7b (阿里的通义千问 70 亿参数版)。

  2. 在命令提示符或 PowerShell 里,输入 ollama run 模型名,比如:

    bash
    ollama run llama3

    或者

    bash
    ollama run qwen:7b

    然后回车。

  3. Ollama 会开始自动下载模型文件(如果你设置了 OLLAMA_MODELS,它会下载到你指定的那个文件夹里)。

    • 耐心点! 第一次运行某个模型,需要下载它。文件通常不小(几个 GB 很正常),下载速度取决于你的网速。你可以看到下载进度条。
  4. 下载完成后,模型就会启动,然后你就可以在命令行里直接跟它聊天啦!随便问点啥,看看它的反应。想退出聊天?按 Ctrl + D 组合键就行。

    Ollama 运行 Llama3 模型

第五步:不想要开机自启?关掉它!

Ollama 安装时默认会把自己加到 Windows 的开机启动项里。如果你觉得没必要让它每次开机都自动运行(比如你想手动控制,或者你的电脑启动项已经很多了),可以关掉它。

  • 截至本文更新时(大概是 2024 年中),取消方法如下(不同 Windows 版本界面可能略有差异):
  1. 再次召唤 任务管理器 (Ctrl + Shift + Esc)。

  2. 找到“启动应用”(或者叫“启动”)选项卡。

  3. 在列表里找到 "ollama.exe" (或者就叫 "Ollama Application")。

  4. 右键点击它,选择 "禁用"。搞定!下次开机它就不会自动出来了。

    禁用 Ollama 开机启动 (这张图是任务管理器的启动项界面,很合适)

卡壳了?常见问题看这里

  • Ollama 启动不了?
    • 最可能的原因:端口被占用了(看第三步的解决方法)。
    • 检查一下环境变量(第二步)是不是设置对了,路径啥的别写错了。
    • 实在不行,看看 Ollama 的日志(右键任务栏图标 -> Logs),里面可能有线索。
  • 模型下载龟速?
    • 检查下你的网络是不是不太给力。
    • (高级技巧)可以尝试配置国内镜像源,不过这个稍微复杂点,新手可以先不管。
  • Ollama 跑起来感觉卡卡的?
    • 看看你的电脑配置是不是有点勉强?跑大模型还是挺吃内存和显卡(如果用 GPU 加速的话)的。
    • 试试把 OLLAMA_KEEP_ALIVE 设长一点(比如 24h),避免模型反复加载卸载。
    • 同时跑的模型太多了?或者并发请求太多了?(看看 OLLAMA_MAX_LOADED_MODELSOLLAMA_NUM_PARALLEL 的设置)

好啦!到这里,你应该已经成功在 Windows 上安装并配置好了 Ollama,甚至还和第一个 AI 模型聊上天了!是不是很有成就感?