slug
type
status
date
tags
summary
category
icon
password
ollama
什么是 Ollama?
- 本地运行大型语言模型(LLM)
Ollama 是一个开放源代码的软件,运行在本地设备上,支持像 Llama 2、Mistral、Gemma 等主流模型,无需连接云端或服务器 CSDN 博客+15维基百科+15Howto-Do.IT+15。
- 跨平台支持、隐私优先
支持 Windows(目前处于预览)、macOS 和 Linux,完全在本地处理数据,适合对隐私、安全或对低延迟有需求的用户 ollama.orgHostingerAI Tools Explorer。
主要特点与优势
1. 情况灵活的操作界面
- 提供命令行界面(CLI),便于开发者快速调用模型、管理版本等 Hostinger。
- Windows 用户现在还可以使用官方推出的图形用户界面(GUI),可以拖拽图片、上传代码文件与模型互动,甚至调整上下文窗口大小等选项 Windows Central。
2. 高效的模型和资源管理
- 支持自动检测 GPU(NVIDIA/AMD),可加速模型推理过程。若无 GPU,也可用 CPU,但性能会相对逊色 Best AI Tools -。
- 用户可以下载、切换、管理模型版本,非常适合研究和开发工作 ollama.org+6elightwalk.com+6Hostinger+6。
3. 隐私和成本优势
- 所有数据都在本地,减少泄露风险;没有云端费用,也无需担心网络连接中断 octaria.com+2Hostinger+2。
4. 实用性与性能兼顾
- 即便是老旧或配置有限的设备,也可以运行较轻量模型(如 1B 参数级别),速度在可用范围内;虽然不能处理大型模型,但为了实验、脚本处理等轻量任务完全够用 Windows Central。
- 使用适当的“上下文窗口”(context length)设置,可以优化性能,避免占用过多资源同时提高速度 Windows Central+1。
总结一览表
特性 | 描述 |
本地部署 | 支持 Windows(预览)、macOS、Linux,无需依赖云端。 |
接口多样 | CLI + GUI(Windows) 和 API 支持,适应不同用户习惯。 |
硬件兼容 | GPU 优化,可在无 GPU 环境下用 CPU 运行。 |
隐私 & 成本友好 | 数据本地处理,不收集数据,节省云使用成本。 |
用户友好体验 | GUI 拖拽交互,CLI 操作灵活,入门门槛低。 |


Ollama官方地址:https://ollama.com/
Ollama Github开源地址: https://github.com/ollama/ollama
API调用会好一些
不可能去修改,我们只能去添加些什么
GGUF格式 原始的模型权重不一样 原版模型是什么关系呢
转化脚本 都是量化版本的 ollama占用显存会更低一些 启动量
server服务 通过API调用 花钱购买API base url端点
另外机制 看看能不能在当前的卡中塞下 显卡

显存不够
单个GPU 单张3090 21G显存 三张卡没有用 搞AI的都是有钱人
qwen2 32b吃显存都会吃到21GB的显存 但是一般电脑没有20G以上的显存
配置多卡

rest api
在线API 部署在本地 相同方式调用有个模型
不同尺寸、不同精度大模型推理所需显存占用

不同尺寸、不同精度 大模型训练与微调所需显存占用

推理

训练

- Author:盛溪
- URL:https://tangly1024.com/article/ollama
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts

.jpg?table=block&id=26f7c1d5-a1e9-80d7-a52b-e71bb7079501&t=26f7c1d5-a1e9-80d7-a52b-e71bb7079501)

