slug
type
status
date
tags
summary
category
icon
password
 
ollama

什么是 Ollama?

  • 本地运行大型语言模型(LLM)
  • 跨平台支持、隐私优先
    • 支持 Windows(目前处于预览)、macOS 和 Linux,完全在本地处理数据,适合对隐私、安全或对低延迟有需求的用户 ollama.orgHostingerAI Tools Explorer

主要特点与优势

1. 情况灵活的操作界面

  • 提供命令行界面(CLI),便于开发者快速调用模型、管理版本等 Hostinger
  • Windows 用户现在还可以使用官方推出的图形用户界面(GUI),可以拖拽图片、上传代码文件与模型互动,甚至调整上下文窗口大小等选项 Windows Central

2. 高效的模型和资源管理

  • 支持自动检测 GPU(NVIDIA/AMD),可加速模型推理过程。若无 GPU,也可用 CPU,但性能会相对逊色 Best AI Tools -

3. 隐私和成本优势

  • 所有数据都在本地,减少泄露风险;没有云端费用,也无需担心网络连接中断 octaria.com+2Hostinger+2

4. 实用性与性能兼顾

  • 即便是老旧或配置有限的设备,也可以运行较轻量模型(如 1B 参数级别),速度在可用范围内;虽然不能处理大型模型,但为了实验、脚本处理等轻量任务完全够用 Windows Central
  • 使用适当的“上下文窗口”(context length)设置,可以优化性能,避免占用过多资源同时提高速度 Windows Central+1

总结一览表

特性
描述
本地部署
支持 Windows(预览)、macOS、Linux,无需依赖云端。
接口多样
CLI + GUI(Windows) 和 API 支持,适应不同用户习惯。
硬件兼容
GPU 优化,可在无 GPU 环境下用 CPU 运行。
隐私 & 成本友好
数据本地处理,不收集数据,节省云使用成本。
用户友好体验
GUI 拖拽交互,CLI 操作灵活,入门门槛低。
notion image
notion image
Ollama官方地址:https://ollama.com/
Ollama Github开源地址: https://github.com/ollama/ollama
 
API调用会好一些
不可能去修改,我们只能去添加些什么
GGUF格式 原始的模型权重不一样 原版模型是什么关系呢
转化脚本 都是量化版本的 ollama占用显存会更低一些 启动量
 
server服务 通过API调用 花钱购买API base url端点
另外机制 看看能不能在当前的卡中塞下 显卡
 
notion image
显存不够
单个GPU 单张3090 21G显存 三张卡没有用 搞AI的都是有钱人
qwen2 32b吃显存都会吃到21GB的显存 但是一般电脑没有20G以上的显存
 
配置多卡
 
notion image
rest api
在线API 部署在本地 相同方式调用有个模型
 

不同尺寸、不同精度大模型推理所需显存占用

notion image

不同尺寸、不同精度 大模型训练与微调所需显存占用

notion image
 

推理

notion image
 

训练

notion image
claude code创建工作树提升效率从Pavel Durov汲取到的理念与力量
Loading...
盛溪
盛溪
盛溪的学习&生活博客
Announcement
🌟 欢迎来到盛溪的博客!🌟
大家好,我是盛溪。在这里,我将分享我的生活感悟、学习心得以及其他一些有趣的发现。希望我的文章能为你的生活带来一点启发和乐趣。
微信号: felix_windsor
📅 更新通知:
  • 我会定期更新博客,分享新的内容。
💬 互动环节:
  • 如果你有任何问题或想法,欢迎在评论区留言。我非常期待与你的互动!
📚 推荐阅读:
  • 不定期推荐一些我觉得有价值的书籍或资源,希望能对你有所帮助。
感谢你的访问和支持,希望你能常来逛逛!
盛溪敬上