AI 资源精选
  首页 >AI 工具 >Ollama
访问数:348
Ollama

厂家:ollama

简介:

目前提供 MacOS、Linux 版本以及 Windows 的预览版,同时提供Docker镜像。

  详细介绍 - Ollama


支持的模型库

library (ollama.com)

Model 名称ParametersSizeDownload 下载方式
Llama 27B3.8GBollama run llama2
Mistral7B4.1GBollama run mistral
Dolphin Phi2.7B1.6GBollama run dolphin-phi
Phi-22.7B1.7GBollama run phi
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
LLaVA7B4.5GBollama run llava
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Solar10.7B6.1GBollama run solar

提示:如果运行7B模型,需要至少8G的内存;13B的模型,需要至少16G的内存;33B的模型,则需要32G的内存。


自定义模型

你也可以通过以下指导获取自定义模型。

从GGUF导入

1、创建 Modelfile 文件,并使用FROM指令,从本地文件路径导入。

FROM ./vicuna-33b.Q4_0.gguf

2、在Ollama中创建模型。

ollama create example -f Modelfile

3、运行模型

ollama run example


从PyTorch或Safetensors导入

这个请点击 https://github.com/ollama/ollama/blob/main/docs/import.md  查看指导。


自定义提示

从Ollama模型库下载的模型,可以自定义提示。如:

ollama pull llama2

创建 Modelfile文件

FROM llama2
# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

创建和运行模型

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.





--文 by AixTong.com--
相关资讯 / AI资源