快速本地部署Meta Llama3模型以及API调用

在本地安装Ollama

首先我们需要在本地先安装Ollama。Ollama是一个开源项目，专为运行、创建和分享大型语言模型而设计，并为开发者和研究者提供一个方便的部署、管理和使用平台。目前，Ollama支持macOS、Windows、Linux和Docker等多种安装方式，还能通过API方式为本地AI服务提供便捷途径。

可以通过访问 Ollama官方下载页 选择你的系统环境下载安装。安装完成后，请在终端输入以下命令以确认安装是否成功：

ollama -v

开始拉取并部署运行Llama 3模型

在完成Ollama的安装后，可以开始拉取并部署Llama 3模型。具体操作如下：

ollama run llama3:70b

输入命令后，等待模型下载并运行。下载成功后模型会自动启动，此时你就可以和Llama 3进行对话。如果你想退出对话，可以在窗口内输入以下指令退出模型对话：/bye

使用API调用本地Llama 3模型

如需通过API调用本地Llama 3模型，首先需要启动Ollama的API服务。执行以下命令：

ollama serve

此命令会在本地默认开启Ollama的API服务。你可以使用以下CURL命令进行API调用：
bash
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Why is the sky blue?"
}'

重新启动进入Llama 3模型终端窗口

如果你想在终端重新开启Llama 3模型对话，可以使用以下命令：

ollama run llama3:70b