快速本地部署Meta Llama3模型以及API调用

AI技术分享2年前更新 AIGCBA
1,661 0

在本地安装Ollama

首先我们需要在本地先安装Ollama。Ollama是一个开源项目,专为运行、创建和分享大型语言模型而设计,并为开发者和研究者提供一个方便的部署、管理和使用平台。目前,Ollama支持macOS、Windows、Linux和Docker等多种安装方式,还能通过API方式为本地AI服务提供便捷途径。

可以通过访问 Ollama官方下载页 选择你的系统环境下载安装。安装完成后,请在终端输入以下命令以确认安装是否成功:

ollama -v

开始拉取并部署运行Llama 3模型

快速本地部署Meta Llama3模型以及API调用

在完成Ollama的安装后,可以开始拉取并部署Llama 3模型。具体操作如下:

ollama run llama3:70b

输入命令后,等待模型下载并运行。下载成功后模型会自动启动,此时你就可以和Llama 3进行对话。如果你想退出对话,可以在窗口内输入以下指令退出模型对话:/bye

使用API调用本地Llama 3模型

如需通过API调用本地Llama 3模型,首先需要启动Ollama的API服务。执行以下命令:

ollama serve

此命令会在本地默认开启Ollama的API服务。你可以使用以下CURL命令进行API调用:
bash
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Why is the sky blue?"
}'

重新启动进入Llama 3模型终端窗口

如果你想在终端重新开启Llama 3模型对话,可以使用以下命令:

ollama run llama3:70b

© 版权声明

相关文章

暂无评论

none
暂无评论...

Fatal error: Uncaught TypeError: Cannot access offset of type string on string in /www/wwwroot/aigcba.com/wp-content/themes/onenav/inc/functions/io-search.php:442 Stack trace: #0 /www/wwwroot/aigcba.com/wp-content/themes/onenav/inc/functions/io-footer.php(374): io_search_body_html() #1 /www/wwwroot/aigcba.com/wp-content/themes/onenav/inc/functions/io-footer.php(336): io_nav_search_html() #2 /www/wwwroot/aigcba.com/wp-includes/class-wp-hook.php(353): io_get_footer_content() #3 /www/wwwroot/aigcba.com/wp-includes/class-wp-hook.php(377): WP_Hook->apply_filters() #4 /www/wwwroot/aigcba.com/wp-includes/plugin.php(523): WP_Hook->do_action() #5 /www/wwwroot/aigcba.com/wp-includes/general-template.php(3457): do_action() #6 /www/wwwroot/aigcba.com/wp-content/themes/onenav/footer.php(41): wp_footer() #7 /www/wwwroot/aigcba.com/wp-includes/template.php(880): require_once('...') #8 /www/wwwroot/aigcba.com/wp-includes/template.php(815): load_template() #9 /www/wwwroot/aigcba.com/wp-includes/general-template.php(92): locate_template() #10 /www/wwwroot/aigcba.com/wp-content/themes/onenav/single.php(49): get_footer() #11 /www/wwwroot/aigcba.com/wp-includes/template-loader.php(132): include('...') #12 /www/wwwroot/aigcba.com/wp-blog-header.php(19): require_once('...') #13 /www/wwwroot/aigcba.com/index.php(17): require('...') #14 {main} thrown in /www/wwwroot/aigcba.com/wp-content/themes/onenav/inc/functions/io-search.php on line 442