GPT4All 本地部署教程

一. GPT4All简介

根据官方网站GPT4All的描述，它是一个开源大型语言模型，可在CPU和几乎任何GPU上本地运行

github source: https://github.com/nomic-ai/gpt4all

GPT4All Website and Models: GPT4All

GPT4All Documentation: GPT4All Documentation

Discord: https://discord.com/invite/mGZE39AS3e

Official Langchain Backend: https://python.langchain.com/docs/integrations/llms/gpt4all.html

Chat Client下载

使用自动更新的桌面聊天客户端，在家用桌面上运行任何 GPT4All 模型。请参阅GPT4All Website and Models网址，了解您可以使用这款功能强大的桌面应用程序运行的开源模型的完整列表。
下载链接:

macOS
Windows
Ubuntu

可在GPT4All Website and Models网址上查找最新信息
聊天客户端的构建和运行

按照聊天客户端 build_and_run 页面上的可视化说明进行操作

Bindings

🐍 Official Python Bindings
💻 Official Typescript Bindings
💻 Official GoLang Bindings
💻 Official C# Bindings
💻 Official Java Bindings

Integrations

🗃️ Weaviate Vector Database - module docs

二. GPT4All部署

第一步：下载安装包

下载地址：GPT4All Website and Models: https://gpt4all.io/index.html

第二步：下载模型

下载地址：GPT4All Website and Models: https://gpt4all.io/index.html

备注6：这个模型页面需要挂梯子才能加载出来

备注7：模型中的SIZE是模型大小，RAM大小是要求电脑的配置，下面是模型功能描述

下面用一个例子做说明，本次也是下载这个模型。

模型大小为6.86G，要求电脑RAM为16G，电脑RAM可以右键点击桌面“ 此电脑 ”图标，选择属性 在弹出的窗口中，就可以看到已安装RAM 大小。

模型描述为：

Extremely good model--极好的模型

Instruction based--基于指令

Gives long responses--提供较长的回复

Curated with 300,000 uncensored instructions--包含 300,000 条未经审查的指令

Trained by Nous Research--由 Nous Research 训练

Cannot be used commercially--不能用于商业用途