号称性能最好的开源大语言模型测试---l13b-snoozy

11月前浏览1803

1 引言

ChatGPT的成功应用导致许多人萌生了创造开源大语言模型的想法，不过要想接近ChatGPT的水平绝非易事，GPT4all【GPT4all---本地部署的微型大语言模型】试图开发在CPU上部署大语言模型，本文试验了号称性能最好的开源大语言模型 ggml-gpt4all-l13b-snoozy.bin。

2 对话

首先从GPT4all网站上下载Windows版本(gpt4all-installer-win64.exe)，目前的最新版本已经升级到V2.4.3，然后下载模型ggml-gpt4all-l13b-snoozy.bin，这个模型共有7.95G。仍然使用问题"What is rock mechanics?"进行测试。

它的回答如下：“岩石力学是一个专注于岩石和土的力学行为的研究领域。它涉及研究岩石的物理特性，如强度、变形和破坏机制，以及环境因素，如温度、压力和湿度对这些特性的影响。岩石力学被用于各种应用中，包括岩土工程、采矿和石油工程。”，显然这个回答的质量要好得多。

用“explain Itasca 3DEC software.”进行测试，它的回答如下：”Itasca 3DEC软件是一款用于岩石力学的数值模拟软件，用于模拟不同条件下的岩体行为。它允许用户创建岩体的三维模型，定义岩石的物理属性，并应用不同的加载条件来模拟不同条件下的岩石行为。该软件可用于模拟广泛的岩石力学问题，包括岩石破坏、岩石变形和岩土相互作用。Itasca 3DEC软件被广泛用于采矿、石油和岩土工程行业。“

当要求列出一些3DEC的命令时，它的回答比GPT-4要差很多。

3 Python接口

与【GPT4all---本地部署的微型大语言模型】中使用的方法不同，本文不使用langchain，直接使用Python调用。

from gpt4all import GPT4Allall_models = GPT4All.list_models()for each in all_models:    print(each["filename"])

列出GPT4all目前内置的模型：

  ggml-gpt4all-j-v1.3-groovy.binggml-gpt4all-l13b-snoozy.bin  
ggml-mpt-7b-chat.binggml-gpt4all-j-v1.2-jazzy.binggml-gpt4all-j-v1.1-breezy.binggml-gpt4all-j.binggml-vicuna-7b-1.1-q4_2.binggml-vicuna-13b-1.1-q4_2.binggml-wizardLM-7B.q4_2.binggml-stable-vicuna-13B.q4_2.binggml-mpt-7b-base.binggml-nous-gpt4-vicuna-13b.binggml-mpt-7b-instruct.binggml-wizard-13b-uncensored.bin

对话试验：

gpt = GPT4All(model_type = 'llama', model_name = "ggml-gpt4all-l13b-snoozy.bin")messages = [{"role": "user", "content": "Explain Itasca FLAC3D software"}]answer = gpt.chat_completion(messages)print(answer)

Itasca FLAC3D软件是一个用于岩土工程和岩石力学的数值模拟工具，它被用来模拟土体和岩体在各种荷载条件下的行为，如地震和隧道工程。该软件可用于分析边坡稳定性，评估挡土墙和其他岩土工程结构的性能，并模拟岩体在不同应力条件下的行为。Itasca FLAC3D软件被广泛用于土木工程和采矿工程以及学术研究中。

4 结束语

本文测试了开源大语言模型l13b-snoozy的性能，结果表明，该模型可以在普通CPU的计算机上运行，能够回答一般的问题，但距ChatGPT还有很大的距离。不过，由于它已经具备了GPT的基本能力，因此通过训练用户数据和微调，可使其对话性能得到进一步提高。

来源：计算岩土力学