提高8~10倍，联合量化和GPU技术加速本地大语言模型的响应速度 | 地质强度指数GSI

12天前浏览756

摘要

本文探讨了大型语言模型在普通机器上运行的挑战，提出量化技术和GPU加速作为解决方案。量化技术通过减小模型大小提高运行效率，结合GPU技术显著提升响应速度。文章还介绍了利用量化模型进行地质强度指数确定的方法，尽管输出结果需人工校正，但量化和GPU技术对提高模型运行效率具有重要意义，同时指出了实际应用中的局限性。

正文

1. 引言

顺利运行大语言模型需要足够大的内存和显存以及高性能的CPU，为了在普通机器上能运行大语言模型，可以使用小型的模型，如近期微软推出的phi3-4B模型，但小模型的准确度相对要差一些。我们目前的机器配置能够非常流畅地运行8B以下的模型，但运行llama3-70B模型显得有点儿吃力【大语言模型比较---以Fracman为例】。

本文介绍了大语言模型的量化技术，当这种技术与GPU相结合时，响应速度变得非常快，测试结果显示，使用CPU运行时每秒种最多能处理5个token，而使用GPU时可以达到每秒钟超过40个token。下图所示的是《计算岩土力学》目前正在使用的量化模型和非量化模型。

2. 模型量化

模型量化(Model Quantization)是一种用于通过修改大型语言模型的权重精度来减小其尺寸的技术。经验结果表明，虽然与神经网络训练和推理相关的一些操作必须利用高精度，但在某些情况下，可以使用明显较低的精度来减小模型的整体尺寸，从而允许配置较低的硬件能够运行大模型，但具有可接受的功能和准确性。目前普遍使用的方法是把浮点数变成整数(4-bit)，较大的量化模型可以优于较小的非量化模型。

3. GPU加速

尽管一些人声称在纯CPU上也可以运行大语言模型，但实际上响应速度非常慢，要流畅地运行大语言模型，必须充分发挥GPU的能力，我们目前使用的是一种称之为 Vulkan GPU加速技术。Vulkan 是一种高性能的底层计算 API，旨在提供对 GPU 硬件的直接访问，最大限度地发挥高效并行处理的潜力。与 TensorFlow 或 PyTorch 等抽象硬件细节的高级机器学习库相比，Vulkan 提供了对 GPU 的细微控制。英伟达的CUDA 等专有解决方案仅限于特定硬件，而 Vulkan 的平台无关设计确保了在各种操作系统和硬件平台上的灵活性，这种更广泛的兼容性使得 Vulkan 成为在不同硬件环境中部署机器学习模型的最佳选择。

4. GSI 测试

在本次测试中，我们使用了量化的大语言模型llama3-instruct，这个模型有80亿参数，是llama3-8B的量化版本，文件尺寸4.3G, 本地资料选用《计算岩土力学》公众号的所有文章，测试的内容为Geological Strength Index (GSI)【地质强度指数GSI(Geological Strength Index)的确定方法】。

问题：如何确定GSI的值(How to determine Geological Strength Index (GSI)? )

回答：这个回答的响应速度达到每秒40个token，几乎在瞬间完成。

地质强度指数 (GSI) 是对岩体工程特性的定量测量，可用于评估岩体的稳定性和预测潜在的崩塌。下面介绍如何确定 GSI：

4.1 方法

1. 岩石质量分级：根据以下标准评定 0-15 级：

* 未风化岩石 (如花岗岩)：10-15

* 风化或改变的岩石：5-9

* 胶结不良的沉积岩：2-4

* 高度风化或断裂的岩石：1-1.5

2. 节理条件：用 0-10 分来评估节理条件：

* 非常紧密的节理 (例如，<1mm)：8-10

* 紧密到中等紧密的节理 (例如，1-3mm)：6-7

* 中度松散至松散的节理 (如 3-5mm)：4-5

* 高度断裂或风化的岩石：0-2

3. 蚀变：用 0-10 来评估蚀变程度：

* 未改变的岩石：8-10

* 轻微蚀变 (如少量粘土)：6-7

* 中度蚀变 (如含有大量粘土或碳酸盐)：4-5

* 高度蚀变 (如强烈风化、强烈蚀变矿物)：0-2

4.2 GSI 计算

1. 计算岩石质量等级 (RMR)，取步骤 1 和 3 中的平均值。

2. 使用步骤 2 计算节理条件指数 (JCI)。

3. 使用以下公式计算 GSI：

GSI = RMR + JCI

4.3 解释

1. GSI 值低 (<20)：岩体质量差，破坏风险高

2. 中等 GSI 值 (20-40)：岩体质量一般，破坏风险中等

3. 高 GSI 值 (>40)：岩体质量好，破坏风险低

请注意，这是一种简化方法，具体项目或应用可能需要更详细的评估。Hoek 等人 (2013)的原始论文提供了更多关于使用 GSI 的局限性和不确定性的信息。

4.4 参考

[1] Hoek, E., Carter, T.G., Diederichs, M.S. (2013). Quantification of the Geological Strength Index Chart.

[2] Marinos, P. G., Marinos, V., & Hoek, E. (2007). The Geological Strength Index (GSI): A Characterization Tool For Assessing Engineering Properties For Rock Masses.

[3] Marinos, V., Marinos, P. G., & Hoek, E. (2005). The geological strength index: applications and limitations.

这三篇参考源于以下的三篇公众号文章：

IMASS---FLAC3D和3DEC新的本构模型(3)
地质强度指数GSI(Geological Strength Index)的确定方法
蛇纹岩(Sheared Serpentinite)的岩体参数调查

5. 结束语

本文采用量化和GPU双重技术极大地加速了本地大语言模型的响应速度，整体响应速度是原来的8~10倍，并使用GSI作为例子，对《计算岩土力学》公众号的文章进行了测试。必须意识到，尽管回答总体上满意，但这个回答还存在许多"幻觉"，需要人工进行改正。它的最大意义是给出了一些相关术语和精准的参考以供我们进一步探索和研究。

来源：计算岩土力学