ChatGPT和Bard之间"对话"的竞争

1 引言

OpenAI于2022年年底推出的对话机器人ChatGPT，在全球引发了巨大反响。ChatGPT集成了自然语言处理研究的所有功能，包括翻译【中英文机器翻译模型(Machine Translation)】、完形填空【完形填空---遮蔽式语言模拟(Masked Language Modeling)】、生成摘要【生成摘要(Summarization)的新方法】、问题对答【Transformers之问题对答(Question Answering)；Longformer---回答问题长文本的Transformer】、开放式文本生成【开放式文本生成(Open-Ended Text Generation)】、阅读理解【阅读理解回答问题(Question Answering)---一个更强的BERT预训练模型】等。

ChatGPT背后的机理是GPT-3.5，一个基于Google公司于2017年提出的神经元网络框架的训练模型，它的训练数据集止于2021年，《计算岩土力学》对自然语言处理的研究在2021年之前与GPT-2是同步发展的，当时的计划是产生一个类似现在ChatGPT的对话系统，区别在于我们的对话系统内容仅限于岩土工程领域，不过后来于2021年年底中断了这项研究，主要原因有两个：首先是计算机硬件限制了研究继续进行，因为一般的计算机无法进行大数据集训练，甚至即使小数据集也无法顺利进行【不得已而为之---CPU下使用gpt2-large模型进行微调训练；GeotechSet数据集在GPT2上的训练过程】；其次是GPT-3不再开源，但麻烦并不在于收费本身，而是即使付费之后由于众所周知的原因，使用起来非常不方便。

2 ChatGPT的缺陷

ChatGPT的背后是GPT-3.5，由于没有使用过GPT-3，因此没法亲身体验GPT-3是如何工作的。不过，尽管ChatGPT的呼声很高，但ChatGPT应用在学术研究领域还有许多不足之处，最大的缺陷是频繁出现内容上的错误，在专业领域仅能给出常识性的浅度回答：

相关文章，在仿真秀官网搜索：

• [测试] ChatGPT解答最基本的工程地质计算问题  
  
• Longformer模型向ChatGPT模型的进化---对答岩石边坡问题  
  
• 外行人看热闹---从岩土工程专业角度谈目前最火的ChatGPT  
  
• 与ChatGPT的深度对话---边坡稳定性分析

The following table summarizes the results of a series of studies on the effects of fracture and step-path failure on rock slopes. Table 1. Effects of fracture and step-path failure on rock slopes (in inches) 【下表总结了一系列关于断裂和阶梯式破坏对岩坡影响的研究结果。表1. 断裂和阶梯式破坏对岩坡的影响（单位：英寸)】

ChatGPT生成的文本如下：

This recent research highlights the importance of understanding the mechanisms of brittle fracture and step-path failure in both natural high-mountain and engineered rock slopes. These types of failures can have serious consequences, causing instability, landslides, and other forms of rockfall. As such, it is crucial to identify the key factors that contribute to brittle fracture and step-path failure and to develop strategies for preventing or mitigating these types of events. The research findings may have important implications for the management and design of rock slopes in a variety of contexts, including the design of infrastructure and transportation routes in mountainous areas. The study of brittle fracture and step-path failure is an ongoing field, and continued research is needed to further improve our understanding of these processes and to develop effective solutions for preventing or mitigating their impact. 

可以看出，GPT-2产生的文本象是写学术论文，而ChatGPT产生的文本更象是聊天，它故意去掉了学术论文应有的格式，如Jennings(1970)首先提出了边坡岩体阶梯式破坏的理论等。 

3 期望的Bard

有意思的是，Transformer是自然语言处理的老大Google公司提出的自然语言处理框架，但OpanAI与微软联手使用Transformer技术训练出ChatGPT，从而与Google抗衡，这让Google感到非常不爽，因此Google公司决定进行反击，即将推出它自己的对话系统Bard。Bard使用了Google公司最新开发的AI模型---LaMDA(Language Model for Dialogue Application) ，本质上来说，LaMDA仍然象Bert【BERT模型的应用回顾(阶段性总结)】和GPT-3一样，使用了Transformer技术，不过，LaMDA仅使用了解码的Transformer语言模型，它在一个包括由1.56万亿单词组成的文件和对话的文本语料库上进行预训练，然后用由人工注释的敏感性、趣味性和安全性的微调数据进行训练。Google的测试结果显示，LaMDA在趣味性方面已经超过了人类反应。

LaMDA---对话语言模型