人工智能（AI）是當(dāng)今科技領(lǐng)域的熱門話題，它正在改變著我們的生活、工作和娛樂方式。而在人工智能的發(fā)展過程中，有一種技術(shù)尤為引人注目，那就是大語言模型（Large Language Model，LLM）。大語言模型其實(shí)很早就開始研究，隨著ChatGPT的出圈進(jìn)入公眾視野。

大語言模型發(fā)展歷史[1],1億參數(shù)認(rèn)為是大語言模型的分界點(diǎn)

大語言模型是機(jī)器深度學(xué)習(xí)的一種算法，可以通過大規(guī)模數(shù)據(jù)集訓(xùn)練來學(xué)習(xí)識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。研究人員估計(jì)，人腦平均包含860 億個神經(jīng)元和 100 萬億個突觸。為了更好的模擬人類大腦，大語言模型通過增加模型參數(shù)（例如GPT-3的參數(shù)1750億（175B）），來模擬人腦。那么有個引發(fā)的問題，人腦有100 萬億個突觸，如果模型能到100萬億參數(shù)是不是就接近真實(shí)人腦了？現(xiàn)在大模型方向就是走的這條路，以現(xiàn)在計(jì)算機(jī)的發(fā)展速度，實(shí)現(xiàn)起來也不是不可能。網(wǎng)上傳說的GPT-4有100萬億參數(shù)的謠言也就是這么出來的，正好對應(yīng)100萬億人腦突觸。

我們的大腦是一個了不起的器官，它經(jīng)過數(shù)百萬年的進(jìn)化而產(chǎn)生，而深度學(xué)習(xí)模型僅有幾十年的歷史，通過簡單的堆參數(shù)的方式能否真正找到通向真理的道路？量變真的能夠引起質(zhì)變？答案只有交給未來去回答。

大語言模型的優(yōu)點(diǎn)不再論述，這里只講一些弊端。

1. 計(jì)算成本高。大語言模型需要消耗大量的計(jì)算資源和能源來進(jìn)行訓(xùn)練和部署，這不僅增加了經(jīng)濟(jì)成本，也對環(huán)境造成了一定的影響。

訓(xùn)練大語言模型的耗電量和碳排放

例如GPT-3訓(xùn)練一次需要耗電1287MWh即128.7萬度電（美國電價0.15美分/度），大概訓(xùn)練一次的電費(fèi)成本約20萬美元，即約120萬人民幣（很多媒體錯誤引用為120萬美元）。ChatGPT訓(xùn)練了10輪，僅電費(fèi)成本就需要花費(fèi)1200萬人民幣。

2. 泛化能力差。大語言模型雖然可以在多個任務(wù)上表現(xiàn)出色，但是它們也容易受到輸入的影響而輸出不合理或者錯誤的內(nèi)容。例如，如果給 ChatGPT 輸入一個不恰當(dāng)或者誤導(dǎo)性的提示（Prompt），它可能會產(chǎn)生錯誤答案，而不是事實(shí)結(jié)果，你很輕松就能改變它的觀點(diǎn)。

3.可解釋性低。大語言模型由于參數(shù)眾多，內(nèi)部機(jī)制復(fù)雜，很難理解它們是如何工作的，以及它們是基于什么樣的邏輯和知識來生成內(nèi)容的。例如對于AI生成的內(nèi)容，我們無法知道它是否正確，需要自己重新判斷。用過ChatGPT的人就會知道，對于一些常識問題一本正經(jīng)的胡說八道，你指出來他會說：非常抱歉，謝謝你的指出，然后修改正確的回答。

在 AI 技術(shù)圈，關(guān)于 LLM 和小模型的討論在此之前已經(jīng)持續(xù)了不短的時間，處于不同生態(tài)位置和產(chǎn)業(yè)環(huán)節(jié)的人都有表達(dá)自己的觀點(diǎn)。社區(qū)和中小公司主要是小模型深度學(xué)習(xí)，并根據(jù)結(jié)果嘗試反饋優(yōu)化，因?yàn)槌袚?dān)不起訓(xùn)練費(fèi)用和GPU租賃費(fèi)。而對于大型公司，多是處于商業(yè)利益上的考量，大語言模型下，10000塊A100-80G被認(rèn)為是算力的入門門檻。按照一塊A100卡1萬美元計(jì)算，部署算力平臺的成本為1億美元，只有少數(shù)公司能夠承擔(dān)，這就是大公司技術(shù)的護(hù)城河。所以目前國外大模型基本是谷歌，微軟，Meta（Facebook）三家。

顯卡生產(chǎn)企業(yè)英偉達(dá)生產(chǎn)A100/H100，當(dāng)然站在支持的這方，今年3月即將舉行的GTC大會請了阿爾法go的創(chuàng)始人和OpenAI的創(chuàng)始人助陣，暢聊大語言模型，深度學(xué)習(xí)，A100/H100勢必也有好的銷量。

量變能否引起質(zhì)變，更多的參數(shù)更大的神經(jīng)網(wǎng)絡(luò)是否會越來越像人類大腦，誰也不知道，這是一條誰也沒走過的道路，現(xiàn)在邁出了第一步，是正確的道路還是死胡同，只有讓未來回答。

正如當(dāng)有記者問道：“GPT-4 是否會有類似人類推理或常識？”

OpenAI創(chuàng)始人Sam Altman表示他們也不確定，但仍然保持“樂觀”心態(tài)。

注：文章及圖片轉(zhuǎn)載自網(wǎng)絡(luò)，如有侵權(quán)請聯(lián)系刪除