每經(jīng)記者 蘭素英    每經(jīng)編輯 譚玉涵    

當(dāng)?shù)貢r(shí)間4月18日，Meta正式發(fā)布了外界期待已久的大語言模型Llama 3，共有80億和700億參數(shù)兩種版本，號稱是最強(qiáng)大的開源大語言模型。

Meta表示，Llama 3在多個(gè)關(guān)鍵的基準(zhǔn)測試中性能優(yōu)于業(yè)界先進(jìn)同類模型，其在代碼生成等任務(wù)上實(shí)現(xiàn)了全面領(lǐng)先，能夠進(jìn)行復(fù)雜的推理，可以更遵循指令，能夠可視化想法并解決很多微妙的問題。

在同日Youtube平臺公布的一段長達(dá)1個(gè)多小時(shí)、2萬字的深度訪談中，Meta公司首席執(zhí)行官扎克伯格分享了有關(guān)Llama 3的更多信息，以及Meta在人工智能（AI）領(lǐng)域的深入思考，包括AI助手Meta.ai的演變、未來AI技術(shù)的發(fā)展方向和開源AI的潛在風(fēng)險(xiǎn)等。

圖片來源：訪談視頻截圖

關(guān)于Llama 3模型：4050億版本預(yù)計(jì)今年晚些時(shí)候推出

Meta的Llama 3大模型不僅將作為開源軟件提供給開發(fā)者社區(qū)，還將為AI助手Meta.ai提供支持。扎克伯格在訪談中表示，“我們正在做的最重要的事情是升級模型。有了Llama 3，我們現(xiàn)在認(rèn)為Meta.ai是人們可以免費(fèi)使用的最智能的AI助手。我們還整合了Google和Bing以獲取實(shí)時(shí)知識。”

談及Llama 3，扎克伯格稱，“我們實(shí)際上訓(xùn)練了三個(gè)版本，分別是80億、700億和4050億的密集模型，其中4050億的模型仍在訓(xùn)練中。然而，對于80億和700億的模型，我對其結(jié)果感到非常興奮。它們在規(guī)模方面處于領(lǐng)先地位。”

據(jù)他介紹，這些新版本將為現(xiàn)有版本帶來多模態(tài)性、更多語言性和更大的上下文窗口。Meta希望今年晚些時(shí)候推出4050億的模型，盡管仍在訓(xùn)練中，但就目前的訓(xùn)練水平而言，它已經(jīng)達(dá)到約85 MMLU（注：MMLU意為“多語言理解均值”，是一項(xiàng)用于衡量大語言模型性能的指標(biāo)），預(yù)計(jì)其將在許多基準(zhǔn)測試中擁有領(lǐng)先的基準(zhǔn)。700億的模型大約是82 MMLU，在數(shù)學(xué)和推理方面擁有領(lǐng)先的分?jǐn)?shù)。

關(guān)于AI模型訓(xùn)練：資本之外，能源將成為限制

談及AI大模型的訓(xùn)練，此前有報(bào)道稱，Meta計(jì)劃在今年年底前采購35萬個(gè)英偉達(dá)Nvidia GPU。

對此，扎克伯格在訪談中透露，“那是我們的整個(gè)艦隊(duì)。我們建立了24000個(gè)集群，這些集群是我們用于訓(xùn)練大型模型的單個(gè)集群。由于我們服務(wù)的社區(qū)規(guī)模龐大，我們所需的推理計(jì)算與訓(xùn)練的比率可能比大多數(shù)其他做這些事情的公司高得多。”

他同時(shí)指出，大型AI模型的訓(xùn)練可能會面臨資本和能源限制等問題。“我認(rèn)為在我們達(dá)到這一點(diǎn)（指的是資本投入不再值得）之前，你會遇到能源限制。因?yàn)槲艺J(rèn)為還沒有人建造過千兆瓦的單一訓(xùn)練集群。”未來，也許獲得能源許可就像一個(gè)受到嚴(yán)格監(jiān)管的政府職能。

圖片來源：訪談視頻截圖

關(guān)于AI未來：多模態(tài)和情感理解至關(guān)重要

當(dāng)被問及Llama版本如Llama 10最終是否會強(qiáng)大到取代程序員時(shí)，扎克伯格說：“我不確定我們是在取代人，還是在為人們提供工具來做更多的事情。但是，我并不認(rèn)為人類存在一個(gè)單一的智力門檻，因?yàn)槿藗儞碛胁煌募寄?。在某種程度上，我認(rèn)為人工智能可能會在大多數(shù)方面超越人類，這取決于模型的強(qiáng)大程度。但我認(rèn)為這是一個(gè)漸進(jìn)的過程。我并不認(rèn)為AGI（通用人工智能）是一蹴而就的。我認(rèn)為你基本上是在添加不同的功能。”

他還特別提到了多模態(tài)性的重要性。“最初是照片、圖像和文本，但最終是視頻。”他同時(shí)稱，“我還沒有看到業(yè)內(nèi)其他人關(guān)注的一點(diǎn)就是情感理解。”Meta正在努力提升AI的推理能力和記憶能力，以應(yīng)對更復(fù)雜的用戶需求。

至于未來幾十年AI的發(fā)展，扎克伯格認(rèn)為，人工智能的出現(xiàn)與人類進(jìn)化的重要性相當(dāng)。AI將改變我們的工作方式，并為人們提供所有創(chuàng)造性的工具來做不同的事情，將真正使人們能夠做他們更想做的事情。

關(guān)于開源：會開源100億美元模型，但不會開源產(chǎn)品

談及廣泛使用AI可能帶來的問題時(shí)，扎克伯格說：“我想到的一個(gè)安全類比是，并不只是人工智能，很多不同的東西都有安全漏洞。”

那社會應(yīng)該如何應(yīng)對這個(gè)問題呢？他認(rèn)為，開源軟件是解決此問題的一個(gè)重要部分，它使得當(dāng)對軟件進(jìn)行改進(jìn)時(shí)，它不會僅僅局限于一家公司的產(chǎn)品，而是可以廣泛部署到許多不同的系統(tǒng)中。而且這些東西的工作原理是有標(biāo)準(zhǔn)的，世界有可能在短時(shí)間內(nèi)共同升級。在他看來，這種情況比一個(gè)人工智能更集中的世界要健康得多。

在訪談中，他也坦承，AI也可能帶來風(fēng)險(xiǎn)。“我認(rèn)為緩解這種情況的最佳方法可能是擁有優(yōu)秀的開源人工智能，使其成為標(biāo)準(zhǔn)。在很多方面，它可以成為領(lǐng)導(dǎo)者。這樣一來，它就確保了這是一個(gè)更加公平和平衡的競爭環(huán)境。”

他強(qiáng)調(diào)，“基本上，我通常非常傾向于認(rèn)為開源對社區(qū)和我們都有好處，因?yàn)槲覀儠膭?chuàng)新中受益。但如果在某個(gè)時(shí)候，某樣?xùn)|西的能力發(fā)生了一些質(zhì)的變化，我們覺得開源是不負(fù)責(zé)任的，那么我們就不會開源。”

在被問及是否會開源100億美元的模型時(shí)，他表示，只要對他們有幫助，就會開源。然而，他同時(shí)也提到，“我們在開源軟件方面有著悠久的歷史，但我們不傾向于開源我們的產(chǎn)品，我們不會將Instagram的代碼開源。我們采用了大量的基礎(chǔ)設(shè)施，并將其開源。在我們的歷史上，最大的項(xiàng)目可能就是開放計(jì)算項(xiàng)目，我們將所有的服務(wù)器、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心的設(shè)計(jì)開源。這個(gè)項(xiàng)目最終證明非常有價(jià)值，因?yàn)殡m然很多人都可以設(shè)計(jì)服務(wù)器，但現(xiàn)在行業(yè)已經(jīng)對我們的設(shè)計(jì)進(jìn)行了標(biāo)準(zhǔn)化。這意味著供應(yīng)鏈基本上都是圍繞我們的設(shè)計(jì)建立的。隨著數(shù)量的增加，對每個(gè)人來說都更便宜了，為我們節(jié)省了數(shù)十億美元。”

封面圖片來源：Youtube訪談視頻截圖