大模型行業(yè)，根本沒有什么“真”開源？
最近一段時(shí)間開源大模型市場非常熱鬧，先是蘋果開源了70億參數(shù)小模型DCLM，然后是重量級(jí)的Meta的Llama 3.1 和Mistral Large 2相繼開源，在多項(xiàng)基準(zhǔn)測試中Llama 3.1超過了閉源SOTA模型。
不過開源派和閉源派之間的爭論并沒有停下來的跡象。
一邊是Meta在Llama 3.1發(fā)布后表示：“現(xiàn)在，我們正在迎來一個(gè)開源引領(lǐng)的新時(shí)代。”另一邊是Sam Altman在《華盛頓郵報(bào)》撰文，直接把開源閉源的矛盾上升到國家和意識(shí)形態(tài)層面。
在前段時(shí)間的世界人工智能大會(huì)上，李彥宏直言“開源其實(shí)是一種智商稅”，因?yàn)殚]源模型明明性能強(qiáng)，推理成本更低，再次引發(fā)討論。
隨后，傅盛也發(fā)表了他的看法，他認(rèn)為開源和閉源這兩個(gè)陣營是彼此共同競爭，共同發(fā)展。并對“開源其實(shí)是一種智商稅”這一觀點(diǎn)進(jìn)行了反駁：“開源大語言模型是免費(fèi)的，他怎么來的智商稅呢，誰在收稅？”，“如果今天企業(yè)用付費(fèi)閉源大語言模型，那才叫'智商稅'，尤其是收很高的模型授權(quán)費(fèi)、API費(fèi)用，一年花了數(shù)百上千萬，最后買回去當(dāng)個(gè)擺設(shè)，甚至員工根本用不起來（模型）。”
這場爭論的核心涉及到技術(shù)發(fā)展的方向和模式，反映了不同利益相關(guān)者的觀點(diǎn)和立場，在我們談?wù)摯笳Z言模型的開源和閉源之前，需要厘清先“開源”和“閉源”這兩個(gè)基本概念。
“開源”一詞源自軟件領(lǐng)域，指在軟件開發(fā)過程中公開其源代碼，允許任何人查看、修改和分發(fā)。開源軟件的開發(fā)通常遵循互惠合作和同儕生產(chǎn)的原則，促進(jìn)了生產(chǎn)模塊、通信管道和交互社區(qū)的改進(jìn)，典型代表包括Linux，Mozilla Firefox。
閉源軟件（專有軟件）由于商業(yè)或其他原因，不公開源代碼，只提供計(jì)算機(jī)可讀的程序（如二進(jìn)制格式）。源代碼僅由開發(fā)者掌握和控制。典型代表包括Windows，安卓。
開源是一種軟件開發(fā)模式，基于開放、共享和協(xié)作，鼓勵(lì)大家共同參與軟件的開發(fā)和改進(jìn)，推動(dòng)技術(shù)的不斷進(jìn)步和廣泛應(yīng)用。
選擇閉源開發(fā)的軟件更有可能成為一個(gè)穩(wěn)定、專注的產(chǎn)品，但是閉源軟件通常需要花錢，且如果它有任何錯(cuò)誤或缺少功能，只能等待開放商來解決問題。
至于什么是開源大模型，業(yè)界并沒有像開源軟件一樣達(dá)成一個(gè)明確的共識(shí)。
大語言模型的開源和軟件開源在理念上是相似的，都是基于開放、共享和協(xié)作，鼓勵(lì)社區(qū)共同參與開發(fā)和改進(jìn)，推動(dòng)技術(shù)進(jìn)步并提高透明性。
然而，在實(shí)現(xiàn)和需求上有顯著區(qū)別。
軟件開源主要針對應(yīng)用程序和工具，開源的資源需求較低，而大語言模型的開源則涉及大量計(jì)算資源和高質(zhì)量的數(shù)據(jù)，并且可能有更多使用限制。因此，雖然兩者的開源都旨在促進(jìn)創(chuàng)新和技術(shù)傳播，但大語言模型開源面臨更多的復(fù)雜性，社區(qū)貢獻(xiàn)形式也有所不同。
李彥宏也強(qiáng)調(diào)了兩者的區(qū)別，模型開源不等于代碼開源：“模型開源只能拿到一堆參數(shù)，還要再做SFT（監(jiān)督微調(diào)）、安全對齊，即使是拿到對應(yīng)源代碼，也不知道是用了多少比例、什么比例的數(shù)據(jù)去訓(xùn)練這些參數(shù)，無法做到眾人拾柴火焰高，拿到這些東西，并不能讓你站在巨人的肩膀上迭代開發(fā)。”
大語言模型的全流程開源包括將模型開發(fā)的整個(gè)過程，從數(shù)據(jù)收集、模型設(shè)計(jì)、訓(xùn)練到部署，所有環(huán)節(jié)都公開透明。這種做法不僅包括數(shù)據(jù)集的公開和模型架構(gòu)的開放，還涵蓋了訓(xùn)練過程的代碼共享和預(yù)訓(xùn)練模型權(quán)重的發(fā)布。
過去一年，大語言模型的數(shù)量大幅增加，許多都聲稱是開源的，但它們真的有多開放呢？
荷蘭拉德堡德大學(xué)的人工智能研究學(xué)者Andreas Liesenfeld和計(jì)算語言學(xué)家Mark Dingemanse也發(fā)現(xiàn)，雖然“開源”一詞被廣泛使用，但許多模型最多只是“開放權(quán)重”，關(guān)于系統(tǒng)構(gòu)建的其他大多數(shù)方面都隱藏了起來。
比如Meta和微軟等科技雖將其大語言模型標(biāo)榜為“開源”，卻并未公開底層技術(shù)相關(guān)的重要信息。而讓他們意外的是，資源更少的AI企業(yè)和機(jī)構(gòu)的表現(xiàn)更令人稱贊。
該研究團(tuán)隊(duì)分析了一系列熱門“開源”大語言模型項(xiàng)目，從代碼、數(shù)據(jù)、權(quán)重、API到文檔等多個(gè)方面評估其實(shí)際開放程度。研究還將OpenAI的ChatGPT作為閉源的參考點(diǎn)，凸顯了“開源”項(xiàng)目的真實(shí)狀況。
?為開放，~為部分開放，X為封閉
結(jié)果顯示，項(xiàng)目間差異顯著，根據(jù)這個(gè)排行榜，Allen Institute for AI的OLMo是最開放的開源模型，其次是BigScience的BloomZ，兩者都是由非營利組織開發(fā)。
論文稱，Meta的Llama以及 Google DeepMind的Gemma 雖然自稱開源或開放，但實(shí)際上只是開放權(quán)重，外部研究人員可以訪問和使用預(yù)訓(xùn)練模型，但無法檢查或定制模型，也不知道模型如何針對特定任務(wù)進(jìn)行微調(diào)。
最近LLaMA 3和Mistral Large 2的發(fā)布引起了廣泛關(guān)注。在模型在開放性方面，LLaMA 3公開了模型權(quán)重，用戶可以訪問和使用這些預(yù)訓(xùn)練和指令微調(diào)后的模型權(quán)重，此外Meta還提供了一些基礎(chǔ)代碼，用于模型的預(yù)訓(xùn)練和指令微調(diào)，但并未提供完整的訓(xùn)練代碼，LLaMA 3 的訓(xùn)練數(shù)據(jù)也并未公開。不過這次LMeta帶來了關(guān)于LLaMA 3.1 405B 的一份93頁的技術(shù)報(bào)告。
Mistral Large 2的情況類似，在模型權(quán)重和 API 方面保持了較高的開放度，但在完整代碼和訓(xùn)練數(shù)據(jù)方面的開放程度較低，采用了一種平衡商業(yè)利益和開放性的策略，允許研究使用但對商業(yè)使用有所限制。
谷歌表示，該公司在描述模型時(shí)“在語言上非常精確”，他們將Gemma稱為開放而非開源。“現(xiàn)有的開源概念并不總能直接應(yīng)用于 AI 系統(tǒng)，”
這項(xiàng)研究的一個(gè)重要背景是歐盟的人工智能法案，該法案生效時(shí)，對歸類為開放的模型實(shí)施較寬松的監(jiān)管，因此關(guān)于開源的定義可能會(huì)變得更加重要。
研究人員表示，創(chuàng)新的唯一途徑是通過調(diào)整模型，為此需要足夠的信息來構(gòu)建自己的版本。不僅如此，模型還必須接受審查，例如，一個(gè)模型在大量測試樣本上進(jìn)行了訓(xùn)練，那么它通過特定測試可能并不算一項(xiàng)成就。
他們也對如此多的開源替代方案的出現(xiàn)感到令人欣喜，ChatGPT非常受歡迎，以至于很容易讓人們忘記對其訓(xùn)練數(shù)據(jù)或其他幕后手段一無所知。對于那些希望更好地了解模型或基于構(gòu)建應(yīng)用的人來說，這是一個(gè)隱患，而開源替代方案使得關(guān)鍵的基礎(chǔ)研究成為可能。
硅星人也對國內(nèi)部分開源大語言模型的開源情況進(jìn)行了統(tǒng)計(jì)：
從表中我們可以看到，和海外的情況類似，開源較為徹底的模型基本是由研究機(jī)構(gòu)主導(dǎo)，這主要是因?yàn)檠芯繖C(jī)構(gòu)的目標(biāo)是推動(dòng)科研進(jìn)步和行業(yè)發(fā)展，更傾向于開放其研究成果。
而商業(yè)公司則利用其資源優(yōu)勢，開發(fā)出更為強(qiáng)大的模型，并通過適當(dāng)?shù)拈_源策略在競爭中獲得優(yōu)勢。
從GPT-3到BERT以來，開源為大模型生態(tài)系統(tǒng)帶來了重要的推動(dòng)力。
通過公開其架構(gòu)和訓(xùn)練方法，研究人員和開發(fā)者可以在這些基礎(chǔ)上進(jìn)行進(jìn)一步的探索和改進(jìn)，催生出更多前沿的技術(shù)和應(yīng)用。
開源大模型的出現(xiàn)顯著降低了開發(fā)的門檻，開發(fā)者和中小企業(yè)能夠利用這些先進(jìn)的AI技術(shù)，而不必從零開始構(gòu)建模型，從而節(jié)省了大量的時(shí)間和資源。這使得更多創(chuàng)新項(xiàng)目和產(chǎn)品得以快速落地，推動(dòng)了整個(gè)行業(yè)的發(fā)展。開發(fā)者們在開源平臺(tái)上積極分享優(yōu)化方法和應(yīng)用案例，也促進(jìn)了技術(shù)成熟和應(yīng)用。
對教育和科研而言，開源大語言模型提供了寶貴資源。學(xué)生和新手開發(fā)者通過研究和使用這些模型，能快速掌握先進(jìn)AI技術(shù)，縮短學(xué)習(xí)曲線，為行業(yè)輸送新鮮血液。
然而，大語言模型的開放性并非簡單的二元特性。基于Transformer的系統(tǒng)架構(gòu)及其訓(xùn)練過程極為復(fù)雜，難以簡單歸類為開放或封閉。開源大模型并非一個(gè)簡單的標(biāo)簽，更像一個(gè)光譜，從完全開源到部分開源，程度各異。
大語言模型的開源是一項(xiàng)復(fù)雜而細(xì)致的工作，并非所有模型都必須開源。
更不應(yīng)以“道德綁架”的方式要求全面開源，因?yàn)檫@涉及大量技術(shù)、資源和安全考量，需要平衡開放與安全、創(chuàng)新與責(zé)任。正如科技領(lǐng)域的其他方面一樣，多元化的貢獻(xiàn)方式才能構(gòu)建一個(gè)更豐富的技術(shù)生態(tài)系統(tǒng)。
開源和閉源模型的關(guān)系或許可以類比于軟件行業(yè)中開源和閉源軟件的共存。
開源模型促進(jìn)了技術(shù)的廣泛傳播和創(chuàng)新，為研究者和企業(yè)提供了更多可能性，而閉源模型則推動(dòng)著整個(gè)行業(yè)的標(biāo)準(zhǔn)的提升。兩者的良性競爭激發(fā)了持續(xù)改進(jìn)的動(dòng)力，也為用戶提供了多樣化的選擇。
正如開源和專有軟件共同塑造了今天的軟件生態(tài)，開源和閉源大模型之間也并非二元對立，兩者的并存發(fā)展是推動(dòng)AI技術(shù)不斷進(jìn)步、滿足不同應(yīng)用場景需求的重要?jiǎng)恿ΑＷ罱K，用戶和市場會(huì)作出適合自己的選擇。
本文鏈接：http://knowith.com/news-23-478.html大模型行業(yè)，根本沒有什么“真”開源？
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇：江浙滬，也有“白菜房”
