整理 | 明明如月 責編 | 屠敏
出品 | CSDN（ID：CSDNnews）
ChatGPT 風靡全球，引得無數大廠競折腰。在過去六個月間，究竟是什么讓 ChatGPT 于一夕之間爆紅？其背后蘊藏著哪些技術實現？如果想要復刻 ChatGPT 的成功，又需要滿足哪些條件？中國有機會做出自己的 ChatGPT 嗎？我們距離通用人工智能（AGI）還有多遠？
懷揣著種種疑問，在最新的一期《開談》欄目中，我們邀請到了長期耕耘于知識圖譜、自然語言領域的360人工智能算法的專家劉煥勇，同濟大學百人計劃專家、特聘研究員、博士生導師王昊奮，達觀數據副總裁、高級工程師王文廣，齊聚線上，圍繞 ChatGPT 這一現象級應用，進行了深入探討，也希望通過這一場酣暢淋漓的分享，為身處在 AI 新時代中的工程師、開發者帶來一些思考。
CSDN 付費下載自視覺中國
ChatGPT 為什么會引起轟動？
王文廣：ChatGPT 是去年11月底發布的，發布之后引起了“蝴蝶效應”，在人工智能領域激起千層浪，幾乎每個行業都在談論 ChatGPT。那么，它在技術和應用上到底踩中了什么節點，能夠讓全世界各領域的人為之興奮。不管是大模型還是聊天機器人都不是新的東西，那么 ChatGPT 到底有什么過人之處，能夠使它在這個節點爆發？
王昊奮：GPT 大火的現象類似于2016年的 AlphaGo。這次的 GPT 能夠將過去幾年的一些冷淡或進展性較弱的工作推向新的高度，成為人們討論的熱門話題。特別是大模型，這里特指一些預訓練模型，包括語言模型、圖像模型和多模態模型等，一直在持續推進。對話系統也不斷發展，從早期的個人助手助理，到問答引擎，再到聊天機器人和智能音箱，也在持續發展。
為什么這次 ChatGPT 能夠引起如此大的關注？其中原因有幾個。
首先，它的能力非常強，之前我們都是在垂直領域內進行對話，而在開放領域內表現不佳。之前的模型理解能力存在很大局限性，一個特別明顯的問題就是，問著問著就會回答說“我不懂你在說什么” 或者 “我不知道什么意思”。ChatGPT 在回復過程中，它的回復內容非常長且多樣化，甚至可以拒絕回答一些敏感話題。它能夠根據人的干預和反饋進行優化動態調整回復內容，這使得用戶體驗得到了很大的提升。
各行各業都在談論 ChatGPT 的原因有很多：首先，GPT 具有類似于一個行走的百科全書的特點，對各行各業的知識有一定的了解。此外，除了能夠做簡單的問答聊天外，GPT 還可以完成自然語言任務以及生成代碼等工作。它開啟了一個 AIGC 新時代。AIGC 就是讓人工智能來生成一些內容。之前可以用文本生成圖片，現在也可以用文本生成文本、用文本生成代碼或其他任意形式的數據。
GPT 的成功也得益于大量的數據和預訓練，這使得它的性能得到了大幅提升，參數量呈現出指數級的增長。此外，大模型達到一定規模之后，從量變達到質變，產生涌現現象也使得 GPT 具有了復雜推理和新任務處理的能力。這些能力使得 GPT 可以在少量示例下完成任務，類似于人類的舉一反三的能力，對應到 In-Context Learning 的能力，甚至無樣本的直接開掛能力。
GPT 引入了大規模強化學習，使得它可以與人的價值觀和偏好進行對齊，進一步提升了生成的質量和多樣性。從而能夠達到一個至少初步看來，可以使用的效果。這是 GPT 能夠成功的技術方面的原因。
營銷也是 GPT 模型引起轟動的重要原因之一。首先，OpenAI 本身非常善于營銷，像 Sam Altman 等人都在這方面做得非常出色。在這個過程中，他們非常了解互聯網上存在的饑渴營銷方式，這包括微軟 Bing 的 waiting list （候補名單）策略，這些策略在很多方面都能夠讓用戶產生期望感。其次，GPT 模型可以通過收集用戶的提問，以一種 prompt 的提示形式來進一步優化模型和發現新的場景，從而進一步提高運營效率。這種策略可以形成一個類似于互聯網的部署飛輪，從而使得 GPT 模型可以快速吸引更多的用戶，形成更多的線上真實情況和輸入數據，進一步拉大與后來者的差距，這與谷歌在搜索引擎領域的成功有著相似之處。GPT 模型還有其他技術方面的優勢，具體內容可以進一步探討。
劉煥勇：我認為 ChatGPT 之所以能夠引起轟動，主要有六個方面的原因：
? 第一，GPT 已經完全超越了 UIE（信息抽取的大一統模型）的范疇，真正實現了以深度學習的方式將多個模型大一統。對于工業界的落地應用而言，這是一個重大的突破。在使用 GPT 之前，曾使用過一種很火的叫 UIE 的工具，該工具將多個任務處理為一個統一的處理方式。然而，GPT 的出現將這種處理方式擴展到了一個更高的層面，成為了一個“全能”的工具，可以用于編寫代碼、發送電子郵件、制作表格、對話等等，甚至可以解決數學問題和編寫公式。
? 第二，GPT 是從自然語言處理 (NLP）領域發展而來，實現了從垂直領域到開放領域的轉變，開放期域需要標注很多語料去做，現在我們給 ChatGPT 少量的 promot 它就能做得很好，對于企業或個人在開放領域的落地應用具有推動作用，能夠節約成本，尤其是大家比較關注的標注成本。
? 第三，GPT 能夠以問答（QA）的方式進行對話，回答流暢自然，這主要得益于 GPT 對上下文的管理。在使用中我們發現，它上下文特別流暢，它在理解語境和上下文刻畫方面做得非常好。甚至你調戲 ChatGPT 時，你說它錯了，它不但不認為自己錯了，還會為自己辯解，這其實說明它已經具備一定的思辨能力。
? 第四，GPT 預示了生成模型的大爆發時代已經來臨，它已經能夠解決許多任務。
? 第五，GPT 實現了更好地與人類的互動，有優點類似于馬斯克的機器人那種更好地和人類互動的反饋。
? 第六，從使用者的角度來看 ChatGPT 能夠打動用戶的是它實現了從企業到個人助手的轉變，ChatGPT 可以作為助手解決用戶的問題。這種平民化的服務吸引了許多人，即使在社區中，許多人的家人也在使用 ChatGPT 來解決問題。
ChatGPT 會不會產生自我意識？
王文廣：在這種趨勢下，ChatGPT 是否會產生自我意識？
劉煥勇：關于意識這個問題，有一篇來自一個國外的學術機構的很火的文章。該文章認為，語言模型已經具備了意識。
但是，在回答這個問題之前，我們需要先定義什么是意識，對于人而言，它可以感知周圍的事物并進行思考。然而，像這種語言模型，雖然在現象級的意識表現上接近，但從本質上來說，它只是一個模仿人類語言的模型。
在生產過程中，它只是在根據給定的語料逐詞生成文本。雖然它內部使用了技術搜索算法，但它仍然停留在語言概率性問題的層面。因此，與我們真正意義上的意識相比，它仍有很大的差距。
王昊奮：首先，關于“意識”，行業并沒有一個明確定義，因為這個問題涉及到多個學科的交叉。
目前，人工智能是以數據驅動為主的，而深度學習則是當前人工智能時代的主要技術。除此之外，神經科學和認知科學等學科也在探討意識的機理和基礎理論，但是實踐和實驗遠遠領先于理論，因此我們看到的更多是現象。雖然我們不能下結論說這些現象就代表了 ChatGPT 已經具有意識，但是對于探索意識這個問題仍然非常有意義。
在人工智能方面，即使是無監督學習也可能引發某種形式的智能體或觸發意識的迸發，從而實現通用人工智能（AGI）。對于大型語言模型的出現，它的基礎是簡單的自監督任務，通過預測下一個 token 或者下一個詞的方式來不斷地進行自回歸模型訓練。這種模型可以從互聯網上獲得大量的語料庫，包括各種代碼。這種簡單統一的自監督范式使得這個模型可以完成大量數據的訓練，這是向前邁出的一步，相比之前非常依賴監督的技術來說進步非常顯著。
其次，需要探討意識是怎樣形成的，GPT 里面用的是 alignment，這就用到了大規模的強化學習，包括本身的獎勵評分和策略優化的算法。如果大家有機會用到 New Bing 你就會發現它在所謂的觀察方面更加出色。無監督學習或自監督學習，打下了很強的基礎，強化學習面對外部環境的反饋，和人交互的時候，更加擬人化，并形成各種人設和表現。這是因為它具有上下文理解的能力，可以刻畫非常長距離的上下文。
在這個過程中，GPT 模型的變化會隨著不同的輸入和反饋而發生變化。從觀察來看，它是一個無監督或自監督的基礎基座，加上強化學習優化后好像具有了一定的意識。但是，這種意識是如何形成的還需要進一步研究，需要腦科學和其他科學家的幫助來解讀和揭示其背后的真正可解釋。與此同時，GPT 模型基于2017年谷歌的 “Attention is all you need” 的 Transformer 模型，其多頭自注意機制和跨層協同對應到歸納、復制、挖掘各種模式、改寫等能力，這些能力可能讓其產生類似于涌現的意識。但目前這方面的研究還相對初期，需要更多地探究和解釋。
因此，我們還需要更多的研究來了解什么是意識，以及 GPT 模型是否有意識。
強化學習和大模型結合如何擦出更多火花？
王文廣：大規模強化學習說起來很容易，但是做起來非常難。強化學習上一次獲得較大關注還是在 AlphaGo 那會。AlphaGo 是基于強化學習和圍棋規則的輸入，通過自我對弈不斷學習成長，最終演變成AlphaZero，能夠擊敗全世界最頂尖的圍棋選手的 AI 系統。說明強化學習非常強大，但是在自然語言處理方面以往的研究很多，但是真正發揮效果的不多。但是這次 ChatGPT 出來以后，人們發現強化學習和大模型結合起來，能夠產生非常驚艷的效果。
這里面有沒有一些值得學習的點和未來的研究方向是什么?
王昊奮：強化學習是人工智能中的一個分支，相較于傳統的有監督學習和無監督學習更為復雜。在強化學習的過程中，需要定義智能體、環境以及獎勵等概念，這也是訓練強化學習模型的難點。強化學習在游戲領域得到了廣泛應用，例如象棋、德撲、麻將等等，還有一些游戲公司使用強化學習模型來做決策或協同。然而，對于非游戲領域的應用，如何評價模型的恢復好壞是一個挑戰，因為場景相對復雜、主觀性較強。為了解決這個問題，需要建立一個評價模型，并且該評價模型依賴于大量高質量的訓練數據。雖然 ChatGPT 在技術細節上沒有公開，但是可以參考其前身 InstructGPT。
關于問答語料的獎勵函數模型，有許多需要注意的細節。首先，可以參考之前的一個變種版本—— InstructGPT，這個過程中有很多工作，包括對獎勵模型中分數或獎勵函數的相關性、流暢度、安全性等指標的控制。由于生成模型本身具有一定的隨機性，可以通過調整溫度等參數獲得多個結果進行排序，但其排序結果的一致性和打分需要依賴于受訓練過的人和相關的標注規范。
然而，在過去的訓練中，這些方面的工作做得不夠好，導致了一些問題的出現。例如，由于暴露偏見的問題，一些策略可能只是局部最優解，難以訓練出一個好的策略，很容易訓練出不好的策略，回答特別機械或者胡說八道。此外，在保持混淆度低、相關性好的同時，涉及到的一些敏感問題使得模型更難訓練。從算法、數據標注以及工程等方面，這個模型都需要做出很多突破。雖然它使用的技術不是最新的，但它善用了以前的強化學習技術，在很多方面都取得了成功。因此，我們需要從中思考并借鑒相關的經驗。
劉煥勇：強化學習是一個通過獎懲機制不斷試錯的過程，它的應用在棋牌游戲 AI 等領域已經有了一定的成果。
不過，強化學習目前還存在兩個主要問題：
其一是難以訓練，即使使用 GitHub 上面的代碼進行訓練，都很難收斂。
其二是數據標注的質量問題，包括標簽的設定和數值等方面。
為了解決這些問題，像 OpenAI 這樣的公司雇用廉價的非洲勞動力來標注數據。目前 OpenAI 精確的數據標注量還沒有公開，我們預估這個量應該會很大。對于國內的相關研究人員來說，如果使用強化學習進行算法研究時，也會面臨這些問題。尤其是隨著強化學習的代碼公開，門檻降低，各大公司將競爭獎勵機制的數據標注和定義規范，以及評估標注數據的質量等方面。因此，強化學習在未來的發展中仍需要解決這些問題。
中國有沒有機會做出自己的 ChatGPT？
王文廣：想做出 ChatGPT 并不是一件容易的事情。它是一個 AI 的大工程，并不是三兩個算法同學外加幾臺服務器就可以搞定的。到了 ChatGPT 的時代，它本身是一個非常大的工程。為了幫助模型訓練，微軟專門給 OpenAI 提供了他們的超級集群，OpenAI 的算法工程師需要在集群基礎上把各種算法組合起來。很多算法也不是 OpenAI 自己搞出來的，Deep Mind 在強化學習方法做的也非常深，但是 OpenAI 將這些都融合在一起。還包括從非洲找廉價勞動力進行數據標注，還可能有一些在公共渠道中無法獲取的其他信息。這些組合起來就是一個非常大的工程，對我們做出媲美 ChatGPT 的模型來說是一個很大的挑戰。
中國在其他領域做出很多成功的大工程，比如“兩彈一星”、高鐵等，那么在 AI 領域中國是否能夠延續這樣的神話？中國有可能做出媲美或超越像 ChatGPT 這樣的 AI 出來？
劉煥勇：回答這個問題時需要考慮多個因素。比如，我們在做量化分析時會使用多因子模型。這個問題包括很多因素，其中最重要的兩個因素是外部和內部環境。
在外部環境方面，比如我們現在做知識圖譜方面，國外有 Palantir，而國內也有很多公司在做和 Palantir 類似的研究，但是由于外部環境的問題，這個問題實際上具有一定的風險性。
另一個因素是內部環境，一般來說，我們會從數據、算法和算力這三個方面去考慮。
在算法方面，特別是在近幾年來的開源浪潮下，有更多的開源代碼被發布，包括一些公益的和科研機構的代碼，這使得算法的問題不大。此外，中國也在這方面投入了很多，包括科研機構的開放和強大的編碼能力。
在算力方面，雖然需要花費大量資金，但是這個問題也可以得到解決。然而，硬件方面的算力可能會過濾掉一些公司，只有有一定資歷的公司才有能力去做這樣的事情。
除了算法和算力，數據也是一個重要的因素。例如，從 GPT-1到 GPT-2、GPT-3再到 ChatGPT，國外的這些模型的效果非常好，我們可以看到現象級的涌現效果。中國的智源、浪潮等公司也做了很多模型，但與 GPT 它們在用戶體驗上的差距仍然很大。這個問題實際上源于數據，因為在深度學習中，有一些規律需要遵守，例如我們需要準備什么樣的數據來訓練模型。由于數據的困難程度很高，這成為了一個巨大的壁壘。數據多樣性及規模是中國企業在進軍人工智能領域時需要攻克的主要難題。大規模數據的積累是企業進軍人工智能領域的首要條件之一，而多樣性數據則是關鍵之二。以 GPT 模型為例，它幾乎什么都能干，該模型訓練時所使用的數據分布十分廣泛，包括書籍、對聯、網上對話以及論文等不同來源的數據。而這種廣泛的數據來源保證了模型在多個領域中的應用能力。對于中國企業而言，如何解決數據多樣性問題也將成為其發展人工智能的重要挑戰之一。
數據的質量對于人工智能技術的發展至關重要。在如何防止生成有害或敏感信息方面，我認為，首先，在模型訓練前需要加入一套固定機制進行過濾，而訓練完成后，還需要通過一次過濾來確保模型生成的信息符合規范。
中國企業在發展人工智能技術時需要關注外部環境和內部環境兩個大方向。在政策方面，政策支持可以幫助企業營造良好的生態環境，同時，企業也需要通過提高算力、算法和數據方面的能力，需要解決數據質量問題。對于中國企業而言是有機會做出媲美或超越像 ChatGPT 這樣的人工智能工具的。
王昊奮：隨著科技的不斷發展，大型工程的復雜度也變得更高。在人工智能時代，由于從機械到電子再到信息數據時代，變量也變得更多，因此優化問題也變得更加復雜。在工程領域，大家都關注國外的一些公司，例如 OpenAI 以及其他一些制造大型模型的國外公司，它們都在使用分布式的機器學習訓練框架。而對于大數據時代，過去有 Spark 和 DataBricks 等公司?，F在又出現了一些新的公司，推出了如 Ray 這種開源的分布式機器學習框架。這些框架的使用雖然簡單，但是要在系統層面實現優化卻非常困難，因為在多機多卡的情況下，不僅需要考慮數據的并行，還需要考慮模型的并行、MoE 的變形等復雜因素。此外，在機器學習的過程中還需要考慮 pipeline 流水線等優化，這也是一項重要的工作。在智源青園會中，潞晨科技推出了一個名為 Colossal 系統，它也是一個開源的項目。通過這個系統，可以將顯存的使用量降低，從而減少使用卡的數量，同時仍然可以進行訓練。這需要對體系結構進行優化，以及對存儲和計算進行優化，這也是很多老師們正在研究的方向。
在如今的人工智能系統中，單純講算法已經不再具有太大的意義。對于人工智能系統而言，底層的一些框架、異構計算等都非常重要。因此，未來的工程師需要掌握的知識點也會越來越多?，F在一些公司已經從最初的做 AI 轉向做 AI 系統。在這個 AI 系統中，很多底層的技術都非常重要。這些技術包括之前使用的各種開發框架，例如 Torch 等，以及曾經非常熱門的異構計算，即神經網絡的虛擬機。
此外，在大模型時代中，分布式機器學習框架和優化策略也非常重要。這些技術需要軟硬件結合，而且很多都是從機器學習領域的很多優化策略中演化而來的。對于大模型來說，如何高效地訓練模型和部署模型也是非常關鍵的問題。在微調模型方面，近年來，像 Stable Diffusion 這樣的高效方式已經使得微調變得更加容易。這種技術的發展不僅在圖像領域有很多應用，而且也會逐漸滲透到大規模語言模型領域中。除了微調和精調，人工智能技術的發展還需要解決強化學習的價值觀的問題。
隨著人工智能技術的發展，ChatGPT 成為了人們關注的熱點話題。然而，對于想要進入這個領域的人來說，并不是所有人都適合從事通用的 GPT 模型的研究。相反，更多的人可能會從事垂域的類 GPT 模型的研究。在這種情況下，模型特化變得尤為重要。因此，我們需要大量的基礎軟件來配合計算力，例如操作系統、編譯器、數據庫等。
同時，數據也成為了人工智能領域中非常重要的元素。從以模型為中心的 AI 轉變為以數據為中心的 AI，已經成為了人工智能發展的趨勢。在 ToB 領域，如果我們沒有足夠的數據或者無法獲取數據，那么如何更新模型、優化模型、發現問題以及快速部署都將成為難題。此外，云計算和邊緣計算的協同也會在這個過程中發揮重要作用。為了解決數據量不足的問題，我們可以采用數據增廣或者數據合成的方法。對于大模型來說，模型規模的增大會導致互聯網數據被消耗殆盡，因此只能通過自我生成數據來繼續訓練模型。就像游戲中的 NPC 和 NPC 之間相互對話。
同時，算力也是實現這一目標的必要條件，但不是最卡脖子的東西。一些國家隊、互聯網大廠、活下來的現金充裕的 AI 公司、游戲公司以及區塊鏈領域的老手都有可能成為人工智能領域的領軍者。然而，基礎軟件和生態系統建設的缺失可能會成為阻礙人工智能發展的最大瓶頸。相比之下，算力反而不是最大的瓶頸。我國在超算領域的積累和相關嘗試為人工智能領域的發展提供了有力支持。但是，我們還需要更加暢通的基礎軟件和開源生態系統，以便更好地推動人工智能技術的發展。
簡單來看，我們首先是要在算法上進行創新和優化，其次是數據的質量與治理，最后則是信念和堅持。
另外，英文是互聯網上最主流的語言，英文的數據更多而且質量相對較高，但是高質量的中文數據不足。因此，數據的質量和治理是中國版 ChatGPT 發展的一個制約因素。OpenAI 在人工智能領域的成功經驗是，即堅持創新和信仰，并且不斷積累經驗和技術。這也是中國版 ChatGPT 需要學習和借鑒的。中國版 ChatGPT 需要堅持信念和有信仰，這在學術界和科研領域尤為重要。
中國版 ChatGPT 需要走出自己的路，并反向輸出，否則就會永遠跟隨別人的老路走下去。這是中國版 ChatGPT 發展的一個大問題。中國版 ChatGPT 需要在數據、游戲規則、工程和生態等方面尋求創新，并不斷優化和改進自己，才能做出一個真正有競爭力的人工智能產品。
中國誰最有希望優先做出最接近 ChatGPT 的產品？
王文廣：做出 ChatGPT 有些難度，但是要引領一個技術，要在創新層面走出一條道路，就對團隊的要求非常高，就會難上加難。那么，中國誰最有希望優先做出最接近 ChatGPT 的產品？
王昊奮：國內有多家公司都在研發類似 ChatGPT 的產品。百度3月份也推出自家版 ChatGPT，成為國內首個推出該產品的公司。百度由于其搜索業務積累了大量數據，對用戶行為也有深入了解，正在做文心大模型且已經有了飛槳 PaddlePaddle 等基礎框架，因此推出類 ChatGPT 的產品具備一定的基礎條件。當然和百度這種情況類似的還有很多，只是目前還處在靜默期，都在努力去做出這樣一款產品。
我們需要走出中國特色。因為 ChatGPT 并不完美，也存在一些如準確性和真實性等方面的缺陷，這也是為什么微軟急于將其與其他產品（如 Bing）相結合的原因。在行業細分太細的情況下，ChatGPT 可能存在一些難以判斷的問題，因此各行各業都在努力結合自己的特點來開發相應版本的 ChatGPT。例如，網易即將推出某款游戲試水其 ChatGPT，司法、金融和醫療等領域也都在研發相應的版本的 ChatGPT。但同時，抄作業容易，抄完作業后如何做變革，如何做出一個具有垂域特點的 ChatGPT，由于 OpenAI 或者說全世界沒有給出一個標準的解法，需要根據以往的經驗結合前面講到的數據、算法、工程、產品和運營，讓這個飛輪轉起來，才能看到很多的東西。
從 OpenAI 的角度來看，ChatGPT 并沒有一個明確的商業模式，而對于商業公司來說，盈利模式是必須要考慮的問題。這也是谷歌等公司無法完全放棄搜索和廣告等業務的原因之一。像谷歌的 Bard 出來之后，大家對谷歌的寬容度并不高，都認為谷歌應該可以做得更好，怎么會出現這種錯誤。其實這種錯誤 ChatGPT 也會犯。如果國內一些巨頭公司做出來之后也會面臨相似的問題。在已經出現了像 ChatGPT 這種比較難超越的標桿之后，國內巨頭該怎么做也是一個值得思考的問題。
當然，ChatGPT 的出現也面臨著一些挑戰。首先，訓練一個大型的人工智能模型需要耗費大量的時間、資源和資金。此外，運營這一技術也需要巨大的投資。據悉，每一條查詢的成本約為一美分，這也意味著需要一定的優化才能實現盈利。
在一個 SaaS 的商業模式下，利潤是至關重要的。創業者需要通過各種手段來確保自己的產品能夠帶來一定的利潤。因此，除了技術問題，還需要考慮其他非技術因素對于商業模式的影響。
如何確保自己的產品不僅僅是一個技術問題，還涉及到很多非技術的因素。除了抄作業之外，創業者需要進行微創新和開創性的探索，以便在市場上占據一席之地。這些探索的過程可能需要自己去不斷挑戰和探索，后面一定會有一些經驗甚至是最佳實踐產出?；蛟S很多商業公司不愿意披露這些信息，但是我相信一定會有一些開源機構或科研機構會將這些信息陸陸續續揭露給大眾，以便更多人可以進入這個領域，從而產出一些新的范式上的變革。
大家要以發展的眼光看待這件事，貌似 OpenAI 好像搶占了先機，其實就像冰山一樣暗流涌動，國內很多科研機構和大廠都在開展相關工作，說不定什么時候一家就會比另外一家更好。如果這個市場足夠大，也不可能出現一家獨大，后面一定會出現百花齊放、百家爭鳴的現象。
劉煥勇：大家都有機會，而且 ChatGPT 可能會有很多版本，如很多垂直類的版本，這樣大家做出來的機會更多。只要大家有意愿，并且能夠堅持解決上述問題，都有機會做出來?，F在談論“誰最有希望優先做出最接近 ChatGPT 的產品？”為時過早，現在是一個大變革的時代，誰也說不準，靜待花開即可。
王文廣：其實現在只是剛剛開始，隨著 ChatGPT 的出現一石激起千層浪，引發了整個社會的討論?，F在那么多聰明的人和資本已經投入到這個領域，國內的研發也處在加速階段，對整個社會發展起到促進作用。由于這個變革比較大，我寫一個“” 系列來講述人工智能的發展。GPT 就像一把屠龍寶刀，屠龍寶刀初出江湖，引起江湖紛爭。
ChatGPT 出來以后，對知識圖譜方面會造成哪些影響？
王文廣：谷歌也很快推出了類似的 AI 模型 Bard。谷歌在 AI 領域的積累也非常深厚，不管是大模型、強化學習還是針對 ChatGPT 引發的情景學習、思維鏈等相關技術大都是谷歌先發表出來的。但是作為一個搜索引擎巨頭，推出這種東西對自己反而是一種威脅。一方面革了自己廣告的命，但是廣告占谷歌收入較大比重，如果沒了廣告收入從哪里來，是一個很大問題。另外一方面，大眾對創業小公司比較寬容，但是對巨頭容忍度更低。同樣的東西谷歌推出來如果“胡說八道”大家就很難接受，股價暴跌一千多億。如果是 OpenAI 推出來的，則可能一笑了之。
知識圖譜是用來解決大型語言模型“胡說八道”的一個非常好的工具。谷歌的 Lamda 模型就是知識圖譜的一個典型例子。這些模型能夠檢索外部的知識來支撐回復中的事實性內容。舉了一個例子，即三元組，這是知識圖譜中最常見的一個東西。谷歌擁有全球最大的知識圖譜，這使得大型語言模型能夠引用知識圖譜來回答問題，這是非常好的方法。
搜索引擎并不適合用來解決事實性問題。當你使用搜索引擎搜索一個問題時，它會返回一大堆結果，你很難判斷哪個結果是正確的。因此，知識圖譜如果是通過一個比較嚴格的標準去構建的話，它就可以成為一個非常強大的事實庫，從而避免或減少事實性問題的出現。
那么 ChatGPT 出來以后，對知識圖譜方面會造成哪些影響？
劉煥勇：其實知識圖譜（KG）的構建和應用中，時效性和完備性都是非常重要的。而在不斷探索的過程中，人們也在逐步發現，知識圖譜的構建并不是一件容易的事情。特別是在構建通用域的知識圖譜時，需要從非結構化文本中提取出結構化數據，而這個過程又存在著多樣性和不確定性等問題，因此需要考慮如何保證文本的準確性和可靠性。
語言模型中的知識圖譜的應用過程中，有一種新的方法：就是將知識圖譜中的知識表示融入到語言模型中，然后在訓練的過程中讓模型去學習。這種方法可以有效地提高語言模型的準確性和時效性，同時也可以通過對模型輸出結果進行修正來提高模型的性能。
不過，知識圖譜的構建和應用中還存在著一些問題。比如，知識圖譜中可能存在錯誤的信息，這些信息如果被加入到知識圖譜中，就會導致知識圖譜的準確性受到影響。因此，呼吁大家要在知識圖譜的構建和應用中注重信息的準確性和可靠性。
知識圖譜的時效性和準確性也并未得到很好的解決，這是 ChatGPT 和知識圖譜的通病。那么 New Bing 是怎么做的呢？目前還沒有一個權威的說法。我猜測 New Bing 可能是先從知識圖譜中找到相關的實體或概念，然后進行聚合和摘要，再丟到語言模型里面去進行處理，最終輸出結果。但具體實現細節仍未確定。在這個過程中，涉及到了多個技術，如知識圖譜的融合和對齊技術等，這些技術可能也被應用于 New Bing 的產品中。
我認為技術之間的相互掰扯和融合是一個亟待解決的問題。New Bing 備受關注，但其背后的技術和實現仍有待進一步研究和探索。對于如何解決時效性和準確性等問題，也需要更多的技術創新和實踐。在技術融合的過程中，ChatGPT 和知識圖譜這兩個技術具有共通之處，未來或將在實際應用中發揮更大的作用。
王昊奮：隨著 ChatGPT 等大規模語言模型的出現，對于人工智能行業，特別是自然語言處理、知識圖譜以及信息檢索等領域，將會產生很大的沖擊。很多原本需要耗費大量時間和精力的工作，現在可以通過這些模型來快速完成，從而提高工作效率。
從更加抽象的角度來思考，我們可以發現，LLM 對于 KG 的影響主要有三個方面：LLM 為 KG 提供了更好的基礎模型，即第一個 LLM for KG；LLM 與 KG 的結合可以帶來更加強大的應用，即 KG for LLM；LLM 與 KG的并行應用方式有兩種，即 KG + LLM 和 LLM + KG。
如果不考慮對稱性，這兩種組合方式是不同的。這些變化會對人工智能行業帶來更多的創新機遇和挑戰。因此，我們需要不斷地學習和探索，以應對這些變化帶來的挑戰。
采用了 LLM（大語言模型）后，知識圖譜的工具鏈將會發生革命性的變化。原來繁瑣復雜的生產工具鏈將會被簡化，利用自然語言交互接口，用戶可以更簡單快捷地獲取所需的信息，這樣能夠吸引更多的受眾群體。同時，由于LLM 具備多任務處理能力，其問答和推理等方面的能力也將大大提高，使得知識圖譜的應用領域更加廣泛，而且能夠更全面、更準確地構建知識圖譜。
不過，目前的知識圖譜仍存在很多問題，比如一階、二階、高階知識、常識知識、時空域知識等等，都需要進一步完善和優化。從共性化到個性化，從領域專業的知識到更細粒度的知識，隨著 LLM 技術的不斷發展，這些問題也將逐步得到解決。
我們會發現中國翻版的很多技術并沒有比外國原版更好。當真正的 LLM 來臨時，我們是否能夠真正做得比外國更好，是所有人都應該認真思考的問題，而不僅僅是將其視為一場危機。我們需要看到這個系統的機遇和挑戰，以及在這個過程中我們需要做哪些事情。有一些事情我們可以不去做，有一些事情我們需要跟隨這個系統一起前進，而有一些事情則是新產生的。在之前的交流中，我們已經列出了一些需要去做和不需要去做的事情。
當然，不可能重復所有的事情，我們需要自己思考并聽取不同人的反饋和意見。此外，針對于ChatGPT 這樣的技術，它本身會存在很多幻覺和謬論，因此我們需要關注它的時效性和來源出處的真實性。這對于醫療和決策輔助領域尤為重要，因為在這些領域中我們需要考慮是否真正信任這個系統。所以，我們需要思考這個系統的來源和真實性，以及如何去驗證它的結果。這是一個需要深入思考的問題。
我們看到某個結果之后，要探究其發生的原因的過程中，知識圖譜可以發揮重要作用，因為它包含了很多演繹、推理和溯因推理等方面的知識。這對于理解一些復雜的過程是至關重要的，例如我們所熟知的 A + B 的過程。我們需要考慮的是，如果我們將知識圖譜作為另一種重要的來源，那么它是否能夠與大量數據和參數共存？這是目前許多人正在探索的問題。其中一個比較有前途的方向是和神經符號結合，重要的一點是要解決參數量過大的問題。例如，如何在參數規模較小的情況下實現與175B 參數相同的效果？如何將知識圖譜中的知識外化或卸載，以便將大型模型變小并使用外部知識作為輔助源？這些都是當前正在探索的問題。
前面我們提到現在很多人都在做類似 ChatGPT 的產品，在 “模型即服務(Model as a Service)” 的大背景下，這些大模型如何進行有效管理與協調已經變得尤為重要?；蛟S可以設計與之對應的“控制機構”或“中控機構”，負責任務管理與知識分配。當然，這需要依靠較為專業化的“任務知識”來支撐，而非純粹的事實知識或事件知識。這些知識更趨于動態性與流程性，具有較高的靈活性。
就這個角度看來，所謂“知識圖譜驅動下的 LLM 超級自動化” 似乎正是較為合理的解決方案。這種方式在許多 toB 場景中會發揮重大作用，其發展潛力極其廣泛。
剛才我們僅提供了“A for B、B for A、A + B” 三種范式，每一種方式都有其獨特價值所在。重要的就是需要沿著這一思路繼續深思熟慮。雖然一開始可能感到一切都無從下手，但相信若能適當繼續前進，必然會發現全新的可操作空間。就如進入一條隧道，光看見前方似乎暗無天日，但只要繼續廣而又深地走下去，必然會找到出口。這時，你就會發現柳暗花明又一村，發現有很多東西可做。
我認為大家不應該排斥大語言模型（LLM），也不應該認為大語言模型訓練不了。就像早年的人對 AI 的態度一樣，他們可能不懂 AI，覺得 AI 和自己沒關系。但是事實上，當 AI 時代來臨時，你是無法阻擋它的，所以我們只能積極擁抱它。
即使你無法訓練模型，至少你可以編寫 prompt（提示詞），現在提示詞工程師都已經成為了一個工作崗位。在許多情況下，通過提供一個 prompt模型，已經能夠回答很多問題，并取得了很好的效果。因此，我認為無論在哪個層面，都有大量的工作和值得做的事情，可以對任何技術、場景和應用做出顛覆性的貢獻。關鍵在于你是否有意愿去了解、思考和與周圍的人交流。這樣你就可以發現很多新場景，例如在科學領域的 AI 應用，以及自動駕駛和智能座艙等領域。當然，由于時間有限，我無法對每個事物都進行解讀。這只是我的個人觀點，不一定特別成體系，但我希望能夠引發更多的思考。
AGI = 大模型 + 知識圖譜 + 強化學習？
王文廣：在 ChatGPT 出現之前， RPA （機器人流程自動化）并不容易被不懂相關技術的人使用，但現在通過知識圖譜和大模型的支持，可以通過自然語言描述業務邏輯，生成自動化流程，從而真正實現自動化。這是一個非常大的機遇，因為微軟的 Power Automation 也在做類似的事情。
如果我們忘記過去，只看現在，我們會發現一切都是機會。對于不同的公司和組織來說，ChatGPT 可能是機遇，也可能是危機。ChatGPT 對 OpenAI 和微軟來說是一個機會，而對谷歌則是危機并存。
從個人技術成長的角度來看，我們不應該過于沉迷于歷史上的技術和概念，而是應該從目前的技術水平出發，思考如何利用它們實現個人價值和目標。當前的技術發展充滿了機遇，例如可以利用技術進行個人博客的推廣、營銷以及其他各種有益的事情。此外，技術的發展也為創業等更大的事業提供了良機。因此，我們應該積極抓住這些機遇，發揮技術的作用。
在討論人工智能的發展方向時，我們已經涉及到了知識圖譜、大模型、強化學習等多個方面。對于熟悉人工智能歷史的人來說，這些技術實際上是人工智能三大范式的總結：連接主義、符號主義和行為主義。而強化學習則是行為主義研究的重點之一。知識圖譜和神經符號學則繼承了符號主義的思想，而大模型則代表了連接主義的成果。這三個方面的組合已經在一些產品中得到了應用，當然 ChatGPT 目前沒有將知識圖譜集成進去，但是像谷歌的 bard 和 Meta 的 Toolformer 等。從認知科學、認知神經科學等角度來看，人類智能可能就是這三個主義的組合。
因此，我提出了一個公式：AGI（通用人工智能） = 大模型 + 知識圖譜 + 強化學習，這可能是通用人工智能的基礎。雖然這個公式可能不完全準確，但它可以啟發我們思考人工智能的未來發展方向。
王昊奮：這三個參數可以作為一個未知函數的三個變量。大模型雖然已經證明了其性能的優越性，但是它存在一些其他的問題，比如站在 ESG（環境、社會和公司治理）的角度而言，它對環境不友好的內容。其次，知識圖譜并不一定是體現知識的唯一方式，因為數據和知識需要相互支持。知識的組織特征和推理能力是知識圖譜中的重要方面。最后，一個合格的智能體不僅需要知識和相對聰明的系統，還需要持續進化。行為主義、強化學習、巨聲智能等方法都是重要的要素，它們之間存在千絲萬縷的關聯。
因此，一個合格的智能體需要具備獲得認知能力的大量數據和學習知識的能力，還需要具備持續學習的能力，并且可以從感知、認知、決策三個方面進行綜合考慮。
另外，更重要的是將 GPT 這個個體部署到各個領域中去，例如數字人、助理和虛擬人等，形成一個復雜的社會結構，類似于人類社會中的群體行為和屬性。這種情況下，對于多個智能體的協作、競爭和互補等復雜行為的涌現現象，需要考慮更大的社會范疇。因此，定義單個智能體的能力需要疊加成多個智能體，或者考慮整個社會模域中的一些智能體，這將會更有意思。
總之，GPT 這個概念可能會在文化廣泛傳播的情況下擴散到更廣泛的領域。
劉煥勇：我們不需要急于對通用人工智能下定義。其實在 GPT 出現之前，我們對這個東西并不知曉。就當前時間來看，它可能是一個最好的范例，但其中仍然存在很多問題。如果我們進行一些映射，例如對于一個智能體，它可能具備一定的模仿能力，就像小孩一樣，他們有模仿能力。這種模仿能力實際上可以連接到當前的大規模語言模型，該模型通過大量的訓練可以模仿人類的語言表達形式。知識圖譜會有一些常識性的東西，它能規范并且控制住這種模仿能力。
另外，強化學習實際上是一種有反饋的學習方式，可以與周圍的人產生各種關系，這種反饋意識可以幫助它更快地學習。如果將這個過程持續下去，至少有一些模仿，那么我認為這是一個比較好的范式。但是其中存在的問題，在不久的將來可能會有其他解決方案出來。
王文廣：我們知道現有的模式，包括兩位老師也都認為，至少目前比較智能的智能體應該將這三大主義融合在一起，包括知識圖譜、大型語言模型和強化學習的組合。雖然我們不知道它的確切組合方式，但某種組合對于當前的智能體來說是必要的。在現實中，包括骨科和病理學等領域也正在融合這三者，這已經在某種程度上實現了。
未來，我相信國內的許多公司都在努力制造類似百度的文心一言等智能體，他們也在考慮如何將這些點融合在一起。
如何做到和 GPT 同級別或者超越它的大模型？
王文廣：做到至少與 GPT 同級別，甚至超越它的大模型，這個難度有多高？我們需要多少資金才能實現這一目標？
王昊奮：要想實現至少與 GPT 同級別、甚至超越它的大模型，難度非常高。
這是因為在訓練大模型時需要大量的數據，并且數據要具有多樣性，涉及到的任務數也要豐富，每個任務所涉及的樣例也要足夠多。另外，還需要強大的算力支持，通常需要使用大量的 GPU 來進行訓練。對于數據量，例如 GPT-3，其訓練所需的 token 數量達到了5000億，從 davinci 到 text-davinci，我們可以看到訓練中使用了大量來自包括維基百科、圖書等數據。對于 ChatGPT 這樣的模型，還需要大量的對話數據和問答數據作為輸入，這是一個動態變化的過程。token 的數量是決定了模型的容量因素之一。數據的多樣性，包括涉及的任務數，每個任務當中能看到的例子的不同等，也非常關鍵。要想出彩，還需要遵循 scaling law （標度律）。
第二點是算力方面，GPT-3訓練需要1萬個 V100 GPU，根據 V100和 A100的算力計算，相當于3000個左右的 A100，1000塊 這樣的卡在公有云上訓練一個月可能也能訓練出來。原本訓練一次需要花費460萬美元，現在可能就變成了150萬美元左右，不過之前總的訓練費用大概是1000萬美元。大家如果去看 OpenAI 首席執行官 Sam Altman 的訪談的話就會發現，未來隨著可控核聚變等技術的應用，數據和算力的成本會逐漸下降。也有很多架構方面的優化，例如英偉達推出的 H100顯卡，這相當于是大模型與硬件的摩爾定律比怎樣可以做得更好。
此外，另外一個重要的事情是 ARK Invest (方舟投資) 的報告，他們對這一領域做了許多預測。基本上可以考慮到2030年左右，同等規模的模型訓練成本可能會降低60倍或50倍。更多詳細內容需要大家去閱讀報告了解。大家還可以關注英偉達這種機構，了解顯卡本身的進化情況，如多卡集群。通過模型和顯存的優化，成本一定可以做到更低。
劉煥勇：大規模模型訓練需要以經濟代價和時間成本為基礎，我們應該以發展的眼光去看待這個問題。
經濟代價包括模型規模、使用的硬件（如 A100卡）數量以及訓練時間等因素，這些可以通過計算來得出具體的成本，大家可以去看一些權威解讀。
除了經濟代價，時間成本也是一個很大的問題。因為模型訓練需要很長的時間，而且需要花費大量的人力和物力來標注、定義和收集數據。時間代價可能會因為不同的人而有所不同，如果時間周期拉得很長，這個代價就會很大。我們可以查看一些報告，例如數據集標注的時間和花費，來計算出時間成本。時間成本帶來外部資本的變化，也是一個需要考慮的問題。
我們應該用發展的眼光去看成本和代價的問題，并將其分為不同的階段和領域。如果我們要做一個完全通用的 ChatGPT 生成模型，那么它的成本將會很高，難度也會很大。
因此，我們可以選擇分階段和分領域的方式來研發 ChatGPT 模型。比如我們不要求它可以話題，只可以聊天就可以，這樣成本就會比較低。例如，我們可以在第一個階段解決 QA 問題，第二個階段解決代碼生成問題，第三個階段再解決繪制表格和計算公式的問題。這樣做的好處是成本會比較低，接受度也會比較高。
雖然 ChatGPT 讓人耳目一新，但是我們最好先不要做過多評判誰會先做出來，以及實現的難度有多大的問題。我們應該扎扎實實從技術角度去實現，不管是學術界還是工業界，應該把這個技術應用好，把底層的基礎設施建設好，走出一條中國的道路才是我們需要關注的問題。
王昊奮：從用的角度來看，從 ChatGPT 出現以后，尤其是 ChatGPT 整合到了 New Bing 以后，三大流派至少有了一個比較夯實的基座，在上面做一些延伸的事情，開啟了一個新的階段。我相信會有很多有趣的場景會被挖掘出來。從自建的角度來講，我們如果想造一個和 ChatGPT 類似的東西的話，多說無益，做就可以了。上半年會有若干和 ChatGPT 類似的產品出來，但這并不是終點，這只是一個起點，最后一定能走出一條適合我們的道路。垂直類的 GPT 的難度和價值還未被真正解鎖，這才是我們下一步要去探索和開啟的東西。
王文廣：我寫了一篇《》文章。隨著 ChatGPT 、 New Bing 和谷歌的 Bard 出現，我認為融合了行為主義、連接主義和符號主義的通用人工智能的雛形已經出現。
未來我們還要不斷研究如何將這三者更好地組合起來，幫助我們實現更加通用的智能，幫助人來提升智能化水平。我們希望社會能夠發展得越來越好，生活能夠更加美好。我們能夠每天最好工作四個小時、每周工作三天，其他的所有事情交給 AGI 來實現，那么我們的日子就過得舒服，就能夠去享受我們的生活。希望隨著大家的能力，曙光可以變成正午的陽光！
今天《開談》節目到此結束。
更多精彩內容可觀看直播回放：https://live.csdn.net/room/programmer_editor/hsEaGtj1
標簽：
免責聲明：本文由用戶上傳，如有侵權請聯系本網刪除！