大型語言模型（LLM）是基於自然語言處理（NLP）的人工智慧模型，透過對大規模語料的訓練來學習語言的統計規律和語義結構。它們能生成自然流暢符合人類對話的文本，是生成式人工智慧的一部分。
在大型語言模型的發展上，美國企業與研究機構如OpenAI、Google DeepMind、Meta等處於全球領先地位。中國在大型語言模型領域的發展起步稍晚，但通過政策支持、資本投入和本地化創新迅速追趕。近年來，中國企業如百度、阿里巴巴、騰訊、華為等紛紛推出自主研發的大型語言模型，成為華語AI技術的核心驅動力。
大型語言模型的技術
大型語言模型核心技術是Transformer 架構，這是一種特別適合處理序列數據（如文本）的深度學習架構。這使得它們能有效地捕捉語言中的長距離依賴性。因此生成式 AI 就可以大量使用在基於輸入提示生成與上下文相關的語言內容。像 GPT（Generative Pre-trained Transformer）這樣的模型，通過預訓練和微調，能生成高質量的文章、對話、程式碼等。進一步，GPT 模型還能創作故事、解釋複雜概念、生成行銷文案等。
模型的幻覺與新法減少
然而大型語言模型的生成式 AI 可能生成一些很奇怪的內容，該內容與事實或邏輯不符。業界的朋友稱為AI幻覺（Hallucination）。一般人的經驗則貶損為「正經八百的胡說八道」。11月初的2024年百度世界大會上，百度創始人李彥宏聲稱，過去24個月內，大模型在技術上取得重大突破，基本消除了幻覺現象。李彥宏的立論主要基於百度在大模型領域的技術創新。
文心一言採用了知識增強、檢索增強生成（iRAG）及強化學習與人類反饋（RLHF）等技術，試圖提高模型生成內容的準確性和可靠性。從理論上看，這些技術的確能有效減少幻覺現象。
360集團打臉百度
360集團董事長周鴻禕公開反對李彥宏的觀點，指出大模型的幻覺問題遠未解決。周鴻禕指出，大模型在生成語言文本時，幻覺問題依然普遍存在，在實際應用中，文心一言卻頻頻出現錯誤回答和邏輯不一致的問題，甚至虛構學術引用，暴露出大模型在應對複雜場景時的局限。
周鴻禕特別指出是在高精度應用領域，如醫療、法律和科學研究中，這種問題更是致命。周鴻禕強調，AI行業不應誇大其大模型的能力，而應正視其局限，並將資源投入到解決實用性和可靠性問題上。
消滅幻覺也消滅了夢想
幻覺問題並非單靠技術疊加就能徹底解決。大模型的訓練仍然高度依賴於歷史數據，而這些數據可能包含錯誤或不完整的信息。此外，模型生成內容的概率性特徵，使其在缺乏真實參考時，容易憑空捏造。而且牽涉到推理或創新，就是把不存在的事情想象出來。杜撰想像避免不了有幻覺。
另外，追求夢想是人類進步的動力。大家應不要執著完全消滅幻覺，那更慘的是也消滅了夢想。對於背離事實，錯誤邏輯推理，李彥宏的努力去消滅值得肯定。但周鴻禕說的：不應誇大其大模型的能力，則應時時謹記在心。