中文語料庫建設呼喚新格局
隨著數字化、網絡化,尤其是智能化的持續深入發展,數據已成為國家關鍵戰略資源。“十五五”規劃綱要提出,“迎接數字時代,激活數據要素潛能,推進網絡強國建設,加快建設數字經濟、數字社會、數字政府,以數字化轉型整體驅動生產方式、生活方式和治理方式變革。”語言資源作為重要的數據資源,對推動學科交叉創新、支撐智能社會構建、維護國家安全及提升國家文化軟實力具有深遠意義。
中文語料庫建設是我國語言資源建設的基礎性工作。近日印發的《教育發展“十五五”規劃》提出,加強數字中文建設。推進新型國家語料庫建設和應用。實施國家關鍵領域語言科技賦能計劃。此外,《教育強國建設規劃綱要(2024—2035年)》也提出了“建設新型國家語料庫”的任務。《關于加強數字中文建設 推進語言文字信息化發展的意見》要求:“推動基礎性語言資源建設,實施國家關鍵語料庫共建共享計劃,重點支持建設大規模中文語料庫。”
語料庫建設是一個“老”話題,英文語料庫建設可回溯至20世紀60年代。中文語料庫建設比英文晚了大約20年。那么,當人工智能發展到大模型時代,語料庫建設呈現哪些新的特點?面臨哪些主要挑戰?又應該有哪些應對之策?這些基本問題都需要我們認真思索并回答。
語料庫建設走過的路程
語料庫建設的“初心”是面向語言教學和研究,同時面向自然語言處理技術研發。在其發展過程中,始終強調兩點:一個是語料庫的“大規模”,另一個是對大規模“生”語料庫的“精加工”。
20世紀60年代,美國布朗大學建立了約100萬詞的BROWN語料庫;70年代,英國蘭卡斯特大學、挪威奧斯陸大學和卑爾根大學聯合建立了規模相近的LOB語料庫。1995年,規模達1億詞的英國國家語料庫(The British National Corpus, BNC)面世,其中書面語文本9000萬詞次,口語文本1000萬詞次。這在當時絕對屬于名副其實的“大規模”了。早期語料庫通常只進行詞語切分、詞性標注等基本加工。90年代初,美國賓夕法尼亞大學構建的賓州樹庫(Penn Treebank, PTB)對300萬詞英語句子進行了深層次加工——句法標注,隨后又構建了首個中文樹庫(Chinese Treebank, CTB),規模為10萬詞。至2016年,CTB 9.0完成了200萬詞中文語料的標注。2014年,斯坦福大學提出通用依存句法標注方案(Universal Dependency, UD),試圖以統一標注規范對全世界任何語言標注依存句法結構。據其官網統計,目前已完成逾3700萬詞的加工,涵蓋186種語言。“精加工”多倚重人工完成,因此通常是浩繁的工程。
我國自20世紀80年代前后啟動中文語料庫建設,基本上是參照國外上述“大規模”及“精加工”的路數來做。部分具有代表性的語料庫建設成果包括:北京大學基于《人民日報》構建的現代漢語標注語料庫,規模約2700萬字,進行了分詞、詞性、專有名詞、多音詞等標注;國家語委牽頭建設的現代漢語通用平衡語料庫,規模約1億字,其中5000萬字經分詞和詞性標注;北京語言大學BCC語料庫(Beijing Language and Culture University Corpus Center),規模約62億字,覆蓋報刊、微博等載體和文學、科技等領域,并進行了適當加工。
2010年起,人工智能進入石破天驚的深度學習時代,并在2020年前后快速推進至大模型時代。語料庫在大模型發展中起著關鍵作用,已演變為支撐人工智能基本能力迭代并邁向通用人工智能的核心要素。毫不夸張地說,沒有語料庫就沒有語言大模型。在大模型時代,語料庫建設的內涵和外延都發生了急劇變化,如對大規模“生”語料庫的需求呈爆炸式上升,以人工標注手段為主的語言“精加工”則從語料庫建設的主導地位退居至“不太起眼”的位置。
新型語料庫建設的基本特點
第一,規模極其浩大。2020年,美國開放人工智能研究中心(OpenAI)提出語言大模型的規模法則(Scaling Law),指出模型的訓練損失隨數據的指數級增加而線性下降。在此驅動下,訓練用“生”語料庫規模大到無所不用其極。如2020年ChatGPT-3訓練語料庫約含3000億詞;至2025年,DeepSeek-V3的訓練語料庫已達約14.8萬億詞。典型的開源語料庫如C4(約1750億詞)、The Pile(約2000億詞)、RedPajama(約1.2萬億詞)等,其規模與傳統語料庫相比有天壤之別。值得注意的是,傳統語料庫由于規模限制需要均衡采樣,新型語料庫則致力于收錄“全空間高質量”內容。
第二,范圍極其廣博。傳統語料庫多集中于新聞、文學作品等典型類型,新型語料庫則廣泛納入網頁、雜志、百科全書、科技圖書、學術期刊、辭典乃至代碼等多源類型,如維基百科、ArXiv等平臺的開放獲取論文和GitHub等平臺的代碼數據等。
第三,語言極其多樣。傳統語料庫多以單語或雙語為主,新型語料庫則試圖打通所有語言,構建覆蓋數以百種語言的多語言語料庫,如CC100、mC4、OSCAR等。Meta發表于《自然》雜志的NLLB項目,構建了涵蓋200多種語言、規模約450GB的多語語料。此外,古籍、方言、手語、盲文等特殊語言類型,也會一定程度上被新型語料庫所收錄。
第四,模態極其豐富。以文本模態為樞軸,將聲、圖、視頻等相關模態數據對齊、融通,形成多模態語料庫。近年來,圖文對齊數據發展尤其迅速,如OpenAI的CLIP語料庫含4億圖文對,LAION-5B多達58.5億對,DataComp更擴展至128億對。語音文本對齊數據規模也持續增長,如WaveCaps含約40萬語音—文本對、VSDial-CN含約120萬對等。視頻作為融合文本、語音、圖像的復合媒介也備受關注,如WebVid含1000萬視頻—文本對,VTP含2700萬對。這些多模態數據構成了新型語料庫的生力軍,賦予人工智能多角度理解、“生成”大千世界的能力。
第五,加工極其專精。針對大模型訓練的各類新型數據被不斷構造出來,如文本問答數據集、圖文問答數據集、大規模指令數據集等。此外,從浩瀚無比的語料庫中篩選出高質量語料,對大模型訓練越來越重要,同時極具難度,需要研發相關的數據治理技術。借重大模型技術構造大規模合成數據也成為常態。
中文語料庫建設的主要挑戰
上述特點為大模型時代中文語料庫設計指明了方向。建設規模浩大、范圍廣博、語言多樣、模態豐富、加工專精的中文語料庫體系,理應成為推動我國人工智能發展、賦能智能社會建設的基礎性工程。顯然,這個工程極其艱巨。我們將主要面臨來自數據供給、體系構建與合規治理三方面的嚴峻挑戰。
一是中文語料相對匱乏。當前,主流開源語料庫仍以英文為主。據阿里研究院《大模型訓練數據白皮書》,全球網站英文內容占比約59.8%,中文內容僅占約1.3%,差距懸殊。在大模型訓練廣泛使用的Common Crawl網頁語料庫中,中文占比也僅為約4.8%。
二是中文語料庫體系遠未建立。面向大模型時代的“全空間高質量”中文語料庫體系尚處于雛形。如中文百科全書、科技圖書、學術期刊、辭典等高知識密度的語料在現有中文語料庫中幾乎難覓蹤跡,高質量的多模態數據也十分稀缺。
三是數據治理機制亟待完善。當前語料數據治理仍較為粗放,缺乏頂層設計。具體表現為三點:第一,版權保護與數據共享難以平衡。圖書、辭典、影視作品等是天然的高質量語料,理應成為國家語料庫的重要組成部分。然而,其合規共享面臨版權保護壁壘,國際上已有相關糾紛案例。例如,Anthropic公司在訓練Claude模型時因不當使用版權數據,向作者及出版商支付了高達15億美元的和解金。第二,標準缺失導致“數據孤島”。各單位加工的語言數據格式不一、質量參差,阻礙了數據要素的流通與協同利用。第三,隱私與安全風險突出。在數據采集、加工和訓練過程中,如何有效防范信息泄露,確保內容符合倫理與價值規范,是語料庫建設中必須嚴守的安全底線。
上述挑戰都是全局性的、深層次的。應該采取怎樣的應對之策?需要我們知難而上、持續探索。
中文語料庫的建設路徑
一是拓寬數據來源,突破數據供給瓶頸。系統推進出版物、古籍文獻、地方志、歷史檔案等優質線下資源的數字化轉化,激活存量語言資源。大力發展數據合成與增強技術,實現數據規模的躍升。
二是完善體系設計,整合全空間高質量數據。系統規劃中文語料庫的整體架構,重點推動圖書、辭典、影視作品等高質量數據入庫。同時,拓展多模態數據的來源與形態,鼓勵各級圖書館、博物館采集音頻、圖像、視頻等多模態數據。此外,將方言、少數民族語言、手語、盲文等納入建設范疇。
三是創新版權機制,整合關鍵語言資源。由國家相關部門牽頭,探索建立關鍵語料的授權使用機制。依法合規構建解決了版權問題的國家關鍵語料資源。建立分級開放機制:基礎共性數據向社會開源,高價值專業數據實行授權使用,保障建設者權益,形成可持續生態。
四是推動標準建設,強化全流程治理。加快制定國家或行業層面的語料采集、清洗、標注、質檢與交換標準,打破“數據孤島”。研發高效、智能、可復用的數據處理工具鏈。同時建立覆蓋數據全生命周期的治理框架,明確隱私保護、安全審核、倫理審查等環節的責任與流程,筑牢語料庫建設的安全底線。
大數據時代中文語料庫的建設具有高度的緊迫性,但又難以一蹴而就。不行不至,行于當行。相信通過堅持不懈的群策群力、攻堅克難,中文語料庫建設的新格局將逐漸形成,從而對我國人工智能的發展作出歷史性的新貢獻。
(作者:孫茂松 孔存良,分別系清華大學教授、助理研究員)


