2022年11月，中譯語通科技股份有限公司發(fā)布“格物”大模型，在國內(nèi)自然語言理解領(lǐng)域最為權(quán)威的CLUE榜單中，刷新了大規(guī)模知識(shí)圖譜問答KgCLUE1.0和命名實(shí)體任務(wù)兩個(gè)榜單，奪得這兩個(gè)榜單的第一名。“格物”，意為探究事物道理，也代表著中譯語通在人工智能技術(shù)研究領(lǐng)域從未止步的探索與堅(jiān)持。

CLUE是國內(nèi)“自然語言理解領(lǐng)域”公認(rèn)的最具權(quán)威性的測(cè)評(píng)基準(zhǔn)（www.cluebenchmarks.com），吸引了騰訊、華為、阿里等眾多行業(yè)領(lǐng)先企業(yè)和研究機(jī)構(gòu)參與評(píng)測(cè)，榜單排名競(jìng)爭(zhēng)激烈，是業(yè)內(nèi)自然語言理解團(tuán)隊(duì)的必爭(zhēng)之地。

中譯語通在KgCLUE1.0大規(guī)模知識(shí)圖譜問答任務(wù)中取得第一名

中譯語通在CLUE命名實(shí)體任務(wù)中取得第一名

“格物”大模型是中譯語通2021年啟動(dòng)研發(fā)的多語言、多模態(tài)大模型技術(shù)，是面向多語言智能處理和應(yīng)用的基礎(chǔ)底座。“格物”大模型包括多語言預(yù)訓(xùn)練模型、多模態(tài)預(yù)訓(xùn)練模型、多語言機(jī)器翻譯超大模型等多種模型，本次刷新CLUE榜單排名的是“格物-多語言預(yù)訓(xùn)練模型”，代表中譯語通在大模型技術(shù)領(lǐng)域取得了行業(yè)領(lǐng)先水平。

“格物-多語言預(yù)訓(xùn)練模型” 利用中譯語通大規(guī)模多語種語言資源優(yōu)勢(shì)，采用基于知識(shí)對(duì)照信息嵌入的多語言預(yù)訓(xùn)練方法，實(shí)現(xiàn)大規(guī)模多語言非對(duì)齊未標(biāo)注數(shù)據(jù)、雙語對(duì)齊句對(duì)和跨語言知識(shí)數(shù)據(jù)的多輪雙向驅(qū)動(dòng)和融合，訓(xùn)練出支持上百種語言的多語言預(yù)訓(xùn)練大模型，模型規(guī)模涵蓋輕量級(jí)、中型和大型（百億級(jí)）等多種參數(shù)尺度，同時(shí)創(chuàng)新性的將多語言、多任務(wù)、多場(chǎng)景整合到可插拔、靈活擴(kuò)展的統(tǒng)一下游任務(wù)框架中，支持自然語言理解、自然語言生成、知識(shí)圖譜等多場(chǎng)景學(xué)習(xí)任務(wù)。

同期，中譯語通還發(fā)布了“格物-多語言機(jī)器翻譯超大模型”，該模型采用基于新型混合專家（MoE）的大規(guī)模預(yù)訓(xùn)練方法，創(chuàng)新提出星環(huán)狀注意力的MoE，突破模型容量與多語言制約，實(shí)現(xiàn)單一模型下的多語言機(jī)器翻譯，達(dá)到千億級(jí)參數(shù)的超大規(guī)模，從根本上提升了低資源多語種機(jī)器翻譯的基礎(chǔ)性能。該項(xiàng)目入圍2021年工信部新一代人工智能產(chǎn)業(yè)創(chuàng)新重點(diǎn)任務(wù)揭榜，技術(shù)成果入選中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟《2022大規(guī)模預(yù)訓(xùn)練模型優(yōu)秀應(yīng)用案例》。

此外，中譯語通正在進(jìn)一步研發(fā)“格物-多模態(tài)預(yù)訓(xùn)練模型”，該模型采用海量的文本-圖像對(duì)數(shù)據(jù)，通過 Vision Transformer、CLIP（Contrastive Language-Image Pre-training，基于對(duì)比文本-圖像對(duì)的預(yù)訓(xùn)練方法），將圖像和文本統(tǒng)一建模，實(shí)現(xiàn)多語言跨模態(tài)語義對(duì)齊，并采用深度擴(kuò)散網(wǎng)絡(luò)，訓(xùn)練得到超過百億參數(shù)規(guī)模的圖文生成模型。該模型預(yù)計(jì)將在2023年一季度正式發(fā)布。

中譯語通是一家全球領(lǐng)先的大數(shù)據(jù)和人工智能公司。擁有自主研發(fā)的機(jī)器翻譯、科研數(shù)據(jù)分析、金融科技和數(shù)字城市大腦等先進(jìn)技術(shù)，為全球政府與企業(yè)級(jí)用戶提供全方位的領(lǐng)先大數(shù)據(jù)與人工智能場(chǎng)景化應(yīng)用解決方案。