自然語(yǔ)言處理算法

方案概述

中譯語(yǔ)通長(zhǎng)期致力于自然語(yǔ)言處理技術(shù)的研發(fā)和應(yīng)用，采用循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、條件隨機(jī)場(chǎng)、支持向量機(jī)、隨機(jī)森林等先進(jìn)機(jī)器學(xué)習(xí)技術(shù)，結(jié)合千億級(jí)全球多語(yǔ)言文本語(yǔ)料數(shù)據(jù)資源，構(gòu)建了精準(zhǔn)高效的多語(yǔ)自然語(yǔ)言處理算法，包括分詞、詞性標(biāo)注和命名實(shí)體識(shí)別、敏感性分析、情感分析、自動(dòng)摘要、關(guān)鍵詞抽取、文本分類、文本質(zhì)量評(píng)估、熱點(diǎn)聚類、事件要素抽取、知識(shí)圖譜構(gòu)建等各個(gè)層面，能夠?yàn)樯疃确治鋈蚩缯Z(yǔ)言文本提供一站式信息處理解決方案。目前平臺(tái)可以支持30多種語(yǔ)言的處理，提供10多類算法及65種算法服務(wù)。

方案咨詢：2030nlp@gtcom.com.cn

應(yīng)用服務(wù)

分詞及詞性標(biāo)注
分詞是指按照語(yǔ)法規(guī)范，將字序列組合成詞序列。詞性標(biāo)注是指給定詞序列，找出最可能的詞性序列。分詞是自然語(yǔ)言處理的基本單位，分詞及詞性標(biāo)注是各種NLP算法的基礎(chǔ)。我們提供面向各種應(yīng)用場(chǎng)景的定制化統(tǒng)計(jì)分詞算法，可滿足多語(yǔ)言需求。分詞及詞性標(biāo)注算法主要針對(duì)中、日、韓等沒(méi)有明顯詞邊界或詞邊界可進(jìn)一步細(xì)化的語(yǔ)種，將以字串出現(xiàn)的句子或短語(yǔ)轉(zhuǎn)化為詞串。

命名實(shí)體識(shí)別
命名實(shí)體識(shí)別是信息提取、問(wèn)答系統(tǒng)、語(yǔ)義理解、機(jī)器翻譯等應(yīng)用的重要工具，在自然語(yǔ)言處理中具有基礎(chǔ)性作用。我們采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法，利用大規(guī)模語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，在中、英文多種應(yīng)用場(chǎng)景中，取得了較好的效果。

情感分析
文本情感分析算法能夠自動(dòng)分析識(shí)別出篇章中表達(dá)的觀點(diǎn)或態(tài)度情感傾向，并給出能夠表達(dá)情感的極性和強(qiáng)度的情感傾向度指標(biāo)。情感分析算法用于情感極性的分析，在監(jiān)控、話題監(jiān)督、口碑分析等領(lǐng)域具有不可替代的作用。本情感分析算法采用深度學(xué)習(xí)模型，在十萬(wàn)級(jí)人工標(biāo)注語(yǔ)料基礎(chǔ)上訓(xùn)練而成。

關(guān)鍵詞提取
關(guān)鍵詞提取算法用于文本主旨的提取，幫助用戶快速獲取核心內(nèi)容。本關(guān)鍵詞提取算法綜合了多種機(jī)器學(xué)習(xí)方法和大量的語(yǔ)料資源，目前支持中、英、日、韓、俄、葡、西、法、德、阿等10個(gè)語(yǔ)種，并可以利用開(kāi)放數(shù)據(jù)快速生成其它語(yǔ)種的關(guān)鍵詞提取工具。

文本摘要
自動(dòng)文摘算法指自動(dòng)生成一篇簡(jiǎn)單連貫的短文，表達(dá)出原始文獻(xiàn)中的核心內(nèi)容。實(shí)現(xiàn)將原文信息的高效壓縮，輔助用戶高效閱讀。我們采用一種基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法，該方法適應(yīng)互聯(lián)網(wǎng)大數(shù)據(jù)的特點(diǎn)，具有不受領(lǐng)域限制、計(jì)算效率高、生成速度快、摘要長(zhǎng)度可控制等優(yōu)點(diǎn)，能夠滿足搜索引擎、智能問(wèn)答等應(yīng)用需求。

語(yǔ)種識(shí)別
語(yǔ)種識(shí)別算法是指自動(dòng)判定輸入文本的語(yǔ)言種類。我們基于N-Gram和貝葉斯理論研發(fā)了一套支持幾十種語(yǔ)言的語(yǔ)種識(shí)別技術(shù)，其中重點(diǎn)對(duì)中文簡(jiǎn)體、中文繁體、英、日、韓、俄、葡、西、法、德、阿等語(yǔ)種的識(shí)別進(jìn)行了優(yōu)化，提升了識(shí)別準(zhǔn)確度。

文本分類
文本分類算法是指按照一定的分類體系或標(biāo)準(zhǔn)，自動(dòng)為文本標(biāo)記所屬類別。文本分類算法能將非結(jié)構(gòu)化信息按照給定分類體系，是海量數(shù)據(jù)應(yīng)用和管理的基礎(chǔ)，應(yīng)用場(chǎng)景十分廣泛。我們參照《GB/T 20093-2013 中文新聞信息分類與代碼》二級(jí)分類體系，在此基礎(chǔ)上結(jié)合數(shù)據(jù)和產(chǎn)品特點(diǎn)進(jìn)行歸并、映射，形成既符合行業(yè)標(biāo)準(zhǔn)又滿足用戶行為習(xí)慣的分類標(biāo)準(zhǔn)。文本分類算法目前支持中、英兩個(gè)語(yǔ)種

敏感性判定
敏感性判定算法主要用于敏感信息的過(guò)濾，包括反動(dòng)、色情、暴力等多種類別。我們以統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型為基礎(chǔ)，利用人工標(biāo)注的大規(guī)模語(yǔ)料資源，結(jié)合基于語(yǔ)言學(xué)知識(shí)和詞向量構(gòu)造的多語(yǔ)敏感詞詞典，實(shí)現(xiàn)了統(tǒng)計(jì)與規(guī)則相結(jié)合的敏感性分析系統(tǒng)。敏感性判定算法目前支持中、英兩個(gè)語(yǔ)種。

文本質(zhì)量評(píng)估
文本質(zhì)量評(píng)估算法主要用戶互聯(lián)網(wǎng)挖掘數(shù)據(jù)的過(guò)濾和清洗，提高信息質(zhì)量，提升用戶體驗(yàn)。文本質(zhì)量評(píng)估算法采用機(jī)器學(xué)習(xí)、智能識(shí)別等技術(shù)，能夠有效識(shí)別包含亂碼、代碼、腳本等噪聲數(shù)據(jù)和行文隨意、語(yǔ)法混亂的灌水?dāng)?shù)據(jù)。

事件要素提取
事件要素提取算法能夠?qū)⒎墙Y(jié)構(gòu)化的自然語(yǔ)言文本進(jìn)行結(jié)構(gòu)化，可用于新聞事件的深度分析與挖掘。我們采用一種無(wú)監(jiān)督學(xué)習(xí)方法，無(wú)需大規(guī)模人工標(biāo)注語(yǔ)料即可提取出文本篇章中最核心的時(shí)間、地點(diǎn)、人物、事件特征等信息，更符合大數(shù)據(jù)時(shí)代開(kāi)放數(shù)據(jù)處理需求。

多語(yǔ)言詞向量
詞向量是深度學(xué)習(xí)中常用的一種詞語(yǔ)表示方法，既能表達(dá)詞本身又能表達(dá)與其他詞語(yǔ)的語(yǔ)義關(guān)聯(lián)。詞向量技術(shù)是將自然語(yǔ)言詞匯進(jìn)行高效量化表達(dá)的一種重要方式。我們采用神經(jīng)網(wǎng)絡(luò)模型，在大規(guī)模平行語(yǔ)料庫(kù)的基礎(chǔ)上，以中文或英文為核心橋接語(yǔ)言，利用單語(yǔ)語(yǔ)料以及句子對(duì)齊語(yǔ)料為訓(xùn)練數(shù)據(jù)，構(gòu)建了多語(yǔ)詞向量庫(kù)。能有效解決多種跨語(yǔ)言任務(wù)，包括多語(yǔ)言文本分類、多語(yǔ)言文本聚類、多語(yǔ)言情感分析，以及跨語(yǔ)言檢索引擎。

自然語(yǔ)言處理算法

方案概述

應(yīng)用服務(wù)

聯(lián)系我們