免費電子書：自然語言處理

自然語言 前言 簡介 歷史 理論篇 知識表達 語法理論 語意理論 語用理論 方法篇 規則比對 機率統計 神經網路 應用篇 語料建構 全文檢索 自動分類 自動摘要 機器翻譯 問答系統 中文處理 程式篇 交談程式 英漢翻譯 維基語料 搜尋引擎 相關資源 語料辭典 程式工具 相關網站 相關文獻 網頁列表 統計資訊 最新修改 訊息 相關網站 參考文獻 最新修改 簡體版 English

文章 本書簡介 自然語言處理簡介 語法理論 語意理論 自然語言處理的歷史 自然語言處理系統 問答系統：BASEBALL — 一個回答有關棒球比賽紀錄的系統 (Green, Wolf, Chomsky, Laughery 1963) 問答系統：Eliza — 一個與人自然交談的系統 (Weizenbaum 1966) 程式實作：中文版 Eliza — 你的程式會與人聊天嗎，本文仿照 Eliza 用 Java 設計了一個交談機器人。 自動摘要：FRUMP — 自動摘要程式 (Gerald DeJong 1982) 理解問答：MARGIE — Schank 團隊根據 Conceptual Dependency 理論所做的問答程式。 理解問答：BORIS — Schank, Dyer 根據 Conceptual Dependency 理論所做的問答程式。 語句對齊：Giza++ — (F.J.Och) 統計式語句對齊系統 (Sentence Alignment)。 統計翻譯：Moses — 統計式機器翻譯系統 (使用 Giza++ 進行語句對齊)。 網頁翻譯：Google 翻譯 — Google 的翻譯工具網頁，有 JavaScript API 可用。 理論篇 語法理論 — (Grammar) 喬姆斯基 (Chromsky) …。 生成語法 — (Generative Grammar) 具有遞歸結構的語法規則，像是 Context Free Grammar (CFG)。 容錯語法 — (Fault Tolerant) 自然語言的語法與程式語言不同，必須要能容忍不能完全符合規則的語法。 連結語法 — (Link Grammar) 連結語法式一種像拼圖一樣的語法，符合的兩個字詞可以被拼成一塊。 表格式剖析器 — (Chart Parser) 表格式剖析器是一種容錯能力較強的剖析器，採用表格式的漸近計算方式。 語法的學習 — (Grammar Learning) 利用機器學習語法規則，通常必須要有標記語料庫 (Corpus) 或語句樹 (Tree Bank)。 內外學習演算法 — (Inside-Outside Algorithm) 可以用來學習機率式的 PCFG 語法。 語意理論 格變語法 — (Case Grammar) 概念依存理論 — (Concept Dependency) 再探概念依存理論 — 概念依存理論的推理規則 — (Inference Rule) 目標、計畫與劇本 — (Goal、Plan and Script) 概念依存理論的相關系統 — (DYPAR, FLUMP, MAGGY, …)。 語用理論 交往行動理論 隱喻理論 原型-圖示理論 方法篇 規則比對法 正規表達式 — (Regular Expression) 生成規則 — (Context Free Grammar) 機率式生成規則 — (Probabilistical Context Free Grammar) 格變語法規則 — (Case Grammar Rule) 概念依存規則 — (Conceptual Dependency Rule) 劇本 — (Script) 機率統計方法 EM 演算法 (人工智慧) — (Expectation-Maximization) EM 演算法在自然語言上的用途 — EM 在機器翻譯、詞彙分群等領域有強大的用途。 統計式對齊法 — (Statistical Alignment) 翻譯之前必須先對齊，才能使用統計式的翻譯方法。 統計式機器翻譯 — 從 2000 年開始，基於統計的機器翻譯方法發展迅速，成為主流的機器翻譯實作方法。 自然語言與神經網路 神經網路與詞彙學習 神經網路與與語法學習 神經網路與語意學習 神經網路與機器翻譯 研究構想：神經網路式的語言模型 (Neural Network Language Model), 陳鍾誠 2009年 11 月 27 日初稿 。 研究構想：反傳遞代理人網路 (Back-Propagation Agent Network), 陳鍾誠。 實務篇 全文檢索 — 搜尋引擎背後的主角。 索引技術 — Signature — 簽名法，是用固定長度的位元串代表文件中是否有出現某個特徵的方法。 Reverse Index — 反向索引法，是目前全文檢索最有效率的索引法。 關連技術 Latent Semantic Indexing — 隱含語意索引法，利用「詞彙-文件」矩陣進行 QR 分解後，迭代的結果。 排序技術 Page Rank — Google 最早期的排序方法。 Hub-Authority — 根據交互迭代法所計算的 Hub-Authority 權重。 XML 文件的檢索方法 — (XML Information Retrieval) XML 文件的檢索方法。 XML 的欄位關鍵詞學習法 — (XML Slot Builder) XML 文件的摘要抽取 — (XML Information Extraction) 評估方法 召回率/正確率 — 全文檢索最常用的一組評估指標，包含 Recall 與 Precision 等兩項指標。 搜尋引擎實作 程式實作：網路爬蟲 — (Crawler or Spider) 抓取全球網頁，以供全文檢索使用，採用 Java 實作。 程式實作：檢索系統 — (Index & Search) 全文檢索系統，採用 Java 實作。 機器翻譯 規則式翻譯法 統計式翻譯法 EM 最佳化算法在自然語言處理上的應用 評測方法 人工評測法 自動評測法 BLEU 翻譯評測法 機器翻譯系統 Giza++ — 雙語詞彙對齊系統。 Moses — 統計式機器翻譯系統。 研究人員 — Franz Josef Och — http://www.fjoch.com/。 程式實作：一個中英對照的翻譯程式 — 簡單的機器翻譯 (含字典)，採用 Java 實作。 程式實作：翻譯精靈 — 利用 JavaScript 呼叫 Google 翻譯的小書籤 (Bookmarklet)。 問答系統 問答系統：BASEBALL — 一個回答有關棒球比賽紀錄的系統 (Green, Wolf, Chomsky, Laughery 1963) 問答系統：Eliza — 一個與人自然交談的系統 (Weizenbaum 1966) 程式實作：中文版 Eliza — 你的程式會與人聊天嗎，本文仿照 Eliza 用 Java 設計了一個交談機器人。 理解問答：MARGIE — Schank 團隊根據 Conceptual Dependency 理論所做的問答程式。 理解問答：BORIS — Schank, Dyer 根據 Conceptual Dependency 理論所做的問答程式。 Facebook 留言 Facebook Wikidot Post preview: Close preview or Sign in as Wikidot user (will not be published) - + Help: wiki text quick reference 授權 本網頁的作者、授權與引用方式 作者 陳鍾誠，於金門大學資訊工程系，電子郵件：wt.ude.uqn|ccc#wt.ude.uqn|ccc，網站：http://ccckmit.wikidot.com。 授權 本文採用創作共用 (Creative Common) 3.0 版的 姓名標示─非商業性─相同方式分享 授權條款，歡迎轉載或修改使用，但若做為商業使用時必須取得授權，引用本文時請參考下列格式。 中文版 (APA格式) 陳鍾誠 (22 Aug 2010 09:54)，(網頁標題) 免費電子書：自然語言處理，(網站標題) 陳鍾誠的網站，取自 http://ccckmit.wikidot.com/nlp:main ，網頁修改第 4 版。 英文版 (APA格式) Chung-Chen Chen (22 Aug 2010 09:54), Retrieved from http://ccckmit.wikidot.com/nlp:main , Page Revision 4.