NLP 界的核武：ChatGPT 實測心得和未來應用分析

大家最想知道，核武級的 ChatGPT 出現後該如何應對？ 未來的運作方式可能會變成像是 人類先有一個 idea ，先請 AI 做初步的資料蒐集、整理，再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調，用這樣的方式和 AI 協作。

AI Academy 編輯部2022年12月09日

ChatGPT 進行 NLP 情緒預測

ChatGPT 進行 NLP 關係抽取

大家最想知道，核武級的 ChatGPT 出現後該如何應對？

我們部門團隊這幾天玩了一下各種示例，基本上：

  • 文字類的「維基百科、 WikiHow 可以找到解答的問題」， ChatGPT 做到了很好的資訊篩選和口語化；但如果是牽涉到專業知識、實時、宏觀的問題，例如公司產業鍊關係、目前半導體業的困境等，他是無法提供「邏輯思考」的過程的。
  • 文字類「生成內容」：例如寫文章、詩、報告、故事、文件等，語意通順合情合理，但同樣不保證正確
  • 程式碼類的，ChatGPT 就像先前微軟發表的 CoPilot ，他可以根據你的情境輸出一段範例程式碼；但是不保證正確。比較適用於開源專案文件寫不清楚且無範例代碼時，可以提供一些測試參照，實際上還是需要人去「做決策」、什麼是我要的、什麼是我不要的

以下介紹 ChatGPT 和他的優劣勢：

ChatGPT

ChatGPT 是一種經過訓練微調可以回答問題和生成文本的大型語言模型 (LLM)，使用者提供一段 prompt 之後，它會根據這段 prompt 即時生成回應內容，就像和使用者聊天一樣，而且不受語言限制。

後面會提到 prompt 的技巧，可以增加他回覆的精確度。

OpenAI

2022 年 12 月 1 日，OpenAI 發布了 ChatGPT 的接口，截至 2022 年 12 月 5 日已有 100 萬活躍用戶。OpenAI 是一家專注於創造和推廣人工智能技術的研究機構，微軟是 OpenAI 的主要投資者。它在廣泛的領域進行研究，包括機器學習、機器人和計算機科學，並為 AI 領域做出了許多重大貢獻，包括開發 GPT-3，是最強大的語言處理模型之ㄧ。

ChatGPT 的訓練方式

與許多其他 LLM (Large Language Models) 不同，ChatGPT 使用來自人類反饋的強化學習 (Reinforcement learning) 進行訓練。 OpenAI 讓人工評審員對初始模型生成的輸出進行排名，以創建可用於微調模型（更具對話性）的獎勵函數。再者，透過 Zero-shot learning 讓它在不同語言情境都達到一定程度的表現。
將 ChatGPT 視為 LLM 自然進化的下一個階段，ChatGPT 可以概括為 GPT-3 以一種新方式針對問答和對話進行 fine-tune 的模型。

OpenAI 的成功要素

ChatGPT 的成功部分歸功於 OpenAI 的資源 —— 他們不僅擁有試驗這種微調過程的才能，而且他們擁有能夠加載 GPT-3 並重新訓練它的計算能力，並且能夠聘請所有需要的人工審閱者來創建足夠的數據來滿足 RL 訓練時的獎勵函數。

ChatGPT Prompt 技巧

目前 Github 已經有很多整理「如何和 ChatGPT 對話」的技巧，以下列舉：

  • 在開頭說明希望 ChatGPT 扮演什麼角色，例如 翻譯、Linux Command、Javascript Console、甚至是某某職位的面試官
  • 如果希望 ChatGPT 列點，可以加上像是「列點說明、逐步解釋」等字眼
  • 如果希望 ChatGPT 給一個程式碼範例，則加上「提供一段 XXX 的範例程式碼」
  • 如果希望 ChatGPT 類似做作業形式的回答問題，則需要明確標示「問題」是哪一段、「選項」有什麼，請回答這樣（如文章開頭那樣的方式）
  • 如果發現 ChatGPT 還沒回覆完整就停下了，表示達到輸出的限制，這時可以再接著打：「從最後一段的 XXX (開頭幾個字) 繼續」

這邊有更多 prompt 範例：https://github.com/f/awesome-chatgpt-prompts

ChatGPT 相關的應用

ChatGPT 擅長什麼

  • 搜尋、整理網路資訊、內容生成
  • 根據情境寫出示範代碼
  • 根據情境做選擇題、情緒正負面判斷等相對單純的問題
  • 幫代碼做 debugging / refactor / unit testing 等

ChatGPT 不擅長什麼

  • 邏輯推理、解釋決策：推理和決策需要的背景知識，ChatGPT 不一定有涵蓋，像是基本的家庭稱謂他竟然不是很確定，；但像政治面的局勢他竟然有收錄（問中、美、台關係時，他可以淺答）、簡單的財經觀念（公司董事持股減少時意味著什麼）他也可以回答在正確的方向上
  • 驗證正確性：ChatGPT 給出的代碼範例沒有保證正確性，依然需要開發者來評估使用

結語

未來的運作方式可能會變成像是 人類先有一個 idea ，先請 AI 做初步的資料蒐集、整理，再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調，用這樣的方式和 AI 協作。

ChatGPT 還擁有道德原則

Reference: