ChatGPT剋星來了！22歲工程師發明GPTZero，靠「文字困惑度」抓包AI文章

最近2個月，科技圈最熱的話題，無疑是OpenAI推出的對話式AI ChatGPT，不僅可以為你寫一首詩、回答你任何問題，甚至可以讓它幫忙寫沒那麼複雜的程式碼。業內甚至認為，ChatGPT有取代Google的潛力。

為ChatGPT歡呼的還有另一群人，就是「社畜」和學生，他們發現月度總結、學校論文和作業這樣的任務，也可以讓ChatGPT代勞，後者甚至能寫得有模有樣，不比真人差多少。

ChatGPT似乎讓學生們的日子更輕鬆了，但卻讓教師更「頭疼」，因為後者很難確認眼前這些文字，到底是學生寫的，還是出自OpenAI的產品之手。為此，紐約教育部甚至禁止公立學校使用ChatGPT。

在這樣的混亂中，一位普林斯頓大學（Princeton University）的學生——Edward Tian推出了一個辨認ChatGPT的軟體「GPTZero」。有了這面「照妖鏡」，內容是人寫的，還是機器寫的，真相馬上就揭曉。

GPTZero在網路迅速爆紅，吸引a16z（Andreessen Horowitz）在內的矽谷創投目光。但是軟體創造者本人Tian卻認為，現在最重要的事，是讓AI更透明。

GPTZero成ChatGPT殺手

在ChatGPT成為學生的「偷懶」神器後，教育和科學研究機構不得不抵制這個惡夢。

紐約教育部宣布禁止學生在公立學校使用ChatGPT；知名的「國際機器學習大會」（ICML）也宣布禁止發表包含由ChatGPT和其他類似系統產出的論文，以免出現「意外後果」。

出於學術界對使用ChatGPT道德問題的擔憂，Tian在一家咖啡店裡，花一個寒假的時間，研發GPTZero，希望能讓學術界恢復嚴謹性。

Tian年僅22歲，目前仍是美國普林斯頓大學的大四學生，主修計算機科學專業，專門研究自然語言處理，同時輔修認知科學和新聞學。

他還曾是英國廣播公司（BBC）和開源情報網站Bellingcat的研究員，也曾是被微軟收購的分析公司Miburo Solutions的分析師。在那裡，他監測假訊息和機器人驗證。Tian認為，所有的經歷，都是他研發GPTZero的動力。

2023年1月2日，Tian將GPTZero發布到網路，預計只會有幾十個人會嘗試它，完全沒想過，這會掀起一場世界級的軒然大波。在他把這款軟體上傳到網路上的幾小時內，竟有超過2000人在Steamlit測試GPTZero的公開版本。

1月5日，發布的第三天，Tian更新了GPTZero，顯著降低它的誤報率；此時，新程式已有超過1萬的用戶量了！Tian也不禁對它的「爆炸性增長」和「病毒式傳播」震驚。

據NPR報道，一周內有3萬多人試用了GPTZero，甚至「導致該軟體因出乎意料的高流量」崩潰，GPTZero使用的免費平台Streamlit介入，以更多容量和資源處理網路流量、支持Tian。

Tian在一支影片中，展示了軟體如何區分人類或人工智慧撰寫的文本。

GPTZero怎麼運作？

GPTZero的工作原理就是檢測文本的「困惑度」（Perplexity）和「突發性」（Burstiness）這2項指標，分別針對2個指標打分數。再根據統計學確定，文本是由人工智慧寫的還是人類寫的。總的來說，當2項參數得分都很低時，該文本很可能出自AI之手。

「困惑度」（Perplexity）

這裡所說的「困惑度」，是指人類書寫語言的複雜性和隨機性。這個指標主要衡量一個句子中的隨機程度，及一個句子的構造方式，是否讓GPTZero感到困惑。

每當用戶在GPTZero輸入一段測試內容，它就會分別計算出：「文字總困惑度」、「所有句子的平均困惑度」、「每個句子的困惑度」。

這些數值越低，越能說明GPTZero對文本非常「熟悉」，那它很可能就是由AI生成；相反的，如果這些數值越高，就越能說明文本中句子的構造或用詞方式，讓 GPTZero感到「驚訝」，那麼它有更高的可能是出自人類之手。

這是因為，人工智慧接受過數據庫的訓練，產生的文本在一段時間內，表現出的困惑度會更平均和穩定，選詞的可預測性也更高；人類書寫的文本並不會這樣，真人的用字遣詞通常會比較隨機，較容易寫出出乎意料的詞句。

「突發性」（Burstiness）

「突發性」，則指來自人類使用的句子結構變化。這個參數主要是比較句子複雜性的變化，衡量它們的一致性。

這是因為，人類傾向於書寫高度複雜的文本；而AI產出的文本則是低複雜度的；此外，人類的思維結構並不是線性的，AI的句子結構則遵循類似的模式。

這意味著，人類使用句子結構，會在長而複雜的句子、短而簡單的句子之間搖擺不定，有更多句式變化。像是複雜和簡單交替並存，一個長難句之後，出現簡短的句子；而機器生成的句子則更加統一，很少會有一系列長度相差很大的句子。

簡而言之，在選詞上「簡單」而「熟悉」，並使用「統一整齊」的句子，是人工智慧生成作品的標誌特徵；更複雜和多樣的東西，則是人類寫的。這也是「困惑度」和「突發性」這2項指標可以作為衡量標準的原因。

除了Tian本人對GPTZero進行測試之外，也有不少網友用它對ChatGPT、GPT-3衍生工具生成的內容進行多次測試。最終結果顯示，GPTZero每次都能抓住AI生成的文本，並在十多個案例中，正確的識別人類寫的文本。

GPTZero一炮而紅，讓Tian獲得來自a16z、 Menlo Ventures和Red Swan等知名創投的青睞。不過，面對Twitter私訊和電話轟炸，Tian顯得異常冷靜，他謙遜的表示自己不會拒接投資者打來的電話，但他不會忘記自己仍是一位即將畢業的大四學生。

同時，他還表示自己的GPTZero尚未完成，仍需改進和進一步的開發，甚至計劃讓大家繼續免費使用他的程式，用來支持各地新晉老師的工作。

AI技術產生文本，如何不被濫用？

對於GPTZero這一個辨別文字是否為AI寫作的新程式，Twitter上的輿論褒貶不一。以教師為代表的成年人大多喜聞樂見，但學生卻諷刺GPTZero的創造者Tian是「學術緝毒警察」。

的確，當GPTZero推出時，Tian收到許多教師對該應用程式檢測AI文章的積極回饋，來自世界各地的教師也都對Tian表達他們的感激之情，因為這大大減輕了他們的教學難度。當然，也不難理解，不少學生不看好Tian這款打擊學術偷工減料、不勞而獲的軟體。

OpenAI也在打造AI文本檢測器

但，在做這件事的不只有Tian，ChatGPT的開發商OpenAI自己，也已經承諾要防止人工智慧剽竊。

2022年12月，OpenAI專注於人工智慧安全的研究員Scott Aaronson透露，公司正在努力開發「緩解措施」，用一種「不易察覺的秘密訊號」在GPT生成的文本打「浮水印」，以識別來源、打擊作弊的系統。

這項技術將透過微妙的調整特定單詞發揮作用，讀者不會注意到，但對於任何尋找機器生成文本痕跡的人來說，這在統計上其實都可預測。

OpenAI公司發言人表示，「我們把ChatGPT當作測試新技術，希望從現實世界的應用，進行學習。我們認為這是開發、部署功能強大且安全的AI系統的關鍵。我們會不斷吸取回饋和經驗教訓。」

此外，OpenAI聯合哈佛等高校機構聯合打造一款檢測器：GPT-2 Output Detector。

作者們先是發布了一個「GPT-2生成內容」和WebText資料集，幫助AI理解機器語言和人類語言之間的差異。

隨後，用這個資料集對RoBERTa模型微調，就得到了這個AI檢測器。人類語言一律被識別為True，AI生成的內容則一律被識別為Fake。

值得一提的是，RoBERTa是BERT的改進版。原始的BERT使用13GB大小的資料集，但RoBERTa使用的是包含6300萬則英文新聞、160GB的資料集。

儘管如此，還是有不少人認為「AI文本檢測器」，注定是一場會失敗的「軍備競賽」，實際效果並不理想，更無法阻擋ChatGPT等AI語言模型的發展。

AI文本檢測器的目的，不是為了反AI

儘管Tian建立了GPTZero，他並不反對使用ChatGPT等人工智慧工具。他認為GPTZero應用程式的目的，不是要阻止使用新技術，而是提供負責任使用新技術的方法，並有必要的保護。

同時，比起對抗或者禁止一項技術，也許更重要的是，如何為其使用定下規範和標準。例如，在廣告、影視及娛樂等行業，對於AI生成內容的容忍度，可能要適當的提高；在學術、教育和科研領域，非常強調準確性和原創性，對AI產生內容的容忍度就要低一些。

如何確定使用AI工具的「透明度」，可能要比研究如何「反AI」，要更有效，也更有意義。

＊本文獲「極客公園」授權轉載，原文：他做了一個「ChatGPT 殺手」，a16z 搶著投

責任編輯：倪旻勤
核稿編輯：陳瑋鴻