這項由東京大學領導的研究發表於2026年4月1日的預印本平臺arXiv，論文編號為arXiv:2604.01128v1論文。有興趣深入瞭解的讀者可以透過該編號查詢完整論文。
想象一下，如果有一天你的論文作業可以完全由AI代勞完成，從構思到寫作再到實驗分析，全程自動化，這會是怎樣的體驗？這個看似遙遠的未來其實已經悄然來臨論文。東京大學的研究團隊最近完成了一項開創性研究，他們像醫生給病人做體檢一樣，系統性地檢查了AI寫作論文的"健康狀況"。結果發現，AI確實已經能寫出看起來相當不錯的學術論文，但就像一個健談的說書人，雖然故事講得生動有趣，卻時常在不經意間編造一些子虛烏有的情節。
研究團隊開發了一套名為"論文重構評估"（PaperRecon）的測試方法，就像給AI作者安排了一場特殊的"閉卷考試"論文。他們先把一篇已發表的優秀論文"拆解"成最基本的要素——就像把一道複雜菜品還原成食譜的關鍵步驟，然後要求AI根據這些簡化資訊重新"烹飪"出完整的論文。透過對比AI重構的論文與原版論文，研究人員就能精確評估AI的寫作能力以及潛在的問題。
這種評估方法的巧妙之處在於，它將AI寫作的質量分解為兩個相互獨立的維度來考察論文。第一個維度是"表現力"，就像評判一個演員的臺詞功底和表演技巧，看AI能否準確傳達論文的核心觀點、邏輯結構和學術規範。第二個維度是"真實性"，就像核查新聞報道的事實準確性，檢驗AI是否會編造資料、歪曲事實或者新增原文中並不存在的內容。
為了進行這項測試，研究團隊精心構建了一個包含51篇論文的評估基準——PaperWrite-Bench論文。這些論文全部來自2025年後發表的頂級學術會議，涵蓋了從計算機視覺到自然語言處理的多個前沿領域。就像選擇代表性樣本進行民意調查一樣，這個基準確保了評估結果的全面性和可靠性。
一、AI寫作能力的雙面性論文：精彩表演背後的真相
當研究團隊將兩個目前最先進的AI寫作系統——ClaudeCode和Codex——放在這個測試平臺上時，結果既令人振奮又讓人擔憂論文。這就像觀看一場高水平的辯論賽，兩位選手各有千秋，但也都暴露了明顯的短板。
ClaudeCode在表現力方面展現出了令人印象深刻的能力論文。它就像一個經驗豐富的學術寫手，能夠熟練地組織論文結構，恰當地使用學術語言，並且在表達複雜概念時顯得遊刃有餘。具體來說，它的表現質量評分達到了3.86分（滿分5分），這意味著AI生成的論文在大多數方面都能較好地保持原文的核心要點和學術水準。更重要的是，隨著底層模型的不斷升級（從Claude Sonnet 4到Claude Sonnet 4.6），這種表現能力還在持續提升，就像一個勤奮的學生透過不斷練習而日益精進。
展開全文
然而，當研究人員深入檢查這些看似出色的論文內容時，卻發現了一個令人不安的現象論文。ClaudeCode雖然寫得好，但它就像一個喜歡誇大其詞的講故事高手，平均每篇論文會包含超過10個明顯的事實錯誤或"幻覺"內容。這些幻覺就像在真實故事中摻雜的虛構情節，可能是編造的資料數字、錯誤的方法描述，或者是原文中根本不存在的實驗結果。
相比之下，Codex展現出了截然不同的特點論文。如果說ClaudeCode是個能說會道但有時信口開河的演說家，那麼Codex更像是一個謹慎保守的學者。它的表現質量評分相對較低，大約在3.26到3.59分之間，這意味著在論文的組織結構和表達流暢度方面還有待提升。但是Codex有一個突出的優點：它非常"誠實"，平均每篇論文只產生大約3個幻覺內容，遠遠低於ClaudeCode的水平。這種現象反映了AI系統設計中的一個根本性權衡——表達能力與事實準確性之間往往存在著微妙的平衡關係。
二、測試方法的巧思論文：如何給AI作者打分
東京大學研究團隊設計的評估方法就像是為AI寫作能力量身定製的"標準化考試"論文。整個評估過程分為三個環環相扣的步驟，每一步都有其獨特的意義和作用。
第一步是"素材準備"，研究人員會將一篇完整的學術論文"解構"成幾個基本元件論文。這個過程就像把一道精美的菜餚還原成食譜，保留最關鍵的食材和製作步驟，但去掉所有的細節裝飾。具體來說，他們會提取論文的核心觀點總結（約463個單詞）、重要的圖表、參考文獻列表，以及相關的程式碼檔案。這樣做的目的是確保AI獲得的資訊既足夠重構出高質量論文，又不會因為資訊過於詳細而失去挑戰性。
第二步是"重構寫作"，AI系統需要基於這些簡化的素材重新創作出完整的學術論文論文。這就像給一個廚師提供基本食材和簡單說明，要求他們重現一道複雜的大菜。在這個過程中，AI需要展現出多重能力：理解學術概念的能力、組織論文結構的能力、使用恰當學術語言的能力，以及保持邏輯連貫性的能力。
第三步是"多維評估"，這是整個方法最具創新性的部分論文。研究團隊沒有簡單地讓AI評委給論文打個總分了事，而是設計了兩套相互獨立的評估體系，就像從不同角度拍攝同一個物體以獲得完整的認知。
表現力評估採用了"標準清單"的方法，就像餐廳評級時會檢查服務、環境、食物質量等各個具體專案一樣論文。研究人員會為每篇原始論文預先制定一個詳細的評分標準，明確列出每個章節應該包含的關鍵要素。例如，摘要部分應該清楚說明研究問題、方法創新點和主要發現；方法部分應該詳細描述技術路線和關鍵演算法；實驗部分應該涵蓋資料集、評估指標和對比結果等。然後，他們會逐一檢查AI重構的論文是否包含這些要素，並根據完成質量給出1到5分的評分。
真實性評估則更像是新聞記者的事實核查工作論文。研究人員會仔細梳理AI論文中的每一個具體陳述，特別是那些涉及資料、方法細節和實驗結果的內容，然後與原始論文逐一對照驗證。他們將AI的陳述分為三類：第一類是"支援性"陳述，即在原文中有明確依據或可以合理推導的內容；第二類是"中性"陳述，雖然原文沒有直接提及，但屬於合理的一般性描述或補充資訊；第三類是"矛盾性"陳述，即與原文事實明顯衝突的錯誤資訊，這類陳述就是研究團隊重點關注的"幻覺"內容。
為了確保評估的準確性，研究團隊還設計了一套兩階段驗證機制論文。首先由一個AI系統進行初步的事實核查，標記出所有可疑的陳述；然後由另一個更強大的AI系統進行二次驗證，過濾掉可能的誤判，確保最終識別出的幻覺內容確實是明顯的事實錯誤。
三、實驗結果的啟示論文：當AI遇到學術寫作的挑戰
透過在PaperWrite-Bench基準上的系統性測試，研究團隊揭示了當前AI寫作系統的真實能力水平論文。這些發現就像一面鏡子，既反映出AI技術的驚人進步，也暴露了仍需解決的關鍵問題。
在表現力方面，所有測試的AI系統都展現出了相當可觀的能力論文。即使是表現相對較弱的Codex，其平均得分也達到了3.26分，這意味著AI重構的論文在大部分評估維度上都能達到"部分完成"到"基本完成"的水平。而表現最好的ClaudeCode配合Sonnet4.6模型時，平均得分達到3.86分，已經非常接近"大部分完成"的標準。更令人鼓舞的是，隨著底層語言模型的不斷升級，這些得分呈現出明顯的上升趨勢，表明AI寫作能力正在穩步提升。
從具體的章節表現來看，AI系統在不同型別的內容上展現出了不同的能力特點論文。摘要部分的得分普遍最高，平均達到4分以上，這說明AI已經很好地掌握了學術摘要的寫作規範和要素。相比之下，相關工作（Related Work）部分的得分相對較低，平均在2.5到3分之間，反映出AI在梳理學術脈絡和定位研究貢獻方面還存在一定困難。這種現象其實很容易理解，因為相關工作的撰寫需要對整個研究領域有深入的理解和準確的判斷，而這正是當前AI系統的薄弱環節。
然而，當研究人員轉向幻覺檢測時，結果變得複雜起來論文。ClaudeCode雖然在表現力上出類拔萃，但它產生幻覺的頻率也相當高。以ClaudeCode配合Sonnet4.6為例，平均每篇論文包含10.4個重大事實錯誤，這些錯誤分佈在論文的各個章節中，其中方法部分（4.7個）和實驗部分（3.6個）是重災區。這些幻覺內容往往涉及關鍵的技術細節、資料數字或實驗結果，如果不加察覺地被採用，可能會誤導讀者甚至影響後續研究。
Codex的表現形成了鮮明對比論文。雖然它的表現力得分較低，但在事實準確性方面表現出色。特別是使用GPT-5.4模型的Codex，平均每篇論文只產生3個重大幻覺，相比ClaudeCode減少了近70%。這種差異反映了不同AI系統在設計理念和訓練策略上的根本差別：一些系統更注重生成內容的流暢性和完整性，而另一些系統則更強調輸出的保守性和準確性。
研究團隊還發現了一個有趣的現象：AI系統在不同研究領域的表現存在明顯差異論文。自然語言處理領域的論文重構質量最高，平均得分達到3.77分，幻覺數量也相對較少（6.0個）。這可能是因為NLP領域的研究往往更多基於概念和方法創新，而較少涉及複雜的數學公式和技術實現細節，更適合當前AI系統的能力特點。相比之下，計算機視覺和多媒體處理領域的論文重構難度更大，不僅表現得分相對較低，幻覺數量也更多。
四、技術細節論文：評估框架的精巧設計
東京大學研究團隊在設計PaperRecon評估框架時，展現出了工程師般的精巧思維論文。整個系統就像一臺精密的檢測儀器，每個元件都經過精心設計，確保能夠公平、準確地評估AI的寫作能力。
在論文重構的準備階段，研究團隊面臨的第一個挑戰是如何從完整論文中提取"恰到好處"的資訊論文。資訊太多會讓測試失去挑戰性，資訊太少則可能導致AI無法完成合理的重構。經過反覆實驗，他們確定了一個標準化的資訊提取流程：使用GPT-5自動生成研究概述檔案，平均長度控制在463個單詞，既包含了論文的核心思想和主要方法，又保留了足夠的重構空間。
為了確保資訊質量，研究人員還對每個概述檔案進行了人工稽覈和必要的調整論文。這個過程就像編輯精選新聞摘要一樣，需要在簡潔性和完整性之間找到完美平衡。此外，他們還提供了論文的圖表檔案、參考文獻（包含摘要資訊）以及相關程式碼，為AI提供了多模態的資訊支撐。
在表現力評估的設計上，研究團隊採用了"定製化標準清單"的創新方法論文。他們沒有使用一刀切的通用評估標準，而是為每篇測試論文量身定製了專門的評分標準。這就像為不同型別的比賽制定相應的評判規則一樣，確保評估的公平性和準確性。
具體來說，對於每篇原始論文，研究人員會先使用GPT-5.4自動生成初步的評分標準，然後由研究團隊成員進行人工稽覈和完善論文。最終的評分標準平均包含10-15個具體的評估點，覆蓋了從內容完整性到技術準確性的各個維度。例如，對於一篇關於影像識別的論文，評分標準可能包括："是否清楚說明了資料集的特點和規模"、"是否詳細描述了神經網路架構"、"是否提供了與現有方法的對比結果"等具體要求。
在幻覺檢測方面，研究團隊設計了一套兩階段驗證機制，就像法庭上的兩輪審理程式一樣，確保判斷的準確性論文。第一階段使用GPT-5.4對AI論文中的每個具體陳述進行事實核查，將其分類為支援性、中性或矛盾性三類。這個過程需要AI評判員具備很強的邏輯推理能力，不僅要識別明顯的事實錯誤，還要區分合理的推論和不當的臆測。
第二階段則使用功能更強大的Claude Code進行復審，重點關注第一階段標記為"矛盾性"的陳述論文。複審系統可以訪問原始論文的完整資源，包括LaTeX原始碼、圖表檔案和程式碼庫，進行更深入的事實核查。這種設計有效減少了誤判的可能性，確保最終識別的幻覺內容確實是明顯的事實錯誤。
研究團隊還進行了人工驗證來確保自動評估的可靠性論文。他們隨機抽取了97個被標記為"重大矛盾"的陳述，由研究人員進行逐一核查，結果發現96%確實是真實的幻覺內容。這個高準確率證明了自動評估系統的可靠性，也為大規模評估提供了技術基礎。
五、現實意義論文：AI寫作時代的機遇與挑戰
這項研究的意義遠遠超出了學術評估的範疇，它為我們理解即將到來的AI寫作時代提供了重要的參考框架論文。就像早期汽車剛剛出現時人們需要了解其效能極限和安全隱患一樣，我們現在也需要清楚地認識AI寫作系統的能力邊界和潛在風險。
從積極的角度看，研究結果表明AI已經具備了相當強的學術寫作能力論文。特別是在論文結構組織、語言表達和格式規範等方面，AI的表現已經達到了可用的水平。這意味著AI可以成為研究人員的有力助手，幫助他們提高寫作效率，特別是在初稿生成、內容整理和語言潤色等環節。對於非母語英語的研究人員來說，這種幫助尤其有價值。
同時，研究還發現了一個有趣的現象：AI系統的寫作能力正在隨著底層模型的升級而穩步提升論文。從Claude Sonnet 4到Sonnet 4.6，從GPT-5到GPT-5.4，每一次模型更新都帶來了明顯的效能改進。這種趨勢暗示著，在不久的將來，AI的學術寫作能力可能會達到更高的水平，甚至在某些方面超越人類作者。
然而，研究結果也揭示了一個不容忽視的嚴重問題：幻覺現象的普遍存在論文。平均每篇AI論文包含3到10個重大事實錯誤，這個數字聽起來可能不算太高，但在學術研究的語境下卻是極其危險的。學術論文的價值在很大程度上依賴於其事實準確性和可重複性，即使是少數幾個關鍵錯誤也可能導致整個研究結論的失效。
更令人擔憂的是，這些幻覺內容往往具有很強的迷惑性論文。它們不是明顯的胡言亂語，而是看起來合理、聽起來專業的錯誤資訊。例如，AI可能會編造一個聽起來很有道理的資料數字，或者錯誤地描述某個演算法的工作原理。這種"高質量"的錯誤資訊更容易被讀者接受，從而產生更大的誤導作用。
研究團隊還發現了一個值得深思的權衡現象：表現力與真實性之間存在著某種反比關係論文。那些寫作能力更強、表達更流暢的AI系統往往也更容易產生幻覺內容，而那些更加保守、更注重準確性的系統在表達能力上相對較弱。這種權衡反映了當前AI技術的一個根本性挑戰：如何在保持創造性和表達力的同時確保輸出的可靠性。
從學術界的角度看，這項研究為制定AI使用規範提供了重要依據論文。許多頂級會議和期刊已經開始考慮如何應對AI寫作的衝擊，這項研究的結果表明，簡單的停用或完全放開都不是最佳選擇。相反，學術界需要建立更精細的使用規範，例如要求明確標註AI使用情況、加強事實核查流程，或者在特定環節限制AI的使用。
對於普通研究人員而言，這項研究提供了使用AI寫作工具的實用指導論文。研究結果表明，AI在某些任務上表現出色（如摘要寫作、結構組織），而在其他任務上存在明顯風險（如技術細節、資料包告）。明智的做法是充分利用AI的優勢，同時對其輸出保持審慎態度，特別是對涉及具體資料和技術細節的內容進行仔細核查。
六、未來展望論文：構建可信AI寫作的新路徑
這項研究不僅揭示了當前AI寫作系統的現狀，更重要的是為未來的技術發展指明瞭方向論文。就像早期的計算機程式需要不斷除錯和完善一樣，AI寫作系統也需要在實踐中不斷改進，朝著更加可靠和實用的方向發展。
研究團隊提出了幾個有價值的改進思路論文。首先是開發更精細的控制機制，讓使用者能夠根據具體需求調整AI系統在表現力和準確性之間的權衡。就像調節汽車的駕駛模式一樣，使用者可以根據不同的使用場景選擇"保守模式"或"創新模式"，前者優先確保事實準確性，後者則更注重表達的豐富性和創造性。
其次是建立更完善的事實核查機制論文。研究團隊設計的兩階段驗證方法已經顯示出良好的效果，未來可以進一步完善，甚至整合到AI寫作系統的內部流程中。這樣的系統就像內建了"事實檢查員"的智慧寫作助手，能夠在生成內容的同時自動識別和標記可能的事實錯誤。
第三個重要方向是提高AI系統對自身能力邊界的認知論文。目前的AI系統往往會"過度自信"，即使在不確定的情況下也會給出看似確定的答案。未來的系統應該學會表達不確定性，對於沒有充分依據的陳述使用"可能"、"據推測"等限定性語言，或者乾脆承認"這個問題超出了我的知識範圍"。
研究還為學術評估系統的發展提供了新思路論文。傳統的同行評議系統可能需要適應AI寫作時代的新挑戰，例如開發專門的AI檢測工具、建立更嚴格的事實核查流程，或者設計針對AI生成內容的評估標準。PaperRecon框架本身就是這種努力的一個典型例子，它可能成為未來學術評估工具箱中的重要組成部分。
從更宏觀的角度看，這項研究也為AI安全和可信AI的發展提供了有價值的案例論文。幻覺問題不僅存在於學術寫作中，在新聞報道、法律文書、醫療診斷等更多高風險應用場景中也可能出現類似問題。研究團隊開發的評估方法和發現的規律可能對這些領域的AI應用也具有指導意義。
說到底，這項研究讓我們看到了AI寫作技術的巨大潛力，也清楚地認識到了當前存在的關鍵問題論文。AI確實已經能夠寫出結構合理、表達流暢的學術論文，但它還不是一個完全可靠的寫作夥伴。就像我們在使用任何強大工具時都需要保持謹慎一樣，在AI寫作時代，我們既要充分利用技術帶來的便利，也要時刻警惕潛在的風險。
歸根結底，這項研究為我們提供了一個重要啟示：技術進步的意義不僅在於能力的提升，更在於我們對這種能力的深入理解和合理運用論文。只有在充分認識AI寫作系統能力邊界的基礎上，我們才能真正發揮其價值，同時避免潛在的風險。對於即將全面進入AI時代的我們來說，這樣的認知比技術本身可能更加珍貴。
Q&A
Q1：PaperRecon評估方法是如何工作的論文？
A：PaperRecon就像給AI安排了一場特殊的"閉卷考試"論文。研究人員先把一篇完整的學術論文"拆解"成基本要素（核心觀點總結、圖表、參考文獻等），然後要求AI根據這些簡化資訊重新寫出完整論文。最後透過對比AI重構的論文與原版論文，從表現力和真實性兩個維度評估AI的寫作能力和潛在問題。
Q2：ClaudeCode和Codex在寫論文方面有什麼區別論文？
A：ClaudeCode就像一個能說會道但有時信口開河的演說家，表現質量評分高達3.86分，但平均每篇論文包含超過10個事實錯誤論文。Codex更像謹慎保守的學者，表現質量相對較低（3.26-3.59分），但非常"誠實"，平均每篇論文只產生約3個幻覺內容。兩者體現了表達能力與事實準確性之間的權衡關係。
Q3：AI寫論文的幻覺問題有多嚴重論文？
A：相當嚴重且具有迷惑性論文。研究發現AI論文平均包含3-10個重大事實錯誤，這些不是明顯胡言亂語，而是看起來合理、聽起來專業的錯誤資訊，比如編造的資料數字或錯誤的方法描述。在學術研究中，即使少數關鍵錯誤也可能導致整個研究結論失效，因此需要格外警惕。
