把AI檢測當畢業論文硬性指標,是不是早了點?


“它(AIGC 檢測)真的不是為了賺學生的錢嗎?”
在提出這個疑惑之前,本科應屆生易肖竹的畢業論文已經提交了五次 AIGC 檢測。
四月底,在完成導師指導下的三輪修改后,她按照要求將論文提交至知網查重,AIGC 檢測結果顯示她的論文有一段 AIGC 低風險和一段高風險,“那段高風險內容我是自己寫的,這個結果讓我非常震驚”,那時的她還以為修改會比較簡單,沒想到后來“降 AI”的拉鋸戰竟會持續十天。
第一次修改時,她學著小紅書教的方法,盡量多加介詞和連接詞,結果無效。于是,她改變策略,請朋友按照自己的寫作習慣來改寫高風險文段,但直至她檢測到了第四次,文段依舊保持高風險。
正一籌莫展時,她想起另一位和她吐槽過相同經歷的同學,彼時同學已經成功通關,同學給她支了個招——用 AI 改寫 AI,這一版 AI 輔助的修改文段最終通過了 AIGC 檢測。
這五次修改,易肖竹在 AI 檢測上用了 10 天,花費了 171.5 元。但是,如何應對 AI 檢測,她仍然沒摸出什么門道。
今年年初,福州大學、中國傳媒大學等高校陸續發布了畢業論文(設計)AIGC 檢測的通知,2024 屆畢業生成為 AIGC 檢測元年的第一批探路者。
隨著 AI 技術的發展,國內的論文檢測系統陸續上線 AIGC 檢測服務,為高校學術不端檢測提供了新選項。從部分高校公開發布的畢業論文通知可以看出,高校對 AIGC 檢測率的規范方式大致分為三種:影響考評、自主披露和限定占比。無論是高校公開發布的通知,抑或是流傳在學生之間的學校文件,都可以感知到 AIGC 檢測是畢業論文學術不端檢測的大勢所趨。“學校雖然沒有明文規定 AIGC 檢測率,但學院要求需要小于 20%,我的導師要求我們降到 5%以下”,在湖南上大學的陳慧敏如是說道。
在翟天臨學術不端事件后,高校加大了對學生論文重復率的檢查力度。然而,AI 檢測成為畢業論文的“新殺手”:從前,在“降重”時只需要將重復率高的文本替換寫法,重復與否容易區分,降重目標很明確;現在,“降 AI”卻如同面對黑箱,需要反復猜測 AIGC 檢測的標準是什么,目標變得抽象。
在“降 AI”這項工作中,劉鑫宇比易肖竹踩了更多的雷。她總共做了 9 次 AIGC 檢測,問題五花八門:在格子達小程序里檢測出無風險的文段,到格子達網頁端又有風險了;本是“中風險”的論文,時隔九日重新提交檢測時,疑似片段居然從 16 段上升至 28 段,論文重新變成了“高風險”。
“可能是我的文風太硬了吧,室友都說我寫的像新聞聯播”,被 AIGC 檢測折磨得心力交瘁的劉鑫宇無奈地說道。
檢測結果差異大,“降 AI”更像玄學
AI 檢測到底有多玄學?為了體驗易肖竹和劉鑫宇檢測過程中的同款迷惑,澎湃新聞記者將一篇完全由 AI 生成的論文提交到四個高校常用的 AIGC 檢測系統進行檢測,發現這些平臺由于模型差異,對于論文中 AI 生成占比的認定差異較大。同一篇論文,AI 占比最多能相差 32%,盡管這四個結果放在高校的畢業論文要求里都是不合格的水平。
不同軟件之間的“AI 檢出率”差距大,是不是意味著 AIGC 檢測不靠譜?
這就要從檢測的原理談起。
根據國外一款 AI 檢測器 GPTZero 的創始人 Edward Tian 介紹,GPTZero 的檢測主要依靠于“困惑度”(Perplexity)和“爆發度”(Burstiness)兩項關鍵指標。
困惑度可以理解為可預測性。當檢測器可以準確猜測出文本的下一個詞、下一句話時,文本的困惑度就越低,文章越可能被判定為 AI 生成。但這種判定方式也不一定準確,比如“我想吃一個(睡覺)”與“我想吃一個(蘋果)”這種不合常理的胡言亂語,相比更有可能被判定人類所寫,只因為 AI 也猜不出你接下來要說什么。
爆發度可以理解為句子長度與復雜性的變化。AI 生成的句子長度與結構趨向統一,而人類作文隨心所欲,動態性更強,這也是“降 AI”教程中常提的加標點符號、長句變短句的意旨。
2023 年 7 月 20 日,OpenAI 低調關停僅上線半年的 AIGC 檢測器“AI Text Classifier”,原因是“準確度較低”,但 AIGC 檢測的發展步伐并未放緩。
另一款 AI 檢測產品 GPTZero 在 2023 年初剛上線時,獲得了超乎意料的關注;同時,也受到了來自學生群體的攻擊。然而,用檢測結果來“為難”學生,并不是這款產品的初衷,創始人 Edward Tian 在推特中表示道,“任何學生都不應該因為使用 AI 而受到老師的懲罰……直到政策得到全面制定前”。因此,在 GPTZero 的檢測結果頁面可以看到一行字,上面寫道,“這個結果不應該用來直接懲罰學生”。
AIGC 檢測率只是一個參考數值,這也是國際反剽竊巨頭 Turnitin 的認識。
2023 年 3 月 16 日,Turnitin 在官網文章中提出,“鑒于我們的假陽性率不是零,您作為講師需要應用您的專業判斷、學生的知識以及圍繞作業的具體背景”,在 Turnitin 看來,檢測結果應該被視為一種指示,而不是指控,“我們的工作是創造方向正確的信息,供老師開啟對話”,Turnitin 的首席產品官 Annie Chechitelli 在接受華盛頓郵報的采訪時說道。
在國內,知網、維普、萬方等服務于大部分高校的論文檢測系統,在 AI 的發展潮流下陸續上線 AIGC 檢測服務,并于 2024 年論文季開始廣泛實踐。但無論是知網、維普、萬方還是其它檢測系統,其官網都很難找到關于其 AIGC 檢測產品的詳細介紹。在 AIGC 檢測技術發展尚不成熟的階段,部分國內高校將檢測結果作為畢業論文合格的硬性門檻,對檢測結果體感最強的學生被無奈地困在了迷茫的“降率”中。
規范 AI 使用,國內外高校視角不同
除了類似“AI 檢測率”這樣的硬指標劃定,國內一些高校也在探索其他規范使用 AI 的方式,比如中國傳媒大學繼續教育學部設計了《本科畢業論文(設計)生成式人工智能使用情況說明表》,由學生自主披露論文中的 AI 使用情況。
除了畢業論文之外,在更廣泛的課堂上如何使用 AI 的問題,國外高校大多將決定權交給了任課教師。
例如,麻省理工學院邀請了四位對 AIGC 使用有所研究的本校教師發表觀點,希望為其他教師提供參考。四位老師對 AIGC 的態度整體分為了支持和限制兩個陣營,在文章的開頭,學校保守地表示“這并不代表麻省理工學院對此的官方看法”,麻省理工學院將選擇權交給了老師。
與麻省理工學院相似,杜克大學鼓勵教師起草自己的 AIGC 政策。除此之外,杜克大學在面向教師發表的《人工智能政策:指導方針和注意事項》中指出,AIGC 檢測軟件存在系統不可靠、對部分群體存在偏見、無法跟上人工智能發展腳步的弊端,因此學校明確表示“不建議教師將 AIGC 檢測器作為 AI 政策的一部分”,即使教師決定使用檢測軟件,也不應將檢測結果作為衡量學生是否作弊的唯一標準。
相比于其他兩校,波士頓大學的 AIGC 使用政策內容更為細致,該校政策認為“誠實和公平是在學業中使用人工智能的核心”,因此規定使用 AIGC 的學生需要提交一份附錄詳細說明作業過程中與 AIGC 的完整交流,同時,政策也對不同程度使用人工智能的學生劃分了對等的賦分規范。值得提及的是,波士頓大學的 AIGC 使用政策由 47 名學生制定,政策在獲得批準后應用在了整個計算和數據科學系。
雖然各校針對 AIGC 使用的政策內容不一,但內容背后折射出一個相似的價值觀:人工智能的使用不僅關乎學生,也關乎教師,同時,教師承擔著引導學生正確使用人工智能的角色。
所以,AI 寫的論文怎么樣?
澎湃新聞記者以澎湃美數課發布的稿件為樣本(《114 萬條招聘數據:考研,真的能帶來好工作嗎?》),請 AI 將其改寫成一篇本科畢業論文。AI 擬定的標題就很有論文的派頭:《考研與就業:基于招聘數據分析的研究生教育價值探究》,再往下,論文必要的引言、文獻綜述、研究方法等五臟俱全。難道,AI 寫論文,沒問題嗎?
雖然高校會為學生分配畢業論文指導老師,但是對于部分毫無論文寫作經驗的本科生而言,基礎問題不好意思提問,專業的表達很難臨時抱佛腳。這時,永遠在線,永遠有問有答的 AI,成為他們最好的指導老師。
在小紅書搜索“如何讓 AI 幫你寫論文”,可以得到上至框架下至致謝的所有指令,靈感枯竭時,AI 可以分點分行快速給出回答;不會措辭?把思路丟給 AI 就能得到一段表述完整的文本——在 AI 的幫助下,學生可以大大提升寫論文的效率。
從改寫的論文來看,AI 確實非常了解論文的謀篇布局,它甚至掌握各個專業的術語和研究方法,這意味著研究目標、研究方法這類可以依靠大數據“舊壺裝新酒”的內容是 AI 的舒適區,同時也意味著 AI 很難提出新穎的思路和觀點。
在寫論文的所有環節中,引用文獻是 AI“幻覺”頻發的重災區。在這篇 AI 改寫的論文中,引用文獻共五篇,但根據記者核實,其中有三篇論文并不存在。所以,如果想讓 AI 幫你搜索參考文獻,要小心有胡編亂造的風險。
AIGC 檢測,是指示還是“指控”?
鑒于人工智能的諸多局限性,一篇內容單純依靠 AI 生成的論文,在答辯過程中也大概率難以過關,和論文相比,AI 寫的論文更像一篇有“論文味”的文章。
但在部分國內高校的實踐中,AIGC 檢測率卻成為比答辯還難應對的合格門檻。“AI 應該作為輔助工具,為人類創作賦能”,這是人們提起 AI 時常提的立場,當高校將 AIGC 檢測結果作為評估畢業論文的硬性指標時,是否奪走了學生的解釋權?這種將數據簡單化為標準的方式是否也是對工具的濫用?
目前人工智能的發展水平確實有造成學術不端的風險,但人工智能在校園的使用規范中,是否存在更彈性的空間,更軟性的方式呢?
本文鏈接:http://knowith.com/news-2-465.html把AI檢測當畢業論文硬性指標,是不是早了點?
聲明:本網頁內容由互聯網博主自發貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。
科技部等三部門發文開展專項行動 促進科技類社會團體發揮學術自律自凈作用
【公示】關于對2023年北京市朝陽區高質量文旅發展扶持資金擬支持項目(下半年)的公示
【申報】政務網站與政務新媒體運營項目招標公告
關于豐臺區舉辦“豐帆行動”計劃——孵化機構推介專場的通知
【解讀】金融監管總局有關負責人就《國務院關于推進普惠金融高質量發展的實施意見》答記者問
北京技術合同成交額破8000億元 委員熱議持續疏通科技轉化“堵點”
《自然資源數字化治理能力提升總體方案》
圖說外觀設計|一圖概覽外觀設計本國優先權制度
【解讀】工業領域數據安全能力提升實施方案(2024—2026年)重點問題回應
《工業領域數據安全能力提升實施方案(2024-2026年)》
介紹便捷秒到攻略:DY月付額度如何套出秒到!
介紹操作秒到攻略:鹿優選先享卡額度如何取出來