国产草莓视频在线观看_欧美同性videos免费播放_免费一级毛片激情永久_国产特级全黄一线毛片_精品少妇影视免费_2020无码专区人妻日韩_最新国产网站_刘亦菲激情旡码大片_中文无码视频互动交流_欧美日韩激情aⅤ综合在线

 

    • OpenAI重組GPT-5「靈魂」團隊！亞裔女負(fù)責(zé)人遭調(diào)離，罕見自曝AI幻覺禍?zhǔn)?/h1>
    作者:YanUeao　來源:大同　瀏覽:　【大中小】　發(fā)布時間:2025-09-06評論數(shù):

    新智元報道

    編輯：KingHZ 好困

    【新智元導(dǎo)讀】OpenAI重磅結(jié)構(gòu)調(diào)整：ChatGPT「模型行為」團隊并入Post-Training，前負(fù)責(zé)人Joanne Jang負(fù)責(zé)新成立的OAI Labs。而背后原因，可能是他們最近的新發(fā)現(xiàn)：評測在獎勵模型「幻覺」，模型被逼成「應(yīng)試選手」。一次組織重組+評測范式重構(gòu)，也許正在改寫AI的能力邊界與產(chǎn)品形態(tài)。

    就在剛剛，OpenAI決定——重組ChatGPT「個性」研究團隊！

    這個約14人的小組，規(guī)模雖小但責(zé)任重大——他們要負(fù)責(zé)讓GPT模型知道該怎么和人類進行交互。

    根據(jù)內(nèi)部消息，模型行為團隊（Model Behavior team）將直接并入后訓(xùn)練團隊（Post-Training team），并向后訓(xùn)練負(fù)責(zé)人Max Schwarzer匯報。

    團隊前負(fù)責(zé)人Joanne Jang，從頭開始新的實驗室「OAI Labs」——為人類與AI的協(xié)作方式，發(fā)明并構(gòu)建新的交互界面原型。

    與此同時，OpenAI還非常罕見地發(fā)了一篇論文揭秘——讓AI產(chǎn)生「幻覺」的罪魁禍?zhǔn)?，就是我們自己?/p>

    整個行業(yè)為了追求高分排行榜而設(shè)計的「應(yīng)試」評估體系，迫使AI寧愿去猜測答案，也不愿誠實地說出「我不知道」。

    論文地址：https://openai.com/index/why-language-models-hallucinate/

    超現(xiàn)實的一天

    模型行為團隊幾乎參與了GPT-4后的全部模型研發(fā)，包括GPT-4o、GPT-4.5以及GPT-5。

    上周，作為Model Behavior團隊負(fù)責(zé)人的Joanne Jang，登上《時代》百大AI人物榜單的「思想家」（Time AI 100 Thinkers），超越圖靈獎得主、深度學(xué)習(xí)三巨頭之一的Yoshua Bengio、谷歌首席科學(xué)家Jeffrey Dean等大佬。

    就在同一天，OpenAI決定將她從團隊調(diào)離，自己去負(fù)責(zé)一個新的方向。

    對她而言，那天的確是「超現(xiàn)實」

    Joanne Jang認(rèn)為，她的工作核心在于「賦能用戶去實現(xiàn)他們的目標(biāo)」，但前提是不能造成傷害或侵犯他人的自由。

    她直言：AI實驗室的員工不應(yīng)該成為決定人們能創(chuàng)造什么、不能創(chuàng)造什么的仲裁者

    開啟新征程：瞄準(zhǔn)下一代AI交互

    剛剛，Joanne Jang發(fā)文表示她已有新的工作職位：發(fā)明和原型化全新的交互界面，探索人與AI協(xié)作的未來方式。

    她將從頭開始負(fù)責(zé)新的OAI Labs實驗室：一個以研究為驅(qū)動的團隊，致力于為人類與AI的協(xié)作方式，發(fā)明和構(gòu)建新界面的原型。

    借此平臺，她將探索超越聊天、甚至超越智能體的新模式——邁向能夠用于思考、創(chuàng)造、娛樂、學(xué)習(xí)、連接與實踐的全新范式與工具。

    這讓她無比興奮，也是過去四年在OpenAI她最享受的工作：

    把前沿能力轉(zhuǎn)化為面向世界的產(chǎn)品，并與才華橫溢的同事們一起打磨落地。

    從DALL·E 2、標(biāo)準(zhǔn)語音模式，到GPT-4與模型行為，她在OpenAI的工作涵蓋不同的個性化與交互方式。

    她學(xué)到了很多，體會深刻：

    塑造一個界面，是多么能夠激發(fā)人們?nèi)ネ黄葡胂蟮倪吔纭?/p>

    在接受采訪時，她坦言，現(xiàn)在還在早期階段，究竟會探索出哪些全新的交互界面，還沒有明確答案。

    我非常興奮能去探索一些能突破「聊天」范式的模式。聊天目前更多與陪伴相關(guān)；而「智能體」則強調(diào)自主性。

    但我更愿意把AI系統(tǒng)視為思考、創(chuàng)造、游戲、實踐、學(xué)習(xí)和連接的工具。

    OpenAI的模型行為研究員，負(fù)責(zé)設(shè)計和開發(fā)評測體系（evals），橫跨多個環(huán)節(jié)：

    對齊（alignment）、訓(xùn)練、數(shù)據(jù)、強化學(xué)習(xí)（RL）以及后訓(xùn)練（post-training）等。

    除了研究本身，模型行為研究員還需要具備對產(chǎn)品的敏銳直覺，以及對經(jīng)典AI對齊問題的深刻理解。

    OpenAI對模型行為研究員的經(jīng)驗要求

    在之前的招聘中，OpenAI稱：模型即產(chǎn)品，而評測體系就是模型的靈魂。

    但OpenAI最新發(fā)布的研究顯示：評測體系從根本上決定了模型。

    在論文中，研究人員得出結(jié)論：

    實際上，大多數(shù)主流評測在獎勵幻覺行為。只需對這些主流評測進行一些簡單的改動，就能重新校準(zhǔn)激勵機制，讓模型在表達不確定性時獲得獎勵，而不是遭到懲罰。

    而且這種方式不僅能消除抑制幻覺的障礙，還為未來更具細(xì)微語用能力的語言模型打開了大門。

    這一發(fā)現(xiàn)對OpenAI很重要：評測體系直接影響LLM的能力。

    據(jù)報道，在發(fā)給員工的備忘錄中，OpenAI首席科學(xué)家Mark Chen指出，把模型行為進一步融入核心模型研發(fā)，現(xiàn)正是好機會。

    我們親手讓AI學(xué)會了一本正經(jīng)地胡說八道

    就在最近，OpenAI的研究員就做了一個有趣的測試。

    他們先是問一個主流AI機器人：「Adam Tauman Kalai（論文一作）的博士論文題目是什么？」

    機器人自信地給出了三個不同的答案，但沒有一個是正確的。

    接著他們又問：「Adam Tauman Kalai的生日是哪天？」

    這次機器人還是給出了三個不同的日期，同樣全是錯的。

    為了拿高分，AI被逼「拍腦袋」作答

    上面這個例子，生動地展示了什么是「模型幻覺」——即AI生成的那些看似合理、實則虛構(gòu)的答案。

    在最新的研究中，OpenAI指出：

    模型之所以會產(chǎn)生幻覺，是因為標(biāo)準(zhǔn)的訓(xùn)練和評估程序獎勵猜測行為，而非鼓勵模型承認(rèn)其不確定性。

    簡單來說就是，我們在評估AI時，設(shè)定了錯誤的激勵導(dǎo)向。

    雖然評估本身不會直接造成幻覺，但大多數(shù)評估方法會促使模型去猜測答案，而不是誠實地表明自己不確定。

    這就像一場充滿選擇題的大型「應(yīng)試教育」。

    如果AI遇到不會的題目，選擇留白不答，鐵定是0分；而如果隨便猜一個，總有蒙對的概率。

    在積累了成千上萬道題后，一個愛「蒙答案」的AI，就會比一個遇到難題時表示「不知道」的AI得分更高。

    當(dāng)前的行業(yè)主流，便是用這種「唯準(zhǔn)確率論」的排行榜來評判模型優(yōu)劣。

    這無形中鼓勵所有開發(fā)者去訓(xùn)練一個更會「猜」而不是更「誠實」的模型。

    這就是為什么即便模型越來越先進，它們依然會產(chǎn)生幻覺。

    為了有一個更直觀的感受，我們來看看OpenAI在GPT-5系統(tǒng)卡中公布的一組對比數(shù)據(jù)：

    從數(shù)據(jù)中可以發(fā)現(xiàn)：

    在準(zhǔn)確率上，舊模型o4-mini的得分更高（24% vs 22%）。

    但代價是，幾乎從不棄權(quán)（1%）的o4-mini，錯誤率（幻覺率）直接飆到了75%

    相比之下，新模型gpt-5-thinking-mini表現(xiàn)得更為「謹(jǐn)慎」，它在52%的情況下選擇不回答，從而將錯誤率控制在了26%

    幻覺源于「下一個token預(yù)測」

    除了評估體系的導(dǎo)向問題，幻覺的產(chǎn)生還與大語言模型的學(xué)習(xí)機制息息相關(guān)。

    通過「下一個token預(yù)測」，模型掌握了語法、語感和常識性關(guān)聯(lián)，但它的短板也正在于此。

    對于高頻、有規(guī)律的知識，比如語法、拼寫，模型能通過擴大規(guī)模來消解

    對于低頻、任意的事實，比如生日、論文標(biāo)題，模型則無法從模式中預(yù)測

    理想情況下，這些幻覺應(yīng)該能在模型預(yù)訓(xùn)練完成后的環(huán)節(jié)中被消除。

    但正如上一節(jié)所述，由于評估機制的原因，這一目標(biāo)并未完全實現(xiàn)。

    如何教AI「學(xué)會放棄」？

    對此，OpenAI的建議是：

    應(yīng)該重罰「自信地犯錯」（confidential error），并為「誠實地承認(rèn)不確定性」給予加分。

    就像我們考試中的「答錯倒扣分」機制一樣。

    這不僅僅是通過加入新評測來「補全」就行的，而是要更新所有主流的、依靠準(zhǔn)確率的評估體系。

    最后，OpenAI也集中回應(yīng)了關(guān)于幻覺的幾個常見誤解：

    誤解1：幻覺能通過100%的準(zhǔn)確率來根除。

    發(fā)現(xiàn)：準(zhǔn)確率永遠(yuǎn)到不了100%。因為真實世界中，總有很多問題因信息不足或本身模糊而無法回答。

    誤解2：幻覺是不可避免的。

    發(fā)現(xiàn)：并非如此。模型完全可以在不確定時選擇「棄權(quán)」，從而避免幻覺。

    誤解3：只有更大的模型才能避免幻覺。

    發(fā)現(xiàn)：有時，小模型反而更容易認(rèn)識到自己的局限性。讓模型準(zhǔn)確評估自己的「置信度」（即做到「校準(zhǔn)」），比讓它變得無所不知要容易得多。

    誤解4：幻覺是一個神秘的、偶然的系統(tǒng)故障。

    發(fā)現(xiàn)：我們已經(jīng)理解了幻覺產(chǎn)生的統(tǒng)計學(xué)機制，以及現(xiàn)有評估體系是如何無意中「獎勵」這種行為的。

    誤解5：要衡量幻覺，只需要一個好的評測。

    發(fā)現(xiàn)：幻覺評測早就有了。但在數(shù)百個獎勵猜測的傳統(tǒng)基準(zhǔn)評測面前，一個好的幻覺評測收效甚微。正確的做法是，重新設(shè)計所有主流評估，加入對模型表達不確定性行為的獎勵。

    參考資料：

    https://techcrunch.com/2025/09/05/openai-reorganizes-research-team-behind-chatgpts-personality/

    https://openai.com/index/why-language-models-hallucinate/