在大模型技術(shù)迅猛發(fā)展、智能體應(yīng)用加速落地的背景下，眾多政企機構(gòu)紛紛積極布局接入大模型，助力提升效率、賦能業(yè)務(wù)發(fā)展。但隨之而來的大模型安全隱患，也讓率先擁抱AI的參與者感到憂慮。以某智慧平臺為例，日均檢測出不良內(nèi)容1000余條。如何避免不良內(nèi)容、敏感內(nèi)容出現(xiàn)、護航大模型安全前行，成為一道必解之題。
9月8日，ISC.AI 2025上海大模型安全論壇暨大模型安全衛(wèi)士產(chǎn)品發(fā)布會在上海外灘FTC成功舉辦。此次發(fā)布的360大模型安全衛(wèi)士，是360基于“安全+AI”雙重優(yōu)勢推出的戰(zhàn)略級產(chǎn)品，以四大智能體為核心，系統(tǒng)化破解AI安全難題，全面夯實智能化發(fā)展基座，標志著我國在大模型安全防護領(lǐng)域取得了重要進展。
360集團創(chuàng)始人、ISC大會主席周鴻祎指出，AI發(fā)展面臨著惡意利用、內(nèi)容安全、幻覺問題、提示詞攻擊等風(fēng)險，大模型既是生產(chǎn)力工具，也可能成為新的攻擊載體和攻擊入口，政府和企業(yè)的數(shù)據(jù)資產(chǎn)、商業(yè)機密面臨著前所未有的暴露風(fēng)險，保障AI安全是一項長期而艱巨的任務(wù)，需要各方協(xié)同努力。
以模制模，四大智能體系統(tǒng)筑牢AI安全防線
360數(shù)字安全集團副總裁余凱分析稱，面對AI安全新挑戰(zhàn)，傳統(tǒng)安全企業(yè)在大模型技術(shù)領(lǐng)域積淀不足，往往是“盲人摸象”，難以系統(tǒng)把握全局；而多數(shù)大模型企業(yè)缺乏必要的安全技術(shù)積累與攻防實踐經(jīng)驗，往往難以提出行之有效的解決方案。
作為國內(nèi)唯一兼具數(shù)字安全和人工智能雙重能力的企業(yè)，360基于“以模制?！崩砟畲蛟?60大模型安全衛(wèi)士，聚焦解決AI的“可靠、可信、可控、向善”核心問題，以四大智能體系統(tǒng)性解決大模型生命周期中各環(huán)節(jié)的安全問題，以此充分發(fā)揮“懂AI更懂安全”的跨領(lǐng)域優(yōu)勢。
第一，內(nèi)容安全智能體。通過垂直領(lǐng)域?qū)I(yè)模型訓(xùn)練，提供智能判定、風(fēng)險內(nèi)容檢測及安全回復(fù)代答等關(guān)鍵能力。通過建立五道內(nèi)容防線，提供100+風(fēng)險類目識別能力，確保輸入輸出雙向安全。同時，以測促防，持續(xù)對模型回復(fù)內(nèi)容進行評測，識別潛在攻擊風(fēng)險。
第二，AI Agent安全智能體。通過原生安全機制，全面保障AI Agent在執(zhí)行任務(wù)過程中的數(shù)據(jù)安全與權(quán)限控制，有效防范自動規(guī)劃與執(zhí)行中可能出現(xiàn)的行為失控問題，把大模型能力“關(guān)在籠子里”。
第三，幻覺抑制智能體。通過搜索增強、知識增強與對齊增強技術(shù)，提升大模型推理過程的準確性，有效抑制因內(nèi)容時效性缺失、數(shù)據(jù)過時等因素引發(fā)的大模型“幻覺”問題，確保生成內(nèi)容真實可信。
第四，軟件安全智能體。能夠高效識別開源軟件，精準定位AI軟件的安全漏洞。覆蓋從模型訓(xùn)練到推理的全鏈路安全檢測，支持識別模型服務(wù)相關(guān)組件、生態(tài)鏈漏洞掃描與多語言代碼審計，保障AI軟件供應(yīng)鏈生命周期的安全性。
此外，360創(chuàng)新性地將大模型安全衛(wèi)士融入安全運營體系，通過整合安全大模型、安全大腦平臺、大模型安全衛(wèi)士及終端探針工具的核心能力，構(gòu)建 “網(wǎng)數(shù)模一體化”安全運營平臺，實現(xiàn)安全運營系統(tǒng)性重塑與升級。
實戰(zhàn)守護1.5萬卡算力集群
余凱表示，AI安全是一個門檻極高的技術(shù)領(lǐng)域，需要同時具備AI技術(shù)積淀、安全實戰(zhàn)經(jīng)驗、真實場景驗證和海量語料積累。360通過自身大規(guī)模AI業(yè)務(wù)場景驗證產(chǎn)品能力，形成“從實踐中來，到實踐中去”的迭代閉環(huán)，同時沉淀了海量安全語料，構(gòu)建起了難以復(fù)制的核心競爭力。目前，360大模型安全衛(wèi)士已在公司內(nèi)外多項業(yè)務(wù)中實現(xiàn)深度應(yīng)用。
數(shù)據(jù)顯示，在360自有AI大模型業(yè)務(wù)實踐中，日均守護1.5萬卡算力集群、3000P+算力及數(shù)十條核心AI業(yè)務(wù)鏈路，為業(yè)務(wù)穩(wěn)定運行筑牢安全防線。在內(nèi)容安全方面，通過部署360大模型安全衛(wèi)士，可將開源大模型安全性提升10%-30%。
在某智慧政務(wù)內(nèi)容安全保障過程中，360大模型安全衛(wèi)士日均檢測不良內(nèi)容1000余條，業(yè)務(wù)代答900余條，回復(fù)安全率超99%，風(fēng)險識別準確率達99%以上，守護政務(wù)工作安全基線，有力推動政府智能化轉(zhuǎn)型。
在支撐某監(jiān)管部門大模型備案監(jiān)管方面，360大模型安全衛(wèi)士接入8個備案大模型，完成100+檢查，積累專項評測數(shù)據(jù)集超100萬條，為監(jiān)管部門提供了強有力的數(shù)據(jù)支持與決策依據(jù)。
綜合安全思路、產(chǎn)品體系、技術(shù)維度等方向觀察，360已深度參與大模型國家標準、大模型技術(shù)研發(fā)標準、大模型安全框架標準以及國家人工智能三大核心安全標準的制定，同時，積極牽頭成立行業(yè)生態(tài)聯(lián)盟，促進全球產(chǎn)學(xué)研企共建AI安全。360大模型安全衛(wèi)士發(fā)布后，有望為金融、政務(wù)、醫(yī)療、文旅等重點行業(yè)的智能化升級提供堅實安全基座，助力打造具有全球競爭力的人工智能發(fā)展高地。
采寫：南都N視頻記者 繆凌云