OpenAI 宣布成立一個新的準備團隊,負責評估災難性風險的高度先進的基準模型,並為這些模型的安全開發制定政策。
還宣布了一項美容挑戰,要求參賽者填寫一份調查,前 10 名提交的作品將獲得 25,000 美元的 API 積分。
前沿人工智慧
政府內外流傳著一個與未來危害相關的短語,即「前沿人工智慧」。
前沿人工智慧是一種尖端人工智慧,它為解決人類最大的問題提供了可能性,但也有可能造成巨大的傷害。
OpenAI 將 Frontier AI 定義為:
「……高容量基礎模式可能具有足以對公共安全構成嚴重風險的危險能力。
前沿人工智慧模型提出了不同的監管挑戰:危險的能力可能會意外出現; 很難穩健地防止已部署的模型被濫用; 而且,很難阻止模型的功能廣泛擴散。”
籌備組
OpenAI 將管理前沿模型的挑戰描述為量化人工智慧被濫用時造成的損害程度的能力,形成風險管理框架的想法,並了解如果這些惡意意圖被濫用,可能會發生什麼損害。實現了。 技術的
準備團隊的任務是最大限度地降低前沿模型的風險,並產生一份名為《風險知情開發政策》的報告,該報告描述了 OpenAI 評估、監控和建立開發流程監督的方法。
OpenAI 描述了團隊的職責:
「準備團隊將把能力評估、評估和前沿模型的內部紅隊緊密聯繫起來,從我們近期開發的模型到具有AGI級別能力的模型。
該團隊將幫助追蹤、評估、預測和防範跨多個類別的災難性風險…
OpenAI 準備團隊
世界各國政府正在評估前沿人工智慧當前潛在的危害和未來可能造成的危害,以及如何最好地監管人工智慧以管理發展。
OpenAI 準備團隊在這項討論中領先一步,現在正在尋找答案。
作為該計劃的一部分,OpenAI 宣布了一項準備挑戰,為防止災難性濫用的十大建議提供 25,000 美元的 API 積分。
閱讀 OpenAI 公告:
邊境風險和準備