「啞巴AI」Jev上線3天捲瘋矽谷!70毫秒做出決策 14萬開發者搶測

「啞巴AI」Jev上線3天捲瘋矽谷!70毫秒做出決策 14萬開發者搶測。(圖:shutterstock)
「啞巴AI」Jev上線3天捲瘋矽谷!70毫秒做出決策 14萬開發者搶測。(圖:shutterstock)

一款不會寫文章、也無法陪聊的「啞巴AI」,近日迅速席捲矽谷。

Jev發布僅3天,便獲Vercel、Cloudflare及LangChain等主流平台整合;內測開放不到36小時,更吸引多達14萬名開發者湧入。與ChatGPT等生成式AI不同,Jev不輸出文字,而是以最快70毫秒的速度,直接給出附帶機率的判斷。

Jev由ChatGPT核心發明者之一、InstructGPT論文第四作者Diogo Almeida創立的TypeSafe AI推出。Almeida認為,AI產業過去將「會說話」視為智慧,卻忽略真正的自動化需要的不是流暢回答,而是能在無人監督下做出快速、可靠且可量化的決策。

從聊天轉向決策

Almeida是OpenAI早期核心研發人員之一,也是RLHF與InstructGPT的奠基者之一。然而,ChatGPT爆紅後,他開始反思,為何具備超人類對話能力的模型,仍未帶來真正的通用人工智慧(AGI)。

他認為,RLHF讓模型學會提供符合人類偏好的回答,卻也使其在無人值守的系統中難以被完全信任。為了維持長篇文字的一致性,模型往往被訓練得過度自信,主動捨棄低機率選項,因此即使聲稱「有八成把握」,這項機率也未必可靠。

Almeida因此離開OpenAI、創辦TypeSafe AI,並從底層訓練架構重新出發,打造不負責說話、只負責判斷的Jev。

不生成文字 只回傳機率

Almeida將Jev稱為「System One模型」,名稱取自諾貝爾經濟學獎得主卡尼曼《思考,快與慢》中的「系統一」,代表不經複雜推理、迅速完成的直覺判斷。

使用者可向Jev輸入客訴郵件、程式碼或其他混亂資料,模型則回傳類型化決策與機率分布,不生成任何文字。官方提供Choice、Score與Noul三種互動方式,分別用於選擇指定選項、給出分數,以及輸出0至1之間的機率。

由於Jev只能在事先劃定的範圍內分配機率,無法產生選項之外的內容,程式取得的也始終是符合格式的合法值。

Jev還能將所有輸出並行取樣、一次完成,不必像大型語言模型逐字生成,因此端到端判斷僅需70至500毫秒;相同工作若交給前沿大型模型,則需3至329秒。

 輸出token永久免費

Jev不需要逐字產生內容,因此輸出token永久免費,TypeSafe僅針對輸入收費,每100萬token收取0.042美元。已有開發者利用Jev審查程式碼拉取請求(PR),單次成本僅約7萬分之1美元,審查1,000個PR約花費7美分,同樣工作若交給Opus 5,成本則達14.5美元。

支撐Jev的是名為RLCD的「校準決策強化學習」。相較RLHF獎勵符合人類偏好的回答,RLCD要求模型提出的機率必須與實際命中率相符;若模型給出0.9,就必須有九成機率判斷正確。

Jev也可把複雜任務拆成多個問題並行處理。例如審查商業計畫書時,可分別評估市場規模、技術可行性及差異化,再由軟體組合各項結果。

TypeSafe展示的應用還包括即時遊玩《毀滅戰士》,每秒做出10次決策,每小時算力成本約7美元,以及從維基百科數千個連結中鎖定目標。

數百種用例快速冒出

Jev推出後,已有數百種應用出現。有人將其整合進Mac語音助手,在指令尚未說完前便啟動指定應用程式;谷歌Gemma官方帳號也迅速發布「DiffusionGemma as Jev」,將自家擴散模型導入這套新範式,透過一次去噪並行提供所有選項的機率,並補上視覺能力。

TypeSafe強調,Jev並非要取代現有大型語言模型,而是與其組成「雙核心搭檔」。大型模型負責生成內容,Jev則在旁快速評分,合格便放行,不合格就退回重寫。

不過,Jev面對需要逐步推導的數學問題時,能力最多約為GPT-4水準,目前也不支援影像輸入。

Jev名稱取自經濟學上的「傑文斯悖論」:效率提升後,資源消耗反而增加。Almeida押注,當AI決策變得足夠快速、便宜且可靠,開發者對AI的需求不會下降,反而會擴散至所有程式碼,成為軟體自動化的新基礎。


延伸閱讀

相關貼文

prev icon
next icon