明報APP
報章內容
馬斯克公開Grok源碼 參數量勝OpenAI
【明報專訊】特斯拉（Tesla）（美：TSLA）行政總裁馬斯克經營的AI公司「xAI」 宣布開源其聊天機械人Grok所使用的大型語言模型（LLM）Grok-1。這是一個參數達3140億的混合專家模型（Mixture of Experts model，MoE），供開發者在現有基礎上進行開發，使Grok-1成為當前參數量最大的開源大型語言模型，相比下OpenAI GPT-3.5的參數量只有1750億。由於Grok-1規模巨大，須配備足夠GPU的器材，才能以程式碼樣本來測試該模型。
「xAI」透露，Grok-1 是由「xAI」 從頭開始訓練的AI模型，是屬於「預訓練階段」（pre-training phase）的原始基礎模型。該階段於去年10月結束，意味該模型沒有針對任何特定功能（例如對話）進行微調。相比下，在 X（原稱Twitter）可使用的Grok大語言模型，是經過微調的版本。
允許商業使用及修改
Grok-1是按Apache 2.0協議來開放模型權重和架構，意味它允許商業使用及修改。馬斯克此前在加州入稟法院，控告ChatGPT開發商OpenAI不夠Open，違反其設立目的。