設置
  • 日夜間
    隨系統
    淺色
    深色
  • 主題色

90/270 億參數,谷歌發(fā)布 Gemma 2 開(kāi)源 AI 模型:性能力壓同級、單 A100 / H100 GPU 可運行

2024/6/28 8:21:10 來(lái)源:IT之家 作者:故淵 責編:故淵
感謝IT之家網(wǎng)友 VrianCao、咩咩洋、Diixx、有鯽雪狐 的線(xiàn)索投遞!

IT之家 6 月 28 日消息,谷歌公司昨日發(fā)布新聞稿,面向全球研究人員和開(kāi)發(fā)人員發(fā)布 Gemma 2 大語(yǔ)言模型,共有 90 億參數(9B)和 270 億參數(27B)兩種大小。

Gemma 2 大語(yǔ)言模型相比較第一代,推理性能更高、效率更高,并在安全性方面取得了重大進(jìn)步。

谷歌在新聞稿中表示,Gemma 2-27B 模型的性能媲美兩倍規模的主流模型,而且只需要一片英偉達 H100 ensor Core GPU 或 TPU 主機就能實(shí)現這種性能,從而大大降低了部署成本。

Gemma 2-9B 模型優(yōu)于 Llama 3 8B 和其他類(lèi)似規模的開(kāi)源模型。谷歌還計劃在未來(lái)幾個(gè)月發(fā)布參數為 26 億的 Gemma 2 模型,更適合智能手機的人工智能應用場(chǎng)景。

谷歌表示為 Gemma 2 重新設計了整體架構,實(shí)現卓越的性能和推理效率。IT之家附上 Gemma 2 主要特點(diǎn)如下:

性能優(yōu)異:

27B 版本在同規模級別中性能最佳,甚至比兩倍于其尺寸的機型更具競爭力。9B 版本的性能在同類(lèi)產(chǎn)品中也處于領(lǐng)先地位,超過(guò)了 Llama 3 8B 和其他同規模的開(kāi)放模型。

效率和成本:

27B Gemma 2 模型可在單個(gè)谷歌云 TPU 主機、英偉達 A100 80GB Tensor Core GPU 或英偉達 H100 Tensor Core GPU 上以全精度高效運行推理,在保持高性能的同時(shí)大幅降低成本。這使得人工智能部署更容易實(shí)現,預算也更合理。

跨硬件快速推理

Gemma 2 經(jīng)過(guò)優(yōu)化,可在各種硬件(從功能強大的游戲筆記本電腦和高端臺式機到基于云的設置)上以驚人的速度運行。

在 Google AI Studio 中嘗試全精度的 Gemma 2,在 CPU 上使用 Gemma.cpp 的量化版本解鎖本地性能,或通過(guò) Hugging Face Transformers 在配備 NVIDIA RTX 或 GeForce RTX 的家用電腦上進(jìn)行嘗試。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時(shí)間,結果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:Gemma 2,人工智能,AI

軟媒旗下網(wǎng)站: IT之家 辣品 - 超值導購,優(yōu)惠券 最會(huì )買(mǎi) - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 魔方 酷點(diǎn)桌面 Win7優(yōu)化大師 Win10優(yōu)化大師 軟媒手機APP應用