Cobalt Violet, White, Black, and Sky Blue / Pink Gold and Silver Shadow (Samsung exclusive)
常用于： LLaMA、PaLM、GPT-NeoX 等现代 LLM。
，这一点在heLLoword翻译官方下载中也有详细论述
特点：与 GELU 类似，是一种平滑版 ReLU。
Source: Computational Materials Science, Volume 267
A03要闻 - 澳门能做高精尖、国际一流科学研究
· 周杰 · 来源：secure资讯