Performance compétitive et succès de référence
Dans les benchmarks internes, les modèles OLMo d’AMD se sont bien comportés par rapport aux modèles open source de taille similaire, tels que TinyLlama-1.1B et OpenELM-1_1B, dans des tests multitâches et de raisonnement général, a affirmé la société. Plus précisément, ses performances ont augmenté de plus de 15 % sur les tâches en GSM8k, un gain substantiel attribué au réglage fin supervisé multiphase et à l’optimisation des préférences directes (DPO) d’AMD. ‘
Selon AMD, lors des tests de chat multitours, OLMo a montré un avantage de 3,41 % en termes de taux de victoire d’AlpacaEval 2 et un gain de 0,97 % en MT-Bench par rapport à ses concurrents open source les plus proches.
Cependant, si l’on considère le paysage LLM plus large, la superpuce GH200 Grace Hopper et le GPU H100 de Nvidia restent les leaders du traitement LLM, en particulier pour les charges de travail d’IA volumineuses et multiformes. L’accent mis par Nvidia sur des innovations telles que la liaison C2C, qui accélère le transfert de données entre son CPU et son GPU, lui donne un avantage, offrant un avantage en termes de vitesse pour les tâches d’inférence très demandées telles que les systèmes de recommandation.
