A Meta anunciou o lançamento do Llama 3, a versão mais recente de seu grande modelo de linguagem (LLM), em 18 de abril, descrevendo-o como um “grande salto em relação ao Llama 2”.
A empresa disse que lançou inicialmente os dois primeiros modelos da versão atual, apresentando parâmetros 8B e 70B, com os próximos modelos programados para apresentar parâmetros 400B.
A Meta enfatizou que o Llama 3 foi treinado com um “conjunto de dados de treinamento grande e de alta qualidade” com mais de 15 trilhões de tokens, 7x maior que o Llama 2 e apresentando 4x mais código.
O Llama 3 também apresenta técnicas de filtragem, incluindo filtros NSFW, para garantir a qualidade dos dados.
O LLama 3 supera o Llama 2 e modelos concorrentes, como Claude Sonnet da Anthropic, Mistral Medium e Chat GPT-3.5 da OpenAI em mais da metade das vezes em 12 casos de uso.
Os primeiros lançamentos do Llama 3 são modelos baseados em texto. No entanto, os lançamentos futuros serão multilíngues e multimodais. Eles também apresentarão um contexto mais longo e demonstrarão melhor desempenho em raciocínio e codificação, que Meta descreveu como “capacidades essenciais de LLM”.
A empresa planeja implantar o Llama 3 em todos os principais provedores de nuvem, modelos de provedores de API e outros serviços. Ela planeja lançar o produto “em todos os lugares”.