Albertina: Foundation Encoder Model for Portuguese

Albertina PT é uma iniciativa nacional de investigação em Inteligência Artificial dedicada ao desenvolvimento de modelos fundacionais de linguagem para português europeu (PT-PT) e português do Brasil (PT-BR). O projeto procura reforçar a soberania tecnológica da língua portuguesa, disponibilizando modelos de IA avançados, abertos e adaptados às especificidades linguísticas das comunidades lusófonas.

Desenvolvido por uma parceria entre instituições académicas de referência, incluindo a Universidade de Lisboa e o LIACC – Laboratório de Inteligência Artificial e Ciência de Computadores da Faculdade de Engenharia da Universidade do Porto, o projeto responde à escassez de modelos de linguagem competitivos especificamente treinados para português.

O principal resultado do projeto é a família de modelos Albertina PT, baseada na arquitetura Transformer DeBERTa. Os modelos foram pré-treinados em milhares de milhões de palavras provenientes de fontes diversificadas em português, incluindo corpora web, documentação institucional e conteúdos parlamentares, permitindo uma representação linguística mais precisa e robusta da língua portuguesa.

A iniciativa pretende democratizar o acesso a infraestruturas avançadas de Processamento de Linguagem Natural (NLP), disponibilizando os modelos em regime open-source e promovendo a sua utilização por investigadores, empresas e entidades públicas. Esta abordagem contribui para acelerar a inovação em aplicações de IA generativa, pesquisa semântica, análise documental, assistentes virtuais e sistemas de apoio à decisão.

Os resultados científicos demonstram que os modelos Albertina PT estabelecem um novo estado da arte em várias tarefas de compreensão da linguagem em português, superando modelos anteriores e reforçando a capacidade de investigação e desenvolvimento tecnológico no ecossistema lusófono.

Period: 2022 – ongoing