À medida que a inteligência artificial (IA) expande seu escopo de aplicações em toda a sociedade, entender seu impacto se torna cada vez mais crítico. O projeto AI and the Future of Skills (AIFS) da OCDE está desenvolvendo uma estrutura abrangente para medir regularmente as capacidades de IA e compará-las com as habilidades humanas. Os indicadores de IA resultantes devem ajudar os formuladores de políticas a antecipar os impactos da IA na educação e no trabalho.
Este volume descreve a segunda fase do projeto: explorar três abordagens diferentes para avaliar a IA. Primeiro, o projeto explorou o uso de testes educacionais para a avaliação, pedindo a especialistas em computação que avaliassem o desempenho da IA nos testes da OCDE em leitura, matemática e ciências. Em segundo lugar, o projeto estendeu a classificação dos recursos de IA para testes usados para certificar trabalhadores para ocupações. Esses testes apresentam tarefas práticas complexas e são potencialmente úteis para entender a aplicação da IA no local de trabalho. Em terceiro lugar, o projeto explorou medidas a partir de avaliações diretas de IA. Encomendou a especialistas o desenvolvimento de métodos para selecionar medidas diretas de alta qualidade, categorizando-as de acordo com as capacidades de IA e sistematizando-as em indicadores únicos. O relatório discute as vantagens e os desafios no uso dessas abordagens e descreve como elas serão integradas ao desenvolvimento de indicadores de recursos de IA.