A seleção de artigos foi realizada por meio de critérios de inclusão e de exclusão conforme especificam as diretrizes de [6]. Foram aplicados 7 critérios de inclusão: (i) Artigo publicado entre os anos de 2015 e 2019, (ii) Artigo publicado em revistas científicas, (iii) Artigo no idioma Inglês, (iv) Artigo completo (v) O termo de busca está presente em pelo menos um dos seguintes metadados do artigo: título, resumo ou palavras-chave, (vi) O artigo deve abordar, como temática principal, a elaboração de um sistema de recomendação e sua aplicação no contexto da educação e (vii) O artigo deve apresentar a avaliação do SRE. Já os critérios de exclusão cobriam os artigos que: (i) não são estudos primário (ex. revisões sistemáticas e mapeamentos sistemáticos), (ii) duplicados (apenas o mais atual será incluído) e (iii) os complementos e negações dos critérios de inclusão.

Os artigos que foram aprovados pelos critérios de seleção receberam a avaliação de qualidade. Essa avaliação foi realizada por meio de critérios representados por 9 questões (AQ) que possuem respostas com pesos diferentes. As questões definidas foram: (i) O artigo apresenta claramente quais são as contribuições da pesquisa? (ii) O artigo apresenta claramente como a pesquisa se diferencia de outros trabalhos relacionados? (iii) O artigo apresenta claramente quais são as limitações do estudo? (iv) O artigo apresenta claramente quais são os direcionamentos futuros do estudo? (v) O artigo apresenta claramente como o perfil do usuário é construído? (vi) O artigo apresenta claramente quais técnicas e métodos são utilizados na elaboração do SRE? (vii) O artigo apresenta claramente qual o público alvo das recomendações? (viii) O artigo apresenta claramente as configurações de ambiente em que a pesquisa foi conduzida? (ix) O artigo apresenta claramente como a pesquisa foi avaliada?

Todos os estudos avaliados receberam pesos individuais computados de acordo com a Equação: (AQ1+AQ2+…+AQ9)/2. Para cada artigo analisado foi atribuída uma pontuação dentro de uma faixa de valores de 0 a 10. Apenas aqueles artigos que atingiram a pontuação mínima de 6 pontos foram aceitos. Devido a limitação de espaço, os detalhes das questões de avaliação de qualidade podem ser verificados em: https://bit.ly/3edbWKz.

A condução desta RSL iniciou em julho de 2020. Inicialmente, foram identificados 517 artigos através da inserção do texto de busca nos mecanismos de pesquisa dos três repositórios definidos. O volume de artigos obtidos nessa atividade já contou com a aplicação dos critérios de inclusão (i), (ii) e (iii), pois os repositórios possuem mecanismos de filtragem que auxiliam no uso dos respectivos critérios. Os demais foram aplicados na atividade seguinte sobre o total de artigos identificados. Foram selecionados 40 estudos.

Cada artigo selecionado foi submetido à avaliação de qualidade. Apenas artigos que obtiveram pontuação maior ou igual a 6 tiveram os seus dados extraídos e passaram para a etapa final da RSL. Como resultado, um conjunto de 20 artigos foram aprovados na avaliação. A listagem desses artigos pode ser verificada na Tabela 2.

Tabela 2
Lista de artigos aprovados

Os artigos aprovados tiveram as informações relevantes a esta RSL extraídas. Para isso, foram utilizados dois métodos: a aplicação de formulário de extração de dados e a mineração textual das publicações.

No primeiro método os artigos foram lidos por completo e os seguintes dados foram extraídos: Técnica de recomendação, Parâmetros de entrada dos recomendadores, Forma de obtenção dos parâmetros de entrada, Tipo de usuário, Nível de escolaridade dos usuários, Faixa etária dos usuários, Item recomendado e Método de apresentação das recomendações; além de informações de controle como o nome do artigo e data de acesso.

No segundo, utilizou-se a ferramenta de mineração de textos Voyant Tools². A escolha dessa ferramenta ocorreu devido a sua capacidade de sintetizar palavras chaves e relacionamentos entre termos de um corpus de análise, no caso, os artigos selecionados. O procedimento de extração dos dados por meio da plataforma de mineração ocorreu de acordo com as seguintes etapas: (i) seleção do formato de apresentação dos dados sumarizados; (ii) pré-processamento dos artigos, que compreendeu a sua conversão para um formato puramente textual; (iii) envio do corpus de análise para processamento no Voyant Tools; (iv) remoção das palavras vazias (stopwords); e (v) obtenção dos padrões identificados. A visualização das informações mineradas se deu por meio dos recursos de nuvem de palavras e de gráfico de co-ocorrência.

A partir da amostra analisada verificou-se a utilização de 11 tipos de técnicas nos estudos. A híbrida configura-se como predominante com ocorrência em 35% dos artigos. Tal abordagem baseia-se na combinação de estratégias de recomendação para reforçar as vantagens e reduzir as desvantagens ou limitações que elas possuem isoladamente. Os estudos EA2, EA4, EA10, EA12, EA13, EA15, EA20 e, em particular, são aqueles que apresentam esses recomendadores e formam a maioria de 7 estudos que propõe esse tipo de SRE.

A Filtragem Colaborativa (FC) e a Filtragem Baseada em Conteúdo (FBC), por sua vez, possuem a segunda e a terceira maior frequência. Elas estão presentes em 20% (EA3, EA4, EA7 e EA19) e 15% (EA4, EA5 e EA14) dos artigos respectivamente. Dentre os estudos que se baseiam em FC, 50% utilizam a técnica tradicional (EA3 e EA4), em que as predições são baseadas nas preferências dos usuários com interesses semelhantes em outros itens observados, e 50% propõe uma versão modificada (EA4 e EA19). Nos trabalhos em que há ocorrência de SRE baseados em FBC, apenas 1 utiliza uma abordagem tradicional baseada na similaridade de cossenos de vetores TF-IDF de palavras-chave (EA14).

O estudo EA4, em particular, propõe três SRE, um baseado em FC, outro em FBC e um terceiro híbrido que utilizam os estilos de aprendizagem dos estudantes para produzir recomendações. Devido a isso, esse estudo é contabilizado para as três técnicas.

Com menor frequência estão os SRE baseadas em grafos (EA9 e EA16) e na identificação e uso do contexto dos usuários (EA18). Eles representam 15% dos estudos. As demais técnicas possuem ocorrência única para o seu respectivo estudo e correspondem aquelas baseadas em lógica fuzzy (EA1), algoritmo de grupalização (EA6), técnicas de agregação de votos e de meta aprendizado (EA8), métodos heurísticos (EA11) e em algoritmos de classificação juntamente com redes neurais (EA17). Tais resultados se confirmam por meio da análise de mineração textual referente às palavras-chave based (n=1318), recommendation (n=1010), recommender (n=645) e recommendations (n=512) e suas conexões. No gráfico apresentado na Figura 3, observam-se as seguintes co-ocorrências para os 4 termos: collaborative-based content-recommendation, collaborative-recommendation, collaborative-recommender, ontology-recommender e ontology-recommendation. Além disso, quando os termos têm seu papel invertido, isto é, os termos co-ocorrentes content (n=359), ontology (n=324) e collaborative (n=295) são definidos como palavras-chave, outras conexões relevantes são apresentadas: collaborative-filtering, content-based e ontology-based. Essas conexões evidenciam a proximidade entre os referidos termos e indicam que os SRE baseados em FC e em FBC estão entre os principais no corpus textual dos 20 artigos. A alta frequência das co-ocorrências se deve ao fato de que mais de 50% dos estudos contam com pelo menos uma delas, seja de forma isolada, seja de forma combinada em recomendadores híbridos. Por outro lado, o vocábulo ontology apresenta-se como termo co-ocorrente de forma significativa, pois está presente em 42.85% dos recomendadores híbridos propostos (EA2, EA3 e EA10).

No que se refere aos dados de entrada dos SRE, foram constatados 10 tipos de informações. Verificou-se que, em 35% dos artigos, esses dados são utilizados de forma conjunta, por exemplo, o recomendador proposto em EA2 baseia-se nos estilos de aprendizagem, níveis de aprendizagem, interesses e dados demográficos dos estudantes. Desse modo alguns artigos possuem correspondência com mais de um parâmetro de entrada.

O interesse do usuário é o parâmetro com maior frequência nos recomendadores, ocorrendo em 55% dos estudos (EA2, EA3, EA5, EA6 ao EA8, EA10, EA13, EA16, EA19 e EA20). Dentre eles, 72,73% são obtidos de forma explícita por mecanismos de classificação de itens (ex. através da atribuição de um valor que indique alto interesse ou baixo interesse). Os outros 27,27% (EA5, EA6 e EA16) obtém às preferências dos usuários de forma implícita através da captura de dados relativos ao comportamento dele, como por exemplo, cliques e outras interações sobre itens.

Os estilos de aprendizagem dos estudantes possuem a segunda maior ocorrência entre os parâmetros de entrada. Eles estão em 25% dos estudos analisados (EA2, EA4, EA5, EA7 e EA11). Tal parâmetro é baseado no modelo de Felder–Silverman e são capturados de forma explícita através do questionário Índice de Estilos de Aprendizagem, do inglês Index of Learning Styles (ILS), em 60% dos casos (EA2, EA4, EA7). O artigo EA5, em contrapartida, define os estilos de aprendizagem a partir de diferentes aspectos como competências, atitudes e experiências de aprendizagem. O estudo EA6 considera além do modelo de Felder–Silverman, outras teorias e define estilos de aprendizagem baseados em 8 fatores.

Outros tipos de parâmetros presentes nos artigos são os dados demográficos (EA2, EA13, EA17 e EA20), informações acadêmicas (EA6, EA13 e EA15), palavras-chave (EA12, EA14 e EA21), contexto (EA18), relações sociais (EA9 e EA10), competências (EA1), níveis de aprendizagem (EA2) e objetivos de aprendizagem (EA5). Diante desta análise, percebe-se uma escassez de parâmetros que se baseiam em elementos culturais e afetivos da aprendizagem, embora tais elementos sejam relevantes para produção de recomendações educacionais [9].

Com relação aos 20 artigos utilizados na análise deste estudo, 75% evidenciam o método de apresentação das recomendações. Os estudos EA1, EA7, EA9, EA11 e EA17, em particular, não especificam e apenas informam que realizam a recomendação ao usuário. Dentre as estratégias apresentadas nos artigos do primeiro grupo, destaca-se a Lista Top-N em todos. Esta lista apresenta o ranqueamento dos materiais mais relevantes e melhor classificados de alguma forma a partir do perfil do usuário e de suas necessidades.

Quando analisado nos artigos sobre quais são os itens recomendados, aqueles que definem um método de apresentação recomendam majoritariamente, objetos de aprendizagem (EA2, EA4, EA5, EA8, EA18), em seguida são cursos (EA13 e EA19) e páginas web (EA6 e EA16). Os demais artigos recomendam exercícios (EA3), recursos acadêmicos como documentos e tutoriais em vídeo (EA10), artigos e pesquisadores (EA14), atividades (EA15) e por fim dicas (EA20).

Já entre os itens recomendados nos artigos que não definem o formato de apresentação, 60% recomendam objetos de aprendizagem (EA1, EA7 e EA11). Na outra metade há a recomendação de colegas (EA9) e ações e dicas (EA17).

Ao comparar a análise realizada sobre os itens recomendados dos 20 artigos com os dados extraídos da mineração dos textos, percebe-se que a partir da palavra-chave objects (n=227) e course (n=392) obtém-se a indicação dos principais tipos de recursos recomendados. O termo objects possui as conexões learning-objects e objects-recommendation entre as mais relevantes em todo o corpus (Figura 4). De forma semelhante, o termo course possui a conexão course-recommendation (Figura 5). Tais co-ocorrências evidenciam a existência de recomendações de objetos de aprendizagem e de cursos nos artigos analisados. O fato de as palavras-chave estarem entre as 25 mais recorrentes expressam a predominância da recomendação desses itens em relação a outros. Já o item Páginas Web, não aparece nas ocorrências, pois os autores utilizam termos diferentes para se referir ao mesmo tipo de recurso, como web pages e links.

A partir dos artigos analisados verificou-se que o público alvo dos SRE é formado por dois tipos principais de usuários. O primeiro é representado pelos estudantes. Tais usuários beneficiam-se das recomendações obtendo apoio na identificação de itens que contribuem para o seu aprendizado ou para a tomada de decisão no contexto acadêmico. Eles estão presentes em 75% dos estudos (EA2 ao EA7, EA11 ao EA13 e EA15 ao EA20). O segundo é composto pelos professores. Eles são apresentados como os usuários em 10% dos SRE e, normalmente, recebem recomendações que auxiliam nas suas práticas pedagógicas (EA1 e EA8). Os autores dos estudos EA9, EA10 e EA14, em particular, propõe SRE que consideram tanto professores quanto estudantes nas recomendações. Eles representam um total de 15% dos artigos.

Os termos student (n=328), students (n=659) presente na nuvem de palavras da Figura 1 confirmam a predominância do público alvo de estudantes quando analisados juntamente com as co-ocorrências do vocábulo profile e profiles, respectivamente.

Conforme observa-se na Figura 5, a partir do gráfico de co-ocorrência, verifica-se a existência de conexões student-profile e students-profiles. Tais conexões indicam a presença do elemento perfil de estudantes nos artigos. Esse elemento é uma estrutura tipicamente utilizada para prover parâmetros de entradas a um SRE. Tal evidência sugere que informações dos estudantes são utilizadas na produção de recomendações e, consequentemente, objetivam atender as necessidades desse tipo de usuário. Em contrapartida, na nuvem não se observam termos que identifiquem outros tipos de usuários dos SRE evidenciando que eles não são tão recorrentes quanto os estudantes.

No grupo de artigos que propõem recomendadores apenas para os estudantes, a maioria de 86,67% atende ao público do ensino superior (EA2 ao EA7, EA11 ao EA13, EA15, EA17 ao EA19). Em todos esses estudos infere-se o nível de escolaridade dos usuários através do conjunto de dados utilizados nos experimentos offline ou do público alvo dos experimentos online. Com relação à faixa etária dos estudantes, apenas, EA3 e EA5 apresentam informações de forma explícita, sendo o grupo formado por jovens entre 18 e 22 anos de idade.

Apenas 13,33% dessas pesquisas abrangem um público alvo de estudantes com nível de escolaridade diferenciado (EA16 e EA20). Em EA16 os autores explicitam, através dos experimentos realizados, que o público é formado por estudantes do ensino fundamental com faixa etária entre 9 a 10 anos de idade. Já em EA20, o público alvo é composto por estudantes do ensino médio que estão buscando o ingresso no ensino superior.

Diante dos dados obtidos, observa-se uma escassez de SRE que objetivem atender as necessidades de públicos com características específicas como estudantes com deficiências ou idosos. Com relação aos idosos, em especial, [10] evidenciam a necessidade de que eles tenham acesso a materiais digitais educacionais. Assim, observa-se a necessidade de sistemas de recomendação educacional que indiquem objetos de aprendizagem voltados ao público sênior.