Notre investissement dans la R&D
Découvrez nos travaux en Recherche & Développement
La R&D au service de la formation digitale
Contactez-nous
Notre engagement dans la R&D
Pour rester novateur et compétitif, nous travaillons sur des évolutions pédagogiques, notamment sur des formats vidéo, des serious game, de la gamification mais également sur l’activité phare de Mandarine, la formation à distance. Ces formations sont d’ailleurs depuis toujours animées au travers d’outils de visioconférence. Depuis quelques années, nous travaillons sur des aspects plus techniques, comme l’Adaptive Learning ou la logistique de formation incluant de l'intelligence artificielle.
Notre partenariat
Ce travail de R&D est réalisé en partenariat avec l’entité Cristal de l’université de Lille et plus exactement avec le groupe de chercheur de l’Orkad (Operational Research, Knowledge And Data). Cristal est le centre de recherche en informatique, signal et automatique de l’université de Lille. Les chercheurs travaillent notamment sur le BIG Data, la Robotique, la bio-informatique. Cela représente en tout 40 équipes de recherche. Nous travaillons avec l’équipe de recherche Orkad qui axe son travail sur l’optimisation mathématique mono et multi-objectif.
À Propos de Mandarine Academy Research
Mandarine Academy Research est une unité multidisciplinaire qui travaille sur l'expérience d'apprentissage fournie par les plateformes Mandarine Academy.
L'unité s'appuie sur l'expertise d'ingénieurs, de chercheurs, de concepteurs et de chefs de produits qui transforment les connaissances et la technologie en une excellente expérience d'apprentissage.
Mandarine Academy s'engage à rendre les outils numériques accessibles à tous. Ils s'assurent que les employés seront en mesure d'utiliser efficacement les outils de l'entreprise et leurs meilleures pratiques. Ainsi, ils se concentrent sur l'accompagnement du client afin que chaque entreprise puisse atteindre ses objectifs.
L'unité de recherche vise à rassembler des chercheurs et des praticiens de l'intelligence artificielle et des technologies éducatives pour partager des idées novatrices, créer des recherches et résoudre des problèmes.
Domaines de recherche
Comportement d'apprentissage
Mandarine Academy a fourni à plus d'un demi-million d'utilisateurs un contenu éducatif pour améliorer leurs compétences. Cependant, servir un grand nombre d'utilisateurs ne peut pas être fait individuellement, il est nécessaire de comprendre les goûts et les intérêts des utilisateurs.
Interaction homme-ordinateur
Comprendre les schémas de communication entre les humains et les machines (texte, parole, vidéo, etc.) est essentiel pour trouver le meilleur moyen de fournir des informations tout en conservant les aspects sociaux et émotionnels de l'apprentissage.
Évaluation de l'apprentissage
Évaluer le résultat du visionnage de vidéos d'apprentissage est une tâche difficile, surtout lorsqu'elle est effectuée en ligne. Pour cette raison, Mandarine travaille sur l'amélioration des métriques d'évaluation chargées de mesurer le gain d'apprentissage, la pertinence du contenu et la satisfaction globale de l'expérience d'apprentissage au sein d'une plateforme d'apprentissage en ligne.
Évaluations de recommandation
Mesurer l'efficacité d'un algorithme de recommandation est crucial. Dans les systèmes en ligne (MOOC), les interactions de l'utilisateur avec les recommandations présentées sont mesurées pour tester l'efficacité du système. Les méthodes hors ligne, cependant, tirent parti des ensembles de données historiques (par exemple, les évaluations) pour fournir des mesures telles que la précision. Les mesures prédictives abordent le sujet de la proximité des évaluations des systèmes de recommandation par rapport aux évaluations des utilisateurs. Les deux techniques d'évaluation sont utilisées dans divers produits Mandarine Academy.
Modélisation de l’utilisateur
Capturer les changements de comportement/de goût/d'apprentissage des utilisateurs nous permet de tenir compte de ces changements dans nos modèles. En utilisant les interactions des utilisateurs dans différents états pour créer des expériences engageantes et personnalisées pour nos utilisateurs, nous adaptons nos modèles basés sur l'intelligence artificielle.
Machine Learning
Ce domaine touche tous les aspects des projets de Mandarine Academy. En commençant par les plateformes d'apprentissage en ligne (avec recommandations, recherche, classification des utilisateurs, etc.) jusqu'à la planification logistique (avec DiLeap Logistic) chargée de trouver des solutions dans des environnements complexes. L'intelligence artificielle est intégrée dans de plus en plus d'outils utilisés dans les services Mandarine Academy, pour améliorer le développement des solutions proposées et offrir une meilleure expérience aux utilisateurs.
Recherche et recommandations
La recherche et les recommandations se concentrent sur l'identification des besoins des utilisateurs. Comprendre à la fois les utilisateurs avancés et normaux peut influencer, par exemple, les résultats personnalisés et fournir une analyse des tendances de recherche.
Ordonnancement et planification
L'établissement des emplois du temps est l'une des tâches les plus fastidieuses et chronophages pour toute organisation, et il a par conséquent reçu une attention considérable au cours de plusieurs décennies. Les institutions et les universités disposent d'environnements et de lieux de travail différents, ce qui implique diverses contraintes et cas réels à résoudre. Au fil des années, les chercheurs ont essayé de proposer différentes méthodes et procédures de résolution pour faire face à la difficulté croissante de ces problèmes.
Chercheurs chez Mandarine Academy
Pamela Wattebledpamela.wattebled@mandarine.academy Profil LinkedIn - Google Scholar
Pamela Wattebled est directrice de production et associée chez Mandarine Academy. Elle contribue également à l'équipe R&D de Mandarine Academy sur les recherches portant sur l'apprentissage automatique, l'optimisation, l'exploration de données et le big data.
Mounir Hafsamounir.hafsa@mandarine.academy Profil LinkedIn - Google Scholar
Mounir Hafsa est doctorant en informatique à l'Université de Lille. Travaille actuellement pour ORKAD, une équipe de recherche spécialisée dans l'optimisation combinatoire et l'exploration de données, ainsi que pour l'équipe R&D de Mandarine Academy. Ses recherches portent sur l'apprentissage automatique, l'optimisation, l'exploration de données et le big data.
Publications
Découvrez les publications et les contributions scientifiques de Mandarine Academy Research.
La plupart des travaux répertoriés sont mis à disposition pour assurer la reproductibilité des expérimentations scientifiques. Les droits d'auteur et tous les droits y afférents sont conservés par les auteurs ou par d'autres titulaires de droits d'auteur. Toutes les personnes copiant ces informations doivent respecter les conditions et contraintes invoquées par chaque droit d'auteur.
Multi-objective recommender system for corporate MOOC
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO '22)
Year : 2022
Tags : E-Learning, Recommender Systems, Metaheuristics, Multi-Objective-Optimization
Mandarine Academy is a major MOOC (Massive Open Online Course) operator with more than 100 active e-learning platforms in multiple languages and 550K overall users. The company is providing a wide range of content types to help users in their learning process. With thousands of pedagogical online resources in an everyday growing catalog, users can have a hard time finding relevant content. Mandarine Academy is looking to improve the overall user experience while minimizing both information overload and drop rate levels. This paper details the conception and implementation of a multi-objective e-learning recommender system. The proposed approach takes advantage of multiple known implementations like content-based and collaborative filtering among other techniques to generate an initial population of solutions. A custom genetic operator is proposed and compared to classical operators using multiple algorithms (NSGA-II, NSGA-III, SPEA-2, IBEA, and MOEA/D). Using the best configurations found by the tuning process, we showcase the initial results obtained by each approach when applied to real-world data from a public MOOC provided by the company.
Voir la publication
Conference : Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO '22)
Year : 2022
Tags : E-Learning, Recommender Systems, Metaheuristics, Multi-Objective-Optimization
Mandarine Academy is a major MOOC (Massive Open Online Course) operator with more than 100 active e-learning platforms in multiple languages and 550K overall users. The company is providing a wide range of content types to help users in their learning process. With thousands of pedagogical online resources in an everyday growing catalog, users can have a hard time finding relevant content. Mandarine Academy is looking to improve the overall user experience while minimizing both information overload and drop rate levels. This paper details the conception and implementation of a multi-objective e-learning recommender system. The proposed approach takes advantage of multiple known implementations like content-based and collaborative filtering among other techniques to generate an initial population of solutions. A custom genetic operator is proposed and compared to classical operators using multiple algorithms (NSGA-II, NSGA-III, SPEA-2, IBEA, and MOEA/D). Using the best configurations found by the tuning process, we showcase the initial results obtained by each approach when applied to real-world data from a public MOOC provided by the company.
Voir la publication
Optimisation Multi-Objectif pour la Recommandation: application à une MOOC d'entreprise
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : 23ème congrès annuel de la Société Française de Recherche Opérationnelle et d’Aide à la Décision, INSA Lyon, Lyon, France (ROADEF 2022).
Year : 2022
Tags : Algorithmes évolutionnaires multiobjectifs, Système de recommandation
Mandarine Academy est une entreprise Ed-Tech qui propose des solutions centrées sur les techniques de formation innovantes (Moocs, webconférences, etc.). Les solutions proposées par l’entreprise comptent plus de 550 000 utilisateurs répartis sur plus de 100 moocs actifs en plusieurs langues. Les principaux types de contenu trouvés dans ses produits sont les parcours d’apprentissage, les cours, les tutoriels et les webcasts. Pour atténuer le problème de la surcharge d’informations sur ces plateformes e-learning et offrir aux apprenants des contenus pertinents sans effort, Mandarine Academy travaille à la mise en œuvre d’un système de recommandation qui estime les préférences des utilisateurs en collectant des connaissances sur le comportement, le contenu et le contexte. Avant d’adopter une approche personnalisée, l’entreprise utilisait une approche prête à l’emploi qui ne tenait pas compte des comportements des utilisateurs ou des descripteurs d’articles. Cette méthode n’a pas fourni de résultats personnalisés pour les utilisateurs et les résultats n’étaient pas pertinents.
Voir la publication
Conference : 23ème congrès annuel de la Société Française de Recherche Opérationnelle et d’Aide à la Décision, INSA Lyon, Lyon, France (ROADEF 2022).
Year : 2022
Tags : Algorithmes évolutionnaires multiobjectifs, Système de recommandation
Mandarine Academy est une entreprise Ed-Tech qui propose des solutions centrées sur les techniques de formation innovantes (Moocs, webconférences, etc.). Les solutions proposées par l’entreprise comptent plus de 550 000 utilisateurs répartis sur plus de 100 moocs actifs en plusieurs langues. Les principaux types de contenu trouvés dans ses produits sont les parcours d’apprentissage, les cours, les tutoriels et les webcasts. Pour atténuer le problème de la surcharge d’informations sur ces plateformes e-learning et offrir aux apprenants des contenus pertinents sans effort, Mandarine Academy travaille à la mise en œuvre d’un système de recommandation qui estime les préférences des utilisateurs en collectant des connaissances sur le comportement, le contenu et le contexte. Avant d’adopter une approche personnalisée, l’entreprise utilisait une approche prête à l’emploi qui ne tenait pas compte des comportements des utilisateurs ou des descripteurs d’articles. Cette méthode n’a pas fourni de résultats personnalisés pour les utilisateurs et les résultats n’étaient pas pertinents.
Voir la publication
A Multi-Objective E-learning Recommender System at Mandarine Academy
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : Workshop of Multi-Objective Recommender Systems (MORS’22), in conjunction with the 16th ACM Conference on Recommender Systems, RecSys. (RecSys’22).
Year : 2022
Tags : Recommender Systems, Multi-Objective Optimization, Evolutionary Algorithms, E-Learning, MOOC, Corporate
Recommender systems are quickly becoming a part of our daily digital life. Mainly found in applications such as e-commerce, social media, and online entertainment services. They help users overcome the information overload problem by improving the browsing and consumption experience. Mandarine Academy is an Ed-Tech company that operates more than a hundred online e-learning platforms. They create online pedagogical content (videos, quizzes, documents, etc.) on daily basis to support the digitization of work environments and to keep up with current trends. Suggesting items that are relevant to both users and visitors is challenging, the company is looking for ways to improve the learning experience by providing content that adheres to specific conflicting requirements. These requirements include similarity with user profile, the novelty of proposed content, and diversity of recommendations. Mandarine Academy is looking to implement an approach that can handle multiple conflicting goals with the possibility to adjust which to use in each browsing scenario. In this article, we propose a solution for Mandarine Academy Recommendation System (𝑀𝐴𝑅𝑆) problem by using Evolutionary Algorithms based on the concept of Pareto Ranking. After modeling objectives (Similarity, Diversity, Novelty, RMSE, and nDCG@5) as an optimization problem, we compared different algorithms (NSGA II, NSGAIII, IBEA, SPEA2, and MOEAD) to study their performance under different test settings. Extended data analysis of real-world user interactions showed drawbacks of many graphical issues that prevented users from learning efficiently and we proposed enhancements to the overall user experience and interface. We discuss initial findings under various objectives which show promising results considering production mode scenarios. A proposed custom mutation operator was able to outperform the classical swap mutation. A multi-Criteria Decision-Making phase that uses by default pseudo weight is responsible for providing results for end users after training our model.
Voir la publication
Conference : Workshop of Multi-Objective Recommender Systems (MORS’22), in conjunction with the 16th ACM Conference on Recommender Systems, RecSys. (RecSys’22).
Year : 2022
Tags : Recommender Systems, Multi-Objective Optimization, Evolutionary Algorithms, E-Learning, MOOC, Corporate
Recommender systems are quickly becoming a part of our daily digital life. Mainly found in applications such as e-commerce, social media, and online entertainment services. They help users overcome the information overload problem by improving the browsing and consumption experience. Mandarine Academy is an Ed-Tech company that operates more than a hundred online e-learning platforms. They create online pedagogical content (videos, quizzes, documents, etc.) on daily basis to support the digitization of work environments and to keep up with current trends. Suggesting items that are relevant to both users and visitors is challenging, the company is looking for ways to improve the learning experience by providing content that adheres to specific conflicting requirements. These requirements include similarity with user profile, the novelty of proposed content, and diversity of recommendations. Mandarine Academy is looking to implement an approach that can handle multiple conflicting goals with the possibility to adjust which to use in each browsing scenario. In this article, we propose a solution for Mandarine Academy Recommendation System (𝑀𝐴𝑅𝑆) problem by using Evolutionary Algorithms based on the concept of Pareto Ranking. After modeling objectives (Similarity, Diversity, Novelty, RMSE, and nDCG@5) as an optimization problem, we compared different algorithms (NSGA II, NSGAIII, IBEA, SPEA2, and MOEAD) to study their performance under different test settings. Extended data analysis of real-world user interactions showed drawbacks of many graphical issues that prevented users from learning efficiently and we proposed enhancements to the overall user experience and interface. We discuss initial findings under various objectives which show promising results considering production mode scenarios. A proposed custom mutation operator was able to outperform the classical swap mutation. A multi-Criteria Decision-Making phase that uses by default pseudo weight is responsible for providing results for end users after training our model.
Voir la publication
A Multi-Objective Evolutionary Approach to Professional Course Timetabling: A Real-World Case Study
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : IEEE Congress on Evolutionary Computation (CEC’22).
Year : 2022
Tags : professional course timetabling, professional training scheduling problem, Timetabling, multiobjective evolutionary algorithms, genetic operators
This paper describes the concept and implementation of a multi-objective approach for professional training scheduling problem at Mandarine Academy. We address the timetabling of courses and trainers rostering in a highly constrained environment, in which we are required to optimize 5 different objectives. We describe the problem by providing a mathematical formulation of both hard/soft constraints and objectives. We propose the use of Multi-Objective Evolutionary Algorithms (MOEA's) like NSGA II and NSGA III with custom genetic operators (Mutation and Crossover) designed specifically for this problem. To evaluate the effectiveness of our approach, a parameter tuning phase using the i-race package is performed, followed by a performance comparison using real-world test instances varying in complexity. Final results shows a significant improvement in terms of computation time and solutions diversity with an interesting performance gap between NSGA II and NSGA III.
Voir la publication
Conference : IEEE Congress on Evolutionary Computation (CEC’22).
Year : 2022
Tags : professional course timetabling, professional training scheduling problem, Timetabling, multiobjective evolutionary algorithms, genetic operators
This paper describes the concept and implementation of a multi-objective approach for professional training scheduling problem at Mandarine Academy. We address the timetabling of courses and trainers rostering in a highly constrained environment, in which we are required to optimize 5 different objectives. We describe the problem by providing a mathematical formulation of both hard/soft constraints and objectives. We propose the use of Multi-Objective Evolutionary Algorithms (MOEA's) like NSGA II and NSGA III with custom genetic operators (Mutation and Crossover) designed specifically for this problem. To evaluate the effectiveness of our approach, a parameter tuning phase using the i-race package is performed, followed by a performance comparison using real-world test instances varying in complexity. Final results shows a significant improvement in terms of computation time and solutions diversity with an interesting performance gap between NSGA II and NSGA III.
Une approche évolutionnaire multi objectif pour la planification des cours professionnels
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : 22ème congrès annuel de la Société Française de Recherche Opérationnelle et d’Aide à la Décision, Mulhouse, France (ROADEF 2021).
Year : 2022
Tags : Algorithmes évolutionnaires multiobjectifs, problème d’emploi du temps.
Mandarine Academy est une entreprise Ed-Tech qui propose des solutions centrées sur les techniques de formation innovantes (Moocs, webconférences, etc.). Les programmes de formation proposés par la société ont un emploi du temps spécifique qui garantit (le jour, l'heure, les ressources réservées, lieu) de chaque événement. La création d’un emploi du temps initial couvrant une année de formation était établie à la main et prenait en moyenne 3 à 6 semaines et 30 travailleurs. Pour répondre à cette problématique, Mandarine Academy a développé l’outil Dileap Logistic, qui gère automatiquement la logistique de la planification des formations. L'approche gloutonne utilisée dans cet outil permet de réduire le temps de planification par rapport à l'approche traditionnelle. Mais ce dernier ne respecte pas les contraintes définies et ne supporte qu’un seul objectif.
Voir la publication
Conference : 22ème congrès annuel de la Société Française de Recherche Opérationnelle et d’Aide à la Décision, Mulhouse, France (ROADEF 2021).
Year : 2022
Tags : Algorithmes évolutionnaires multiobjectifs, problème d’emploi du temps.
Mandarine Academy est une entreprise Ed-Tech qui propose des solutions centrées sur les techniques de formation innovantes (Moocs, webconférences, etc.). Les programmes de formation proposés par la société ont un emploi du temps spécifique qui garantit (le jour, l'heure, les ressources réservées, lieu) de chaque événement. La création d’un emploi du temps initial couvrant une année de formation était établie à la main et prenait en moyenne 3 à 6 semaines et 30 travailleurs. Pour répondre à cette problématique, Mandarine Academy a développé l’outil Dileap Logistic, qui gère automatiquement la logistique de la planification des formations. L'approche gloutonne utilisée dans cet outil permet de réduire le temps de planification par rapport à l'approche traditionnelle. Mais ce dernier ne respecte pas les contraintes définies et ne supporte qu’un seul objectif.
Voir la publication
E-learning Recommender System Dataset
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : Harvard Dataverse.
Year : 2022
Tags : Recommender Systems, E-Learning, Mooc, Implicit, Explicit, Interactions, Ratings.
Mandarine Academy Recommender System (MARS) Dataset is captured from real-world open MOOC https://mooc.office365-training.com. The dataset offers both explicit and implicit ratings, for both French and English versions of the MOOC. Compared with classical recommendation datasets like Movielens, this is a rather small dataset due to the nature of available content (educational). However, the dataset offers insights into real-world ratings and provides testing grounds away from common datasets.
Voir la publication
Conference : Harvard Dataverse.
Year : 2022
Tags : Recommender Systems, E-Learning, Mooc, Implicit, Explicit, Interactions, Ratings.
Mandarine Academy Recommender System (MARS) Dataset is captured from real-world open MOOC https://mooc.office365-training.com. The dataset offers both explicit and implicit ratings, for both French and English versions of the MOOC. Compared with classical recommendation datasets like Movielens, this is a rather small dataset due to the nature of available content (educational). However, the dataset offers insights into real-world ratings and provides testing grounds away from common datasets.
Voir la publication
Mandarine Academy Professional Timetabling Dataset
Auteurs : Mounir Hafsa, Pamela Wattebled, Julie Jacques, Laetitia Jourdan
Conference : Harvard Dataverse.
Year : 2022
Tags : Timetabling, Scheduling, Combinatorial Optimization, Multiple criteria analysis.
Mandarine Academy Professional Timetabling (MAPT) is a real-world dataset suggested to solve Professional Timetabling Problems (PTPs). A rather under-exploited category of the overall Timetabling Problems. However, we believe it can still be applied to traditional problems (education, health, etc.) as a helpful benchmark dataset to assist researchers in comparing different methods. Compared to conventional educational datasets such as (ITC2007), MAPT proposes richer features inspired by real-world data to provide insight into corporate training logistics and timetabling complexities.
Voir la publication
Conference : Harvard Dataverse.
Year : 2022
Tags : Timetabling, Scheduling, Combinatorial Optimization, Multiple criteria analysis.
Mandarine Academy Professional Timetabling (MAPT) is a real-world dataset suggested to solve Professional Timetabling Problems (PTPs). A rather under-exploited category of the overall Timetabling Problems. However, we believe it can still be applied to traditional problems (education, health, etc.) as a helpful benchmark dataset to assist researchers in comparing different methods. Compared to conventional educational datasets such as (ITC2007), MAPT proposes richer features inspired by real-world data to provide insight into corporate training logistics and timetabling complexities.
Voir la publication
MARS Dataset
MAPT Dataset
Découvrez et téléchargez Mandarine Academy Professional Timetabling (MAPT) Dataset
Accédez à MAPT Dataset