Direction des Relations Internationales (DRI)
Programme INRIA
"Equipes Associées"
(Demande de
prolongation)
| EQUIPE
ASSOCIEE |
MOCQUASIN Page web officielle: http://www.irisa.fr/dionysos/pages_perso/tuffin/MOCQUASIN/ |
|
sélection |
2008 |
| Equipe-Projet INRIA : Dionysos | Organisme étranger partenaire : Université de Montréal (département d'informatique et recherche opérationnelle) |
| Centre de recherche INRIA : Rennes- Bretagne Atlantique Thème INRIA : CommB |
Pays : Canada |
|
Coordinateur
français |
Coordinateur
étranger | |
| Nom, prénom | Tuffin, Bruno | L'Ecuyer, Pierre |
| Grade/statut | CR1 | Professeur et Chaire de Recherche du Canada en Simulation et Optimisation Stochastique |
| Organisme d'appartenance (précisez le département et/ou le laboratoire) |
INRIA Rennes- Bretagne Atlantique | Université de Montréal (département d'informatique et recherche opérationnelle) |
| IRISA Campus Universitaire de Beaulieu 35042 Rennes Cedex |
Département d'informatique et de recherche opérationnelle Université de Montréal C.P. 6128, Succ. Centre-Ville, Montréal (Québec), Canada, H3C 3J7 | |
| URL | http://www.irisa.fr/dionysos/pages_perso/tuffin/ | http://www.iro.umontreal.ca/~lecuyer/indexf.html |
| Téléphone | +33 (0) 2 99 84 74 94 | +1 (514) 343-2143 |
| Télécopie | +33 (0) 2 99 84 71 71 | +1 (514) 343-5834 |
| Courriel | btuffin@irisa.fr | lecuyer@iro.umontreal.ca |
|
Titre de la thématique de collaboration (en français et en anglais)
:Monte Carlo et Quasi-Monte Carlo pour la simulation d'événements rares |
| Descriptif (environ 10 lignes) : La résolution de nombreux problèmes scientifiques nécessite de calculer des sommes, des intégrales, ou encore de résoudre des équations ou des problèmes d'optimisation. Les techniques de calcul direct sont très vite dépassées par la complexité des modèles, de même que les méthodes d'approximation issues de l'analyse numérique classique, surtout pour des problèmes de grande dimension. Les méthodes de Monte carlo sont des outils statistiques qui permettent d'évaluer de tels modèles. Ce sont des méthodes qui sont aujourd'hui indispensables dans des domaines aussi variés et différents que la finance, la mise au point de nouveaux microcomposants électroniques, la sismologie, les télécommunications, en ingénierie ou en physique, mais aussi en biologie, en sciences sociales, etc. Néanmoins, elles ont la réputation d'être lentes, c'est à dire de demander un temps de calcul important pour atteindre une précision souhaitée. L'objectif du projet est de travailler sur les techniques dites d'accélération. Le cadre typique auquel nous nous intéresserons est celui de la simulation d'événements rares pour laquelle l'apparition d'une unique occurence de l'événement peut demander un temps très long. Deux grandes familles de méthodes existent et demandent une "calibration" précise selon le problème étudié: l'échantillonnage préférentiel et le splitting. L'échantillonnage préférentiel consiste à changer la loi régissant le système, mais une nouvelle loi pour laquelle l'événement est moins rare; l'estimateur est alors multiplié par un facteur approprié pour le garder sans biais. Le splitting, lorsqu'on simule un processus, consiste à éliminer les trajectoires/estimations qui s'éloignent de l'événement rare et à clôner celles qui s'en rapprochent; là encore, on retrouve la bonne valeur en pondérant correctement chaque trajectoire. Dans les deux cas, la difficulté est de trouver les bonnes stratégies permettant d'obtenir un estimateur robuste quand la rareté augmente. Notre objectif est de construire des méthodes robustes, principalement pour des problèmes en télécommunication et en sûreté de fonctionnement. La combinaison avec les méthodes de quasi-Monte Carlo randomisées, plus rapides mais au cadre applicatif plus limité, est aussi un enjeu prometteur. |
|
Changements majeurs survenus concernant l'Equipe
Associée (modifications des objectifs scientifiques, des chercheurs
impliqués): la pricipale modification est le recrutement tardif du doctorant à Rennes, la candidate initiale s'étant désistée au dernier moment. Pour cette raison, le séjour n'a pu être programmé en 2008 (temps d'assimilation du sujet insuffisant sinon). |
Description de l'activité scientifique de l'équipe associée et des résultats obtenus : publications, communications, organisation de colloques, formation, soutenances de thèse, valorisation économique, sociale, industrielle, enregistrement de logiciels, dépôt de brevets ... (1 à 2 pages)
Page de la proposition initiale: http://www.irisa.fr/dionysos/pages_perso/tuffin/Formulaire08.html.
En 2008 nous avons travaillé sur différents sujets.
Le splitting peut être interprété comme la décomposition de l'événement rare en une succession d'événements non rares, et regarder successivement si ces événements sont atteints. A partir d'un certain niveau/événement, si l'événement suivant n'est pas atteint, l'événement rare ne l'est pas non plus, mais sinon, on pousse artificiellement vers l'événement rare en séparant (ou clonant) l'état courant et en essayant d'atteindre le niveau suivant.
Nous avons travaillé, et continuons à travailler dans plusieurs directions. Tout d'abord, nous avons mis au point des nouvelles versions de la procédure, en jouant par exemple à la roulette russe quand la trajectoire retourne plusieurs niveaux plus bas, afin de réduire la temps de calcul. Fournir des théorèmes de la limite centrale est aussi de première importance pour les différentes versions, et un sujet que nous abordons. De même, nous travaillons aussi sur la combinaison du splitting et de l'importance sampling.
Une partie de ce travail est aussi jointe avec F. Legland, de l'équipe-projet ASPI.
Les techniques de réduction de la Variance peuvent réduire l'erreur d'estimation pour la simulation Monte Carlo, parfois par un large facteur, mais rarement changer la vitesse de convergence de l'estimateur. Cette erreur décroit habituellement comme l'inverse de la racine carrée de l'effort de calcul, comme décrit par le théorème central limite. En théorie, il existe des estimateurs avec variance zéro, c'est à dire fournissant toujours la valeur exacte. Mais ces estimateurs sont souvent bien trop difficile (ou virtuellement impossible) à implanter. Cependant, il y a des situations, en particulier pour la simulation d'événements rares, où la simulation à variance zéro peut être approchée, et fournir des gains substantiels. Des versions adaptatives peuvent même fournir une vitesse de convergence plus rapide, exponentielle dans certains cas.
Nous avons fourni une vue d'ensemble de ces méthodes et discuté leur validité en pratique pour deux types de méthodes, les variables de contrôle et l'importance sampling.
Nous avons développé des méthodes efficaces d'importance sampling (IS) pour estimer la fiabilité d'une classe de chaînes de Markov incluant les systèmes Markoviens hautement fiables (HRMS) souvent utilisés pour représenter l'évolution de systèmes multi-composants dans des cadres de fiabilité. Pour ces modèles, il existe une méthode IS à variance zéro qui peut être exprimer explicitement en termes d'une fonction de valeur donnant le coût espéré (la fiabilité exacte dans notre cas) à partir de l'état considéré.
Cette méthode IS ne peut être implantée en pratique car elle requiert la connaissance de ce que l'on cherche à estimer, mais elle peut être approchée en approchant la fonction de valeur. Dans notre implémentation, nous commençons par une estimation simple de la fonction de valeur, et l'utilisons dans une méthode de premier ordre pour obtenir une meilleure approximation à quelques états sélectionnés, et alors interpolons pour obtenir une approximation de second ordre.
Notre approche est plus efficace que les méthodes IS connues jusqu'ici pour cette classe de problèmes. Nous montrons aussi par une analyse asymptotique qu'avec notre approximation, l'estimateur vérifie, sous conditions, erreur relative bornée, et peut même avoir erreur relative qui tend vers zéro.
Nous avons considéré le problème d'évaluer la probabilité d'un événement rare dans le cas d'un modèle statique, c'est à dire quand le temps ne joue pas de rôle explicite. Plus spécifiquement, nous avons abordé le problème d'estimation de la fiabilité d'un réseau en utilisant Monte Carlo, où le réseau est modélisé par un graphe avec noeuds et/ou liens sujets à des pannes indépendantes. Quand la fiabilité des composantes (la probabilité qu'elles soient opérationnelles) est proche de 1, la redondance des chemins rend très grande la probabilité d'existence d'un chemin entre deux noeuds sélectionnés (par exemple), et ainsi, la probabilité que les deux noeuds ne soient pas connectés (la défiabilité) est très petite.
Nous avons développé des méthodes de Monte Carlo efficaces pour l'estimation de la défiabilité d'un tel réseau, en combinant trois approches. Tout d'abord, nous utilisons des caractérisques faciles à obtenir sur le réseau, sa structure de chemins, pour suivre une approche conditionnelle permettant de borner la valeur cible. En particulier, nous montrons comment obtenir des méthodes ayant une variance relative nomalisée par le temps de calcul bornée dans le cas où les liens sont homogènes. Deuxièmement, nous explorons les techniques de Quasi-Monte Carlo Randomisées (RQMC) dans ce contexte. Enfin, nous montrons que l'approximation IS à variance zéro, bien établie dans le cas de modèles Markoviens, peut être étendu pour un modèle statique et nous explorons les propriétés de la procédure obtenue. L'idée est ici d'introduire artificiellement une variable de temps (discret) donnée par un ordre sur l'ensemble des composants du réseau. Une prémière compsante est choisie à l'instant 1, puis une seconde à l'instant 2, ...
La robustesse asymptotique des estimateurs en fonction d'un paramètre de rareté, dans le contexte des événements rares, est souvent caractérisée par des propriétés telles que l'erreur relative bornée (BRE) et l'efficacité logarithmique (LE), aussi appelée optimalité asymptotique. Cependant ces propriétés ne suffisent pas à assurer que les moments d'ordre plus élevé que l'ordre 1 sont bien estimés. Par exemple, ils ne garantissent pas que la variance de la variance empirique reste sous contrôle comme fonction du paramètre de rareté.
Nous avons donc étudié des généralisations des propriétés BRE et LE qui prennent en compte cette limitation. Elles sont nommées moment relatif borné d'ordre k (BRM-k) et efficacité logarithmique d'ordre k (LE-k), où k>=1 est un réel arbitraire. Nous avons aussi introduit et examiné une notion plus forte appelée moment relatif centré d'ordre k disparaissant (vanishing), et explicité des exemples où cette propriété est vérifiée. Ces propriétés sont d'intérêt pour de nombreux estimateurs, incluant ceux de la moyenne empirique et de la variance empirique. Nous avons développé des conditions (suffisantes) de type Lyapunov pour ces propriétés dans un cadre d'importance sampling (IS) dépendant de l'état utilisé pour estimer des probabilités sur des temps de premier passage. Nous avons montré comment ces conditions peuvent guider dans la mise au point d'un bon schéma d'IS, avec les bonnes propriétés asymptotiques, pour le cas de marches aléatoires avec incréments à queue lourde ou légère. Comme autre illustration, nous avons étudié la hiérarchie entre ces propriétés de robustess (et quelques autres) pourun modèle de systèmes Markoviens hautement fiables. Dans ce cadre, et pour une classe populaire de méthodes IS, nous montrons que les propriétés BRM-k et LE-k sont équivalentes et que ces propriétés sont de plus en plus fortes quand k croit. Nous avons aussi obtenu une condition nécessaire et suffisante pour obtenir BRM-k.La simulation simple, qui correspond à utiliser les méthodes Monte Carlo (MC) pour estimer des intégrales multiples, donne souvent des résultats très bruités. Les méthodes quasi-Monte Carlo (QMC) et quasi-Monte Carlo randomisées (RQMC) peuvent battre MC pour estimer l'intégale d'une fonction en dimension petite à modérée. Mais quand la fonction dépend du chemin suivi par une chaîne de Markov sur un grand nombre d'étapes, la dimension correspond à ce nombre d'étapes et peut même être infinie, QMC et RQMC deviennent alors inefficaces.
Notre travail a permis de proposer une nouvelle méthode RQMC spécifique à la simulation des chaînes de Markov. Nous avons fourni des exemples montrant que la méthode peut énormément réduire la variance par rapport à Monte Carlo. La composante clé de la méthode est de trier les chaînes de manière appropriée pour bénéficier de la bonne répartition des suites QMCMC sequences. Des applications en finance, files d'attente, fiabilité et gestion du risque ont commencé à être développées.
Nous avons organisé en 2008 deux des principaux événements du domaine:
Liste de publications communes (7 revues, conférences ou workshops, plus deux soumissions en cours), (voir aussi la page web officielle de l'équipe associée: http://www.irisa.fr/dionysos/pages_perso/tuffin/MOCQUASIN/). D'autres publications des partenaires peuvent être trouvées sur leurs pages respectives.
| 1. Dépenses EA (effectuées sur les crédits de l'Equipe Associée) |
Montant dépensé |
| Invitations des partenaires | 5000 |
| Missions INRIA | 11996,38 |
|
Total |
16996,38 |
Justifiez en quelques lignes l'utilisation des crédits et en particulier une utilisation partielle du budget alloué.
La modification majeure est que le doctorant recruté par Dionysos (sur ce même projet via la région Bretagne) n'a pu se rendre en 2008 à Montréal (recrutement trop tardif). Nous avions en effet une candidate qui avait commencé à travailler sur le sujet au cours de son stage Master, mais qui a fait faux bond au dernier moment pour la thèse. Nous avons recruté une nouvelle personne, à partir du 1er Novembre, mais il était prématuré pour elle de faire un séjour en 2008 sans appréhender complètement le problème. Des séjours sont prévus en 2009.
| 2. Dépenses externes (effectuées sur des financements hors EA) |
Montant dépensé | |
| Nom de l'organisme 1 (*): Equipe Dionysos | ||
| Invitations des partenaires | ||
| Missions INRIA vers le partenaire | 2500 | |
|
Total |
2500 | |
| Nom de l'organisme 2 (*):Université de Montréal | ||
| Invitations des partenaires | ||
| Missions vers le partenaire | 3440 | |
|
Total |
3440 | |
(*) Ajouter ou supprimer des lignes au
tableau ci-dessus de façon à faire figurer tous les organismes ayant contribué
au financement de l'équipe associée
|
Total des financements externes dépensés |
5940 |
|
Total des financements EA et externes dépensés |
22936,38 |
1.
Chercheurs Seniors
|
Nom |
statut (1) |
objet (2) |
provenance |
destination |
durée (3) |
Coût (si financement EA) |
Coût (si financement externe) |
| Bruno Tuffin | CR | Visite | Rennes | Montréal | 8 jours | 2183,65 | 0 |
| Gerardo Rubino | DR | Visite + Particpation MCQMC | Rennes | Montréal | 8 jours | 2834,61 | 0 |
| Bruno Tuffin | CR | Visite + participation MCQMC | Rennes | Montréal | 8 jours | 2378,12 | 0 |
| Pierre L'Ecuyer | Professeur | Visite + participation RESIM | Montréal | Rennes | 8 jours | 1200 | 1200 |
| Fabian Bastin | Professeur associé | Visite | Montréal | Rennes | 10 jours | 2200 | 0 |
| Bruno Tuffin | CR | Visite | Rennes | Montréal | 8 jours | 2200 | 0 |
| Katy Paroux | CR | Visite | Rennes | Montréal | 8 jours | 2200 | 0 |
| Bruno Tuffin | CR | Conférence WSC + réunion | Rennes | Miami | 8 jours | 0 | 2500 |
| Pierre L'Ecuyer | Professeur | Conférence WSC + réunion | Montréal | Miami | 8 jours | 0 | 2000 |
|
Total des durées |
74 jours |
2.
Juniors
|
Nom |
statut (1) |
objet (2) |
provenance |
destination |
durée (3) |
Coût (si financement EA) |
Coût (si financement externe) |
| Adam Gaudet | Etudiant | visite + Participation RESIM | Montréal | Rennes | 2 semaines | 1800 | 240 |
|
Total des durées |
14 jours |
Nos objectifs sont de poursuivre les nombreux axes de recherche que nous avons commencé à développer, comme détaillé ci-dessous, tout en abordant un nouveau sujet avec Fabian Bastin.
Dans le cadre du splitting, nous souhaitons travailler sur la définition de la fonction d'importance qui permet de définir les niveaux. Des travaux récents obtenus par Paul Dupuis (Brown University, USA) ont permis de représenter le problème d'estimation d'événement rare par une PDE, et une solution sous-optimale mais asymptotiquement optimale de la fonction d'importance peut être construite (de manière plus simple que pour l'importance sampling, car ne rencontrant pas de problème de barrière). Cet axe nouveau demande à être approndi, et étendu à différents cadres (prenant en compte le temps de calcul, et pour les différentes implantations que nous avons développées).
La simulation à variance zéro, ou plutôt son approximation, est un sujet phare en simulation d'événements rares ces dernières années. L'idée que nous avions développée consistait à remplacer la fonction de valeur par une approximation dans les formules explicites de l'estimateur à variance zéro. Notre objectif est maintenant d'utiliser des fonctions de base et de trouver les meilleures approximations linéaires possibles, mais sans faire une approximation des moindres carrés trop couteuse en temps de calcul. L'idée est d'utiliser les résultats obtenus en programmation dynamique, un problème tout à fait similaire. Nous souhaitons aussi introduire des techniques d'apprentissage pour déterminer un bon ensemble de fonctions de base, problème qui se retrouve également en programmation dynamique (et contrôle optimal).
Ce cadre est un problème typique d'application (et de motivation) des techniques générale de simulation à variance zéro que nous venons juste de décrire. Nous souhaitons étudier le gain en termes de variance que l'apprentissage permettra, et le pondérer par le temps de calcul lécessaire à son accomplissement.
De manière similaire, les modèles que nous avons développé pour la simulation de la fiabilité des réseaux (modèles statiques) pourront elles aussi profiter des technique d'apprentissage précédente par rapport à la technique que nous avons développé. La définition des fonctions de base demande ici à être adaptée car nécessite l'intégration du temps dans l'état, qui a été nécessaire pour passer d'un problème statique à un problème Markovien. Le cadre général est donc à reprendre.
Nous souhaitons orienter nos travaux sur la robustesse des estimateurs pour la simulation d'événements rares sur l'étude de la fiabilité des intervalles de confiance produits, c'est à dire sur la couverture réelle par rapport à celle supposée. Comment obtenir ou valider un intervalle de confiance. Nous pouvons par exemple, dans le cas de Monte Carlo standard, utiliser des résultats sur la couverture pour des variables aléatoires binomiales, et les étudier spécifiquement pour l'estimation d'événements rares. Nous souhaitons aussi travailler sur la définition de diagnostiques pour valider un intervalle de confiance. Enfin travailler sur l'intégration du temps de calcul dans des définitions de robustesse pour des familles de problèmes.
Ces travaux sont aussi en commun avec Jose Blanchet (Columbia University) et Peter Glynn (Stanford University).
Nous poursuivons nos travaux sur RQMC dans deux directions principales.
Avec Adam Gaudet, nous travaillons suite à son séjour en 2008 sur la définition de bonnes fonctions de tri, capitales pour l'efficacité de la méthode array-RQMC. De manière similaire au splitting, il s'agit de définir une bonne fonction d'importance, ou de regrouper les chaînes "proches" pour mieux échantillonner en utilisant la bonne répartition des suites QMC. Relativement naturel pour un espace d'états en dimension 1, ceci est plus complexe dans un cadre multi-dimensionnel. En plus d'une bonne définition, nous cherchons à obtenir des preuves sur des vitesses de convergences, au moins dans des cas spécifiques.
Un autre problème que nous abordons, avec Katy Paroux, est la couverture (la fiabilité) de l'intervalle de confiance pour les méthodes RQMC en général. En effet, la pratique habituelle est de considérer un minimum de randomisations indépendants pour obtenir un intervalle de confiance et de considérer autant de points QMC que possible pour obtenir une convergence rapide. Nous avons obtenus des résultats numériques sur cette convergence comparée, mais voulons obtenir des résultats théorique, ainsi qu'une méthodologie adaptative pour connaître le nombre de points QMC et le nombre de randomisations à utiliser.
Ces travaux viennent d'être initiés avec Fabian Bastin. Pour des problèmes économiques, les modèles de type mixed logit sont très utilisés pour établir des prévisions de demande et déterminer les facteurs qui affectent les choix individuels. Cependant le coût associé peut être important, les probabilités de choix étant représentées par des intégrales multidimensionnelles. Les méthodes MC et QMC ont été utilisées pour estimer ces intégrales, mais nous souhaitons tout particulièrement étudier l'application des méthodes RQMC, et les combiner avec des techniques de trust-region développées par Fabian Bastin, pour un gain substantiel.
1. Echanges
Décrivez les
échanges prévus dans les deux sens : invitations de chercheurs de votre
partenaire et missions INRIA vers votre partenaire ;
Précisez s'il
s'agit de chercheurs confirmés ou de juniors (stagiaires, doctorants,
post-doctorants) ;
Motivez, si
possible, les raisons scientifiques (travail commun, workshop,..) et précisez la durée prévue ;
Indiquez les
étudiants impliqués dans la proposition. Donnez une estimation de leur nombre,
pour chaque partenaire, et précisez si des thèses en cotutelle sont prévues
;
Résumez ensuite ces informations dans les tableaux 1 et 2
ci-dessous en faisant une estimation budgétaire :
| 1. ESTIMATION DES DÉPENSES EN MISSIONS INRIA VERS LE PARTENAIRE |
Nombre de personnes |
Coût estimé |
| Chercheurs confirmés | 3 | 10K€ |
| Post-doctorants |
||
| Doctorants | 1 | 6.5K€ |
|
Stagiaires |
||
| Autre (précisez) : |
||
|
Total |
4 | 16.5K€ |
| 2. ESTIMATION DES DÉPENSES EN INVITATIONS DES PARTENAIRES |
Nombre de personnes |
Coût estimé |
| Chercheurs confirmés | 2 | 6K€ |
| Post-doctorants |
||
| Doctorants | 1 | 2.5K€ |
|
Stagiaires |
||
| Autre (précisez) : |
||
|
Total |
3 | 8.5K€ |
2. Cofinancement
Cette coopération bénéficie-t-elle déjà d'un soutien financier de
la part de l'INRIA, de l'organisme étranger partenaire ou d'un organisme tiers
(projet européen, NSF, ...) ?
Indiquez ces éléments et donnez les
montants associés.
Aucun autre financement officiel spécifique, mis à part les financements des équipes respectives. La chaire de recherche du Canada de Pierre L'Ecuyer sera mise à contribution. On peut cependant noter que la thèse région portant sur la simulation d'événements rares a été financée également en mettant en avant l'équipe associée MOCQUASIN.
3. Demande budgétaire
Indiquez, dans le tableau ci-dessous, le coût global estimé de la
proposition et le budget demandé à la DRI dans le cadre de cette Equipe
Associée.
(maximum 20 K€ pour une prolongation en 2e année et 10 K€ pour
une 3e année).
|
Commentaires |
Montant |
| A. Coût global de la proposition (total des tableaux 1 et 2 : invitations, missions, ...) | 25 K€ |
| B. Cofinancements utilisés (financements autres que Equipe Associée) | 5K€ |
|
Financement "Équipe Associée" demandé (A.-B.)
|
20 K€ |
Remarques ou observations :
Le retard pour le démarrage de la thèse à Rennes n'a pas permis de faire les déplacements souahités en 2008. Nous souhaitons combler ce retard en 2009.
Une réunion commune sera aussi réalisée (comme tous les ans) lors de la conférence WSC (Winter Simulation Conference). Ce déplacement se fera sur le budget des équipes respectives.