IFT6761 Colloque 1

Faire de la science à l'ère des LLM : validation, jugement et responsabilité

Université de Montréal, DIRO · Automne 2026

Enseignant: Pierre-Luc Bacon
Horaire: Mardis, à partir de 10h30 (fin vers 12h00)
Local: Salle A15, 2^e étage, Mila, 6666 rue Saint-Urbain, Montréal
Crédits: 1 crédit, réussite ou échec

Les modèles de langage rendent les propositions, les résumés et le code abondants. Ils ne rendent pas abondantes les preuves, le jugement ni la responsabilité. Ce colloque porte sur ce qui reste rare : choisir les bonnes questions, concevoir des tests indépendants, interpréter les échecs, et répondre des conséquences d'un déploiement.

Format

Six séances. À chaque séance, on regarde ensemble une conférence enregistrée (45 à 60 minutes), puis on en discute pendant une trentaine de minutes.
Rien à préparer avant les séances, et aucun rapport écrit.
La dernière séance se termine par un court exposé oral de chaque étudiant.

Calendrier

29 septembre Arvind Narayanan, Adapting to the Transformation of Knowledge Work
Stanford Digital Economy Lab, mai 2026. Ce que les capacités des modèles changent, et ce qu'elles ne changent pas, au travail intellectuel.
13 octobre Katie Bouman, Images of the Hidden Universe
ICLR 2026. Valider une image quand il n'existe aucune vérité terrain : l'imagerie des trous noirs.
27 octobre Alán Aspuru-Guzik, The Future of Chemistry is Self-Driving
Acceleration Consortium, Université de Toronto. Des laboratoires où l'IA planifie et exécute les expériences : qui décide que la preuve suffit ?
10 novembre Shreya Shankar, How to Automate AI Evals (Correctly)
Le point de vue du développeur : l'évaluation comme travail technique central, pas comme une formalité.
24 novembre Jocelyn Maclure, The Epistemology and Ethics of LLMs
École d'été « LLM Understanding », UQAM. Ce qu'un LLM sait, et ce qu'on peut lui confier.
8 décembre Terence Tao, Mathematics in the Age of AI
ICM 2026. Vérifier une preuve n'est pas la comprendre. Article · Diapositives. Suivi des exposés oraux finaux (séance prolongée jusqu'à 12h30).

Pas de séance pendant la semaine d'activités libres (19 au 25 octobre).

Évaluation

Le cours est évalué en réussite ou échec. Pour réussir :

être présent à au moins cinq séances sur six ;
participer à la discussion ;
présenter l'exposé oral final le 8 décembre.

Exposé oral final (5 minutes). Choisissez un système d'IA ou une affirmation scientifique, et répondez à quatre questions :

Qu'est-ce que le modèle produit à faible coût ?
Qu'est-ce qui doit être mesuré ou testé de façon indépendante ?
Qui décide que la preuve est suffisante ?
Qui paie si l'affirmation est fausse ?

Utilisation de l'IA générative

L'usage d'outils d'IA générative est permis pour vous préparer. Tout ce qui est évalué se déroule en personne et à l'oral.

Pour aller plus loin (facultatif)

Richard Feynman, Cargo Cult Science, discours de 1974 à Caltech.
Arvind Narayanan et Sayash Kapoor, AI as Normal Technology.
Sayash Kapoor et Arvind Narayanan, Leakage and the Reproducibility Crisis in ML-based Science.
Michael Nielsen, How science actually progresses, entretien (2 heures).
HEC Montréal, La conduite responsable de la recherche : des normes à la pratique, formation en ligne gratuite.

Activité facultative. Conférence UdeM « Discerner le vrai du faux : éveillons notre esprit critique ! », jeudi 5 novembre, 16h à 18h, amphithéâtre Ernest-Cormier (K-500), aussi en ligne.