Image Processing On Line: Publication Scientifique et Logiciels

Transcription

1 Image Processing On Line: Publication Scientifique et Logiciels Nicolas Limare CMLA, ENS Cachan RRRR Orléans

2 reproductibilité? que publie-t on? que veut-on reproduire? demonstration mathematique? manipulation expérimentale? traitement d un jeu de données? simulation d un phénomène? methode générique de calcul?

3 differents problèmes, différentes solutions traitement d image on publie des algorithmes: méthodes numeriques de traitement des images naturelles leur évaluation implique la perception certains effets d algorithmes sont difficilement démontrables difficile définition des images naturelles

4 situation problèmes algorithmes sans les details quelques exemples ad-hoc implémentation non disponible ou non réutilisable formats de données non-standard environnements logiciels exotiques ou incompatibles causes? pas de vérification des algorithmes par la pratique le logiciel est hors-publication

5 solutions au niveau des la publication exigence éditoriale de qualité et détail publication du code comme le manuscrit: critères qualité, rapporteurs et validation + demos... comité éditorial, reviewers, politique éditoriale, règles de copyright/licenses et de diffusion, ISSN, DOI, système de suivi, publication et indexation... développement du projet par la pratique

6 implémentation vs description La seule spécification complète de ce que fait un programme est son code source. Le code source ne montre que ce que le programme fait, pas ce qu il devrait faire. Douglas Crockford et Joe Armstrong, Coders at Work, Peter Siebel ed.

7 manuscrits la partie simple format web natif transition vers LaTeX/PDF savoir-faire, fiabilité, atomicité, distribution, indexation suivi éditorial OJS, publication web ikiwiki

8 code source aussi important que le manuscrit rapporteurs règles de présentation règles de qualité élaboration de software guidelines

9 software guidelines lisibilité, portabilité, réutilisabilité format (archive, version, noms de fichiers) 100% code source C89, C99, C++98, portable, generique, standard liste restreinte de bibliothèques de confiance formats de fichier standard license GPL/BSD documentation README.txt et interne presentation, indentation une exigence de qualité ne garantit rien évite les principales sources de problèmes, faute de mieux

10 software guidelines extensions OpenMP ok, GPU/OpenCL? compilation et tests automatisés MATLAB? définition du langage? détail d implémentation des blocs internes? interoperabilité avec autres codes?

11 démos traitement d image donnees et formats clairs algorithmes simples et rapides interface visuelle naturelle: écran besoin de tests massifs démos web chaque code est utilisable directement via une interface web exactement le code validé et disponible au téléchargement sur données libres, et archivées usage logiciel immediatement accessible et utilisable validation des résultats publiés collecte de nouveaux résultats outil de recherche et collaboration

12 démos développement web old-school backend sur mesure Python CGI puis CherryPy+PIL/Mako/SQLite 1 démo = 1 fichier python éditeurs IPOL limites temps et resources de calcul interfaces complexes chaînes sécurité et croissance

13 modele éditorial accepte les republications encourage les publications croisees vise la compilation d un état de l art fiable les algorithmes sont documentés et très detaillés l implémentation est aussi importante que la doc le code doit être utilisable partout, pour longtemps attention, ce n est ni une encyclopédie, ni une forge logicielle, ni une page web perso

14 modèle technique low-tech, aussi simple que possible pas de développement prématuré redesign et refontes successives autonomie max 1 serveur de demo (4 8 CPU), 1 backup local, le reste en location flexible

15 résultats 25 algorithmes publiés, 15 preprints, 40 en préparation 6500 visites par mois : 850 universités et centres de recherche 5000 tests de démo par mois expériences originales archivées 400 téléchargements de codes par mois algorithmes améliorés par le processus de publication auteurs satisfaits outillage de laboratoire

16 problèmes et idées 1/3 outillage pas de bonne solutions LaTeX->HTML techno web fragile, support variable, mille-feuille du framework Python aux bibliothèques JavaScript, plus libs de support besoin de forges logicielles pour la recherche besoin d espaces d archivage, identification, distribution, indexation des données service de démos uniquement? archives? interconnexion? outils intellectuels et pratiques pour evaluer le code en vrai conversions incertaine d une théories abstraites en un mécanisme déterministe théories fonctionnelles, exécution impérative vers les langages fonctionels?

17 problèmes et idées 2/3 environnement rôle du code dans la recherche: outil vs produit culture informatique hétérogène équipes mixtes? formation techniques et concepts éducation à la qualité logicielle besoin d incitation? pourquoi? pas besoin d incitation pour démontrer un théorème mais dilemme du prisonier (en traitement d images) on est sur des sables mouvants tres mauvaise qualite de bcp de choses libs et toolkits de lecture/ecriture/manip d image amont: manque de définitions aval: de standards et API

18 problèmes et idées 3/3 perennité fonds ERC + CNES/ONR/DxO/... adoption par une institution de recherche (CNRS, univ?), une société savante, un éditeur? participations extérieures

19 en guise de conclusion le code de recherche doit se publier comme le reste: même validation par les pairs mêmes objectifs de qualité aussi nécessaire que la démonstration des théorèmes consultation + RSS + mailing-list

20 ++

21 copyright et licence politique de copyright et licence les auteurs conservent leur copyright sur manuscrit, logiciel et données manuscrits distribués sous CC-BY-NC-SA code sous GPL/AGPL/LGPL ou BSD données sous CC-BY diffusion Open Access du journal maximiser les possibilités de réutilisation en maintenant la paternité des travaux

22 copyright et licence copyright des auteurs? sur les articles, OK sur les logiciels, exception CPI sur les articles/logiciels????

23 brevets brevets logiciels? pas de brevets sur le logiciel en Europe CBE art 52: Ne sont pas considérés comme des inventions [... ] les découvertes ainsi que les théories scientifiques et les méthodes mathématiques [... ] ainsi que les programmes d ordinateurs. European Patent Office vs droit local exception pour recherche et expérimentation, FR et US mais... législation US avertissements sur les brevets conflit pour les auteurs: exception diffusion pour la recherche

24 feedback auteurs sondage novembre 2011, 25 auteurs 25% Win 25% Mac 50% Linux 80% C/C++, MATLAB, Python overhead IPOL: 2 code, 1 manuscrit les restrictions sur le code sont acceptables LaTeX ou rien! satisfaction: incitation à la qualité valorisation du travail logiciel version durable du code, pour soi et pour les autres les archives de demo révèlent l algo preuve que l algo fonctionne vraiment

25 usage déc nov visites, 250 visites/jour 1/3 retours, 1/3 visites longues entre 50 et 1500 visites/mois/article SIIMS: 800 download/an entre 10 et 1200 démo/mois/article auteurs et collaborateurs 5% de l usage, 14% US, 12% Chine, etc. 850 institutions de recherche et éducation 71% Win, 16% Linux, 11% Mac