Pour ceux qui seraient intéressés par le type de travail qui se fait dans l’équipe Toflit, voici le rapport de stage de Cyril Mouton.
Pour ceux qui seraient intéressés par le type de travail qui se fait dans l’équipe Toflit, voici le rapport de stage de Cyril Mouton.
Bienvenue à Grégory Tible, qui nous a rejoint début février pour une période d’alternance jusqu’à fin juillet.
Grégory Tible est étudiant depuis deux années à l’école 42 pour une formation d’architecte de l’information numérique. Il était auparavant chargé de veille et d’étude en agence web après avoir fait des études d’histoire.
Il a intégré le projet ANR TOFLIT 18 dans le cadre d’une alternance auprès du medialab de Sciences Po Paris. Il effectuera diverses missions telles que la création de visualisations de données, le développement de l’interface du site et la mise à jour de la base de données.
« Ma participation à ce projet est pour moi l’occasion de découvrir le travail de recherche associant économistes, historiens et informaticiens. Je peux apprécier au plus près les efforts apportés par l’équipe pour aboutir à un outil permettant d’embrasser la complexité des données recueillies. Personnellement, ce projet est un beau challenge de traitement et de visualisation de données.»
Meeting Toflit18 – 19/02/2016
Attending :
Loïc Charles, Guillaume Daudin, Pierre Gervais, Guillaume Plique, Grégory Tibre, Elisa Tirindelli
!!!!! Change of schedule !!!!!! Next meeting will be on Wednesday March 16th, at 14.30 at the médialab.
1. New data
Lyon has given a dilatory answer. Dunkerque would require one week of work. So we will not pursue these opportunities, focus on what we have already and work on it.
There should be 10 «easy» years to collect each in Narbonne, Annecy and the bibliothèque de l’institut (Paris). One would need te be sponsored for last one. Loïc will give quote for these : we might send interns there.
No news concerning Bayonne.
2. Verification
1789 imports are done.
Marseille sill needs to be done + 2 two years for Nantes + the Eden treaty data.
3. Retranscription
1789 imports are done
Laura is working on 1789 exports.
Marseilles is finished (Thasectra + 2 interns).
Cyril or Dauphine interns must still do Bordeaux, and the remaining years for Nantes and Rennes.
4. Interns
– Elisa Tirindelli (PSE M2 student) will work till May 31st/early June. She will work on trade with the North for her master thesis + on simplification.
– Corentin Ponton (Dauphine M1 student) who will work on the project from May 2 to July 29. He will contribute on unknown products. His aim is to build a gravity model.
– Quentin Vidal (TSE M1 student) will work from April 18 to July 13.
– Victoria Sessego (Cachan 1st year student) might start working in September one day a week).
– Requia Bouali (Paris-8 AES + M1 Sociology + M2 Anthropology) will work from April 4 till July 1 every day except for Tuesdays on retranscriptions (till May 15th) + a thesis on the organisation of INED
– Hasna El Adel is a Paris-8 M2 student (with a licence in Economics). She will work on retranscription (till May 15th) + a thesis on the TOFLIT project as an exemple of good practices.
5. Database
There are currently three versions of the database:
– the «old» Neo4J
– the «up to date» bdd_centrale.csv
– the work based on Pierre’s orthographic normalization
As an estimate, we will have an additional 150,000 observations to add to the existing 380,000.
6. Treatment of merchandises
We then have a lively discussion on how best to proceed for the treatment of goods.
Pierre suggests putting everything back to singular in orthographic normalization. We also discuss an automatic treatment of singulars and plurals automatic. automatise the calculus on the database to calculate singular and plural. This is put off till latter. More details follow :
– tout remettre au singulier: pour la lecture c’est peu attrayant, mais ça serait une solution si nous continuons à essayer de rentrer les marchandises dans la normalisation orthographique « au fil de l’eau ». Solution rejetée dans la discussion parce que a) reconvertir est trop lourd (Loïc) b) de tout façon faire « au fil de l’eau » est trop compliqué (moi)
– d’où la solution choisie: un petit algorithme à appliquer une fois la normalisation terminée, qui vérifie que ce qui est au singulier doit bien être au singulier, et ce qui est au pluriel doit bien être au pluriel. Sous le contrôle de Guillaume, voici ce que ça donnerait:
pour le mot x
if forme normalisée orthographique = forme singulier du dictionnaire
trouver forme plurielle dans dictionnaire
calculer N occurrences singulier et N occurrences pluriel standard dans base normalisée
calculer % N pluriel / (N pluriel + N singulier)
comparer résultat à choix; changer si le résultat ne correspond pas à la règle choisie (que je rappelle: pluriel seulement quand 75% de pluriel)
if forme normalisée orthographique = forme plurielle du dictionnaire
trouver forme singulier dans dictionnaire
calculer N occurrences singulier et N occurrences pluriel standard dans base normalisée
calculer % N pluriel / (N pluriel + N singulier)
comparer résultat à choix; changer si le résultat ne correspond pas à la règle choisie (idem, 75% pluriel => pluriel)
if forme normalisée orthographique ne correspond à aucune forme, arrêt et avertissement
La seule question est celle de la constitution d’un dictionnaire, mais ça ne me semble pas insoluble. Et effectivement c’est à faire un fois les nouvelles lignes rentrées.
Considering the delays (we need a functioning treatment of goods for the end of March), we discuss wether we should bypass «simplification» and link directly orthographic normalization with the 1789 classification (200/280 items). That latter task seems very ambitious. We decide to go through simplification (even though the resulting file (between 12,000 and 16,000 lines) still seems very long for the end user) and link with the sitc classification.
We discuss two additional points regarding simplification.
– Shall we keep the «qualities» ? We answer yes as we want not to loose any information at that stage. «harengs séchés» is not the same as « harengs».
– Shall we keep «categories» ? We answer no when they do not add any information. «poissons harengs» is the same as « harengs» There are two issues with simplification; every product is associated to qualities and to categories,
• is product plus quality the same as just product?
• should we keep categories of should we leave them and keep them only in classification?
We should try to think who the users of the data will be and work on data accordingly
7. Gregory’s work
As the meeting is reaching an end, Gregory is simple sent a number of pdfs to illustrate the kind of visualization we need.
8. Datascape
The pre-prod version will be available soon. Please ask Guillaume for access.
Performance issues have been dealt with.
What should we add to the website to be a good tool for research?
In the simplification connection graph: get rid of the products with too few linkages (less than 4) to have those with more linkages clearer and more readable.
Another option is to filter by classification ?
Medicaments: change color of node to reflect hierarchisation ?
9. Chicago : no news. Things should coalesce when Loïc will be there, in March.