Archives de catégorie : Various

Règles de normalisation orthographique

REGLES DE TRAITEMENT

I) Marchandises normalisées orthographiquement (niveau 0 original => niveau 1 orthographe normalisée

01. Singulier/pluriel
01.a si toutes les occurences sont au singulier, ou toutes au pluriel, on ne touche à rien.
01.b si au moins 75% des occurences sont au singulier (ou au pluriel), on met au singulier (ou au pluriel) les 25% restant
NB: si une forme est ambigue (e.g. agrémens, peut être singulier), elle n’est pas prise en compte dans le calcul
01.c dans tous les autres cas, on met au singulier le substantif à l’usage mixte et les adjectifs qui en dépendent directement, mais rien d’autre
Agréments de fils => agrément de fils
01.d Les mêmes règles s’appliquent aux qualificatifs, etc. en cas de multiplicité des formes SAUF si le genre du qualificatif est gouverné par le genre du substantif (évidemment… arçons à selle possible lorsque l’on a à selle dans certains cas et à selles dans d’autres, mais pas arçons sellé, sans s)
01.e Si plusieurs substantifs sont enchaînés, le singulier domine (si un substantif au singulier et un au pluriel, tout au singulier)
01.f Si une forme singulier ou pluriel n’est pas attestée par les dictionnaire, alors qu’elle est dominante dans la base, mais sur un petit nombre d’occurrences et sous des formes majoritairement corrompues, la forme du dictionnaire est insérée
Alibania, alibanic, alibanir, alibanis dans la base ; alibanies dans tous les dictionnaires => alibanies

02. Tout est mis en minuscules sauf les noms propres [=> liste des noms propres maintenue à part]

03. Unification des formes orthographiques différentes: unifier uniquement a) si les occurrences d’une des deux formes à unifier sont inférieures à trois; b) si les deux formes à unifier relèvent de l’un des cas suivants:
N.B.: Si plusieurs formes de la base sont attestées dans les dictionnaires, on garde celle qui se trouve dans la base et qui est la plus fréquente; en cas de doute (moins de 75%/25%), on garde la première dans l’ordre alphabétique.
ajanis, janis => ajanis
03.a La différence vient d’une différence singulier/pluriel attestée dans les dictionnaires ails = aulx
03.b Le nombre de syllabe est identique (e muet compté comme une syllabe) et les phonèmes sont identiques dans l’ordre sur les deux types d’occurences
acier = assié
03.c Les phonèmes peuvent être considérées comme identiques si les deux conditions 03.c.1 ET 03.c.2 sont remplies:
03.c.1 consonnes de même type d’une des deux façons suivantes
– soit phonétiquement (occlusives vs fricatives.)
alquifoux = arquifoux
– soit proches par la forme de la lettre
alpargalle = alpargatte
03.c.2 voyelle identique (hors diphtongue)
aracq = arak, alpargalle = alpargatte
03.d Les phonèmes finaux sont considérés comme identiques si terminaison latine / terminaison moderne (e / us); on garde la forme la plus fréquente à 75%; si doute, garder la forme latine:
antimoine = antimonium => antimoine si antimoine est plus fréquent, antimonium autrement.
03.e La seule différence entre les deux occurrences est le placement des espaces:
alqui foux = alquifoux
03.f A l’occasion, essayer de rechercher dans le pdf d’origine une erreur de transcription (ad lib/wishful thinking)

04. Unifier ?, ??, ??? et autres expressions de doute en « ??? »
? brun => ??? brun

05 Moderniser l’orthographe
05.a Utiliser une orthographe moderne chaque fois que cela est possible, y compris en cas de changement de genre
bierre d’angleterre => bière d’Angleterre
Agats fins => agate fine
05.b En cas de cohabitation de formes modernes et anciennes, la normalisation se fait a) en fonction du nombre d’occurrence (75/25 comme singulier/pluriel); b) uniquement sur la forme moderne sauf si c’est du latin
ail + ail + ails + aux + aux + aux + aux => ail

06 En cas de produit inconnu,
06.a Faire d’abord une recherche rapide dans les principaux dictionnaires et sources primaires
N.B.: En cas de résultat, noter référence ET définition (réintégrer le dictionnaire de Loïc comme colonne dle cas échéant)
06.b A l’occasion, essayer de rechercher dans le pdf d’origine une erreur de transcription (ad lib/wishful thinking)
07 supprimer les séparateurs (virgules, points-virgules, « / »)
Ajustements ; de femme => ajustement de femme

II) Marchandises simplifiées (niveau 1 orthographe normalisée => niveau 2 marchandises simplifiées)

• Etape 1: supprimer les redites
1.1 supprimer les doublons séparés par ou en gardant le premier item substantif
mercure ou argent vif => mercure
N.B.: veiller à vérifier que les deux termes sont bien identique, et transfomer en qualificatif si nécessaire! dans almagro ou crayon rouge, en fait « almagro » est une provenance, et rajoute de l’info… => crayon, rouge, almagro
1.2 supprimer les « dites », « espèce de », et autres mentions partitives
akia, espèce de salade => akia, salade

• Etape 2: ordonner les items pour préparer la simplification
2.1 Ordonner les items substantifs par ordre alphabétique;
2.2 Séparer par des « , » tous les items qualificatifs, réintroduire des articles partitifs si besoin est
Bière de Liège, d’Angletere etc => bière, de Liège, d’Angleterre, etc.
agrément, de soie et fil => agrément, de soie, et de fil
2.2 Toujours mettre les items substantifs avant les items qualificatifs
salé et mariné, anchois => anchois, salé, et mariné
2.3 quand il y a plusieurs items substantifs qui sont des parties d’un même objet, ordonner du général au particulier les substantifs décrivant l’objet; séparer les ensembles relevant d’un item substantif de rang plus élevé et les ensembles relevant d’un item substantif de rang moins élevé par « : »
affûts de canon => canons : affûts de
NB: faire partie d’un objet ne signifie pas être fait d’un matériau (de sapin, par ex.), qui est une qualité, ni appartenir à une catégorie pouvant contenir d’autres objets
2.4 séparer par « ; » deux ensembles d’items substantifs séparés par « et » ou par une virgule, ôter les « et » entre deux substantifs ; et bien sûr conserver à chaque item substantif l’ensemble des items (adjectifs, adverbes, etc.) associés en les séparant par des virgules:
armes à feu et munitions de guerre => armes, à feu ; munitions, de guerre
2.5.a si plusieurs items adjectifs pour un seul item substantif sont séparés par « et », introduire un virgule
argent monnayé et brut => argent, monnayé, et brut
2.5.b si un item adjectif apparaît pour plusieurs substantifs, redistribuer
argent et or monnayé => argent, monnayé ; or, monnayé
2.6 si le même item substantif apparaît plusieurs fois, unifier les substantifs, et redistribuer les items qualificatifs suivant la règle ci-dessus
argent et or monnayé, argent brut => argent, brut, et monnayé ; or, monnayé
2.7 Supprimer les doublons dans les substantifs
Armes et artillerie : artillerie => armes ; artillerie
2.8 Lorsque la base utilise deux substantifs hiérarchisés dont l’un catégorise l’autre, de type « élément général; élément particulier », transformer « élément général » en un qualificatif, et d’une façon générale transformer les catégories supérieures en qualificatifs du substantif  de niveau le plus bas dans l’échelle des catégories, en redistribuant les qualificatifs si nécessaire:
bête, de somme : cheval => cheval, bête de somme
Armes et artillerie : artillerie : canons, pierriers, espingoles et mortiers => armes ; canons, artillerie ; pierriers, artillerie ; espingoles, artillerie ; mortiers, artillerie
2.9 en cas de doute sur un qualificatif (pas de certitude sur sur quoi porte un adjectif), chosir la solution la plus probable et signaler qu’un choix a été fait
agréments, de soie or et argent faux => agréments, de soie, d’or faux, d’argent faux
N.B.: pour les substantifs, on peut le plus souvent décider
argent; or; quadruples => argent ; or : quadruples, puisque la pistole est en or…
Mais quand on ne peux pas, là encore choisir et noter qu’il y a eu choix
cas fictif: argent; or ; en pièces => argent, en pièces ; or, en pièces

• Etape 3 : unifier par jugement qualitatif les mots proches [=> garder liste], c’est l’étape de simplification proprement dite
3.1 Gestion des variantes de contenu avec contenu identique
3.1.a Unifier les formes adjectivales (en monnaie, monnayé), sur forme la plus simple (moins de mot)
argent monnayé => argent, monnayé
argent en monnaie => argent, monnayé
3.1.b: Si « substantif 1; adjectif 1 » et « adjectif substantivé 1 », garder version séparant substantif et adjectif
Campêche => bois, de Campêche
3.2 Singulier/pluriel (encore…): si un substantif ou un qualificatif apparaît au singulier à un endroit et au pluriel à un autre (seul au singulier, en combinaison au pluriel, par exemple) => on passe tout au singulier.
3.3. Unification en classes [c’est le seul niveau ou on fait du qualitatif, à évoquer]
3.3.1 unifier les termes à contenu sémantique identique, en privilégiant ceux qui ont leur propre catégories; NOTER le choix fait, qu’il faudra vérifier (contrôle de qualité)
Arbrisseaux n’apparaît qu’en composé, contrairement à arbustes => arbustes
3.3.2: unifier les qualités (changer « avec » en « et »; « de » en « en » => « de fer » / « en fer ») mais attention à ne pas mélanger des qualités différentes: « de bois » (venant de forêts) n’est pas « en bois », etc.
Bidets ; de fayence ; avec leurs prez en bois => bidets, de faïence ; leurs pieds, en bois

April 2nd 2015 meeting

 

Attending: Loïc Charles, Guillaume Daudin, Béatrice Dedinger, Paul Girard, Pierre Hollegien and Guillaume Plique.

1-Team Management

IT department

We need to discuss Guillaume Plique’s vacations and their allocation between the projects he will work on.

Matteo will not join the Medialab. However Benoît Verjat (more about him here) will join the Medialab in June and could work on the Ricardo project.

Budget issues

The programmed budget meeting is postponed to May (between Béatrice, Paul and Marie-Laure).

Post doc

Frederico d’Onofrio has confirmed he will come to learn Stata with us.

 

2-Ricardo

A new way to update de Access database needs to be found as we have no funding anymore for Karine. Béatrice could replace her to ease the process.

The methodology article has advanced.

The answer for the SciencesPo SAB funding is due for May.

Finally, Paul did not have time to modify the points raised last meeting on graphs visualization.

3-GitHub

The software library “Daff” will now be used to compare tables inside Git. We still need to be careful as “Daff” can get confused when too many changes occur (lines order, values, etc…).

Paul is finalizing the script to move from the general database to the specific ones. Specific sources not in the general database are being standardized. The script to move back and forth between general and specific database should be finalized during the next month.

4-Commodities

Pierre has finished working on “intermediates commodities”. We have treated 27,414 unique orthographic variations to reduce them to 12,606 «standardized» commodity names.

Loïc and Guillaume will check the file and work on “normalized commodities”. New data should be added as well.

Questions have come up on the treatment of the dictionary of goods. Some definitions are currently included directly in the remarks column of transcription, some others are in the «marchandises classifiés» file. It would be great if we could find a definition for all «normalized» commodities and add a link to it. This has to be discussed in the data model by Guillaume Plique.

5-Transcription

Thasectra has promised the data on Bayonne and Marseille for end of June. Ahmed has already finished data entry for the year 1730 in Marseille.

Laura and Ahmed are now checking data from Rennes, Rouen and Caen (1749, 1751). They should be ready at the end of this month.

We still need to find interns ready to work on missing years as Laura will leave soon.

Loïc has found at the BNF data on trade with Austrian Flanders, Sweden, Denmark, Switzerland and Geneva for the year 1749.

Loïc also found some interesting documents on taxation system for each region and duties evolution.

Next meeting is scheduled at 10 am, at the Médialab on Mai 7th. We will discuss functionalities needed by economists.

Supporting material for the comparison of French and Sound data

 

Denmark–??? Denmark–0a: Foodstuff, European Denmark–0b: Foodstuff, Exotic Denmark–1: Beverages and tobacco Denmark–2: Raw materials Denmark–3: Fuels Denmark–4: Oils Denmark–5: Chemicals Denmark–6: Manuf. goods, by material Denmark–6a: Manuf. goods, linen Denmark–6b: Manuf. goods, wool Denmark–6c: Manuf. goods, silk Denmark–6d: Manuf. goods, coton Denmark–7: Machinery and transport goods Denmark–8: Misc. manuf. goods Denmark–9: Other (incl. weapons) Denmark–9a: Species Denmark

Russia–??? Russia–0a: Foodstuff, European Russia–0b: Foodstuff, Exotic Russia–1: Beverages and tobacco Russia–2: Raw materials Russia–3: Fuels Russia–4: Oils Russia–5: Chemicals Russia–6: Manuf. goods, by material Russia–6a: Manuf. goods, linen Russia–6b: Manuf. goods, wool Russia–6c: Manuf. goods, silk Russia–6d: Manuf. goods, coton Russia–7: Machinery and transport goods  Russia–8: Misc. manuf. goods Russia–9: Other (incl. weapons) Russia

Sweden–??? Sweden–0a: Foodstuff, European Sweden–0b: Foodstuff, Exotic Sweden–1: Beverages and tobacco Sweden–2: Raw materials Sweden–3: Fuels Sweden–4: Oils Sweden–5: Chemicals Sweden–6: Manuf. goods, by material Sweden–6a: Manuf. goods, linen Sweden–6b: Manuf. goods, wool Sweden Sweden–6c: Manuf. goods, silk Sweden–6d: Manuf. goods, coton Sweden–7: Machinery and transport goods Sweden–8: Misc. manuf. goods Sweden–9: Other (incl. weapons) Sweden–9a: Species

Denmark– Russia– Sweden–