Règles de normalisation orthographique

REGLES DE TRAITEMENT

I) Marchandises normalisées orthographiquement (niveau 0 original => niveau 1 orthographe normalisée

01. Singulier/pluriel
01.a si toutes les occurences sont au singulier, ou toutes au pluriel, on ne touche à rien.
01.b si au moins 75% des occurences sont au singulier (ou au pluriel), on met au singulier (ou au pluriel) les 25% restant
NB: si une forme est ambigue (e.g. agrémens, peut être singulier), elle n’est pas prise en compte dans le calcul
01.c dans tous les autres cas, on met au singulier le substantif à l’usage mixte et les adjectifs qui en dépendent directement, mais rien d’autre
Agréments de fils => agrément de fils
01.d Les mêmes règles s’appliquent aux qualificatifs, etc. en cas de multiplicité des formes SAUF si le genre du qualificatif est gouverné par le genre du substantif (évidemment… arçons à selle possible lorsque l’on a à selle dans certains cas et à selles dans d’autres, mais pas arçons sellé, sans s)
01.e Si plusieurs substantifs sont enchaînés, le singulier domine (si un substantif au singulier et un au pluriel, tout au singulier)
01.f Si une forme singulier ou pluriel n’est pas attestée par les dictionnaire, alors qu’elle est dominante dans la base, mais sur un petit nombre d’occurrences et sous des formes majoritairement corrompues, la forme du dictionnaire est insérée
Alibania, alibanic, alibanir, alibanis dans la base ; alibanies dans tous les dictionnaires => alibanies

02. Tout est mis en minuscules sauf les noms propres [=> liste des noms propres maintenue à part]

03. Unification des formes orthographiques différentes: unifier uniquement a) si les occurrences d’une des deux formes à unifier sont inférieures à trois; b) si les deux formes à unifier relèvent de l’un des cas suivants:
N.B.: Si plusieurs formes de la base sont attestées dans les dictionnaires, on garde celle qui se trouve dans la base et qui est la plus fréquente; en cas de doute (moins de 75%/25%), on garde la première dans l’ordre alphabétique.
ajanis, janis => ajanis
03.a La différence vient d’une différence singulier/pluriel attestée dans les dictionnaires ails = aulx
03.b Le nombre de syllabe est identique (e muet compté comme une syllabe) et les phonèmes sont identiques dans l’ordre sur les deux types d’occurences
acier = assié
03.c Les phonèmes peuvent être considérées comme identiques si les deux conditions 03.c.1 ET 03.c.2 sont remplies:
03.c.1 consonnes de même type d’une des deux façons suivantes
– soit phonétiquement (occlusives vs fricatives.)
alquifoux = arquifoux
– soit proches par la forme de la lettre
alpargalle = alpargatte
03.c.2 voyelle identique (hors diphtongue)
aracq = arak, alpargalle = alpargatte
03.d Les phonèmes finaux sont considérés comme identiques si terminaison latine / terminaison moderne (e / us); on garde la forme la plus fréquente à 75%; si doute, garder la forme latine:
antimoine = antimonium => antimoine si antimoine est plus fréquent, antimonium autrement.
03.e La seule différence entre les deux occurrences est le placement des espaces:
alqui foux = alquifoux
03.f A l’occasion, essayer de rechercher dans le pdf d’origine une erreur de transcription (ad lib/wishful thinking)

04. Unifier ?, ??, ??? et autres expressions de doute en « ??? »
? brun => ??? brun

05 Moderniser l’orthographe
05.a Utiliser une orthographe moderne chaque fois que cela est possible, y compris en cas de changement de genre
bierre d’angleterre => bière d’Angleterre
Agats fins => agate fine
05.b En cas de cohabitation de formes modernes et anciennes, la normalisation se fait a) en fonction du nombre d’occurrence (75/25 comme singulier/pluriel); b) uniquement sur la forme moderne sauf si c’est du latin
ail + ail + ails + aux + aux + aux + aux => ail

06 En cas de produit inconnu,
06.a Faire d’abord une recherche rapide dans les principaux dictionnaires et sources primaires
N.B.: En cas de résultat, noter référence ET définition (réintégrer le dictionnaire de Loïc comme colonne dle cas échéant)
06.b A l’occasion, essayer de rechercher dans le pdf d’origine une erreur de transcription (ad lib/wishful thinking)
07 supprimer les séparateurs (virgules, points-virgules, « / »)
Ajustements ; de femme => ajustement de femme

II) Marchandises simplifiées (niveau 1 orthographe normalisée => niveau 2 marchandises simplifiées)

• Etape 1: supprimer les redites
1.1 supprimer les doublons séparés par ou en gardant le premier item substantif
mercure ou argent vif => mercure
N.B.: veiller à vérifier que les deux termes sont bien identique, et transfomer en qualificatif si nécessaire! dans almagro ou crayon rouge, en fait « almagro » est une provenance, et rajoute de l’info… => crayon, rouge, almagro
1.2 supprimer les « dites », « espèce de », et autres mentions partitives
akia, espèce de salade => akia, salade

• Etape 2: ordonner les items pour préparer la simplification
2.1 Ordonner les items substantifs par ordre alphabétique;
2.2 Séparer par des « , » tous les items qualificatifs, réintroduire des articles partitifs si besoin est
Bière de Liège, d’Angletere etc => bière, de Liège, d’Angleterre, etc.
agrément, de soie et fil => agrément, de soie, et de fil
2.2 Toujours mettre les items substantifs avant les items qualificatifs
salé et mariné, anchois => anchois, salé, et mariné
2.3 quand il y a plusieurs items substantifs qui sont des parties d’un même objet, ordonner du général au particulier les substantifs décrivant l’objet; séparer les ensembles relevant d’un item substantif de rang plus élevé et les ensembles relevant d’un item substantif de rang moins élevé par « : »
affûts de canon => canons : affûts de
NB: faire partie d’un objet ne signifie pas être fait d’un matériau (de sapin, par ex.), qui est une qualité, ni appartenir à une catégorie pouvant contenir d’autres objets
2.4 séparer par « ; » deux ensembles d’items substantifs séparés par « et » ou par une virgule, ôter les « et » entre deux substantifs ; et bien sûr conserver à chaque item substantif l’ensemble des items (adjectifs, adverbes, etc.) associés en les séparant par des virgules:
armes à feu et munitions de guerre => armes, à feu ; munitions, de guerre
2.5.a si plusieurs items adjectifs pour un seul item substantif sont séparés par « et », introduire un virgule
argent monnayé et brut => argent, monnayé, et brut
2.5.b si un item adjectif apparaît pour plusieurs substantifs, redistribuer
argent et or monnayé => argent, monnayé ; or, monnayé
2.6 si le même item substantif apparaît plusieurs fois, unifier les substantifs, et redistribuer les items qualificatifs suivant la règle ci-dessus
argent et or monnayé, argent brut => argent, brut, et monnayé ; or, monnayé
2.7 Supprimer les doublons dans les substantifs
Armes et artillerie : artillerie => armes ; artillerie
2.8 Lorsque la base utilise deux substantifs hiérarchisés dont l’un catégorise l’autre, de type « élément général; élément particulier », transformer « élément général » en un qualificatif, et d’une façon générale transformer les catégories supérieures en qualificatifs du substantif  de niveau le plus bas dans l’échelle des catégories, en redistribuant les qualificatifs si nécessaire:
bête, de somme : cheval => cheval, bête de somme
Armes et artillerie : artillerie : canons, pierriers, espingoles et mortiers => armes ; canons, artillerie ; pierriers, artillerie ; espingoles, artillerie ; mortiers, artillerie
2.9 en cas de doute sur un qualificatif (pas de certitude sur sur quoi porte un adjectif), chosir la solution la plus probable et signaler qu’un choix a été fait
agréments, de soie or et argent faux => agréments, de soie, d’or faux, d’argent faux
N.B.: pour les substantifs, on peut le plus souvent décider
argent; or; quadruples => argent ; or : quadruples, puisque la pistole est en or…
Mais quand on ne peux pas, là encore choisir et noter qu’il y a eu choix
cas fictif: argent; or ; en pièces => argent, en pièces ; or, en pièces

• Etape 3 : unifier par jugement qualitatif les mots proches [=> garder liste], c’est l’étape de simplification proprement dite
3.1 Gestion des variantes de contenu avec contenu identique
3.1.a Unifier les formes adjectivales (en monnaie, monnayé), sur forme la plus simple (moins de mot)
argent monnayé => argent, monnayé
argent en monnaie => argent, monnayé
3.1.b: Si « substantif 1; adjectif 1 » et « adjectif substantivé 1 », garder version séparant substantif et adjectif
Campêche => bois, de Campêche
3.2 Singulier/pluriel (encore…): si un substantif ou un qualificatif apparaît au singulier à un endroit et au pluriel à un autre (seul au singulier, en combinaison au pluriel, par exemple) => on passe tout au singulier.
3.3. Unification en classes [c’est le seul niveau ou on fait du qualitatif, à évoquer]
3.3.1 unifier les termes à contenu sémantique identique, en privilégiant ceux qui ont leur propre catégories; NOTER le choix fait, qu’il faudra vérifier (contrôle de qualité)
Arbrisseaux n’apparaît qu’en composé, contrairement à arbustes => arbustes
3.3.2: unifier les qualités (changer « avec » en « et »; « de » en « en » => « de fer » / « en fer ») mais attention à ne pas mélanger des qualités différentes: « de bois » (venant de forêts) n’est pas « en bois », etc.
Bidets ; de fayence ; avec leurs prez en bois => bidets, de faïence ; leurs pieds, en bois

September 10th 2015 meeting

Attending : Loïc Charles, Guillaume Daudin, Béatrice Dedinger, Pierre Gervais, Guillaume Plique, Gregory Tible

1. Ricardo
The Ricardo team is nearly at the bug squashing phase.

2. Team
Grégory Tible has been hired as an intern to work on Ricardo till the end of december. He will also give a hand to Guillaume Plique on the Toflit18 project
Donato Ricci will give a hand as a designer.

3. Budget
Everything seems fine. We are under-using the budget.
A partial explanation is that we will not have to pay for the server.
Still, the workshop in Chicago (one of the first three weeks of June 2016) might use up a lot of mission money.
A designer might come in handy latter too.

4. Neo4J
Work is continuing on the back-end of the datascape, written in Neo4J
A basic import procedure of the existing csv data has been put in place.
Programmation currently putting in place a robust agregation/disagregation procedure to include new sources and classifications in csv format, do a number on automatic checks and corrections (using the former stata .do as a base) and then re-export them for, among other things, versioning (as .csv).
There are still some bugs in this procedure.

Guillaume Plique is also making progress on the interface. There are two directions in that work :
– The aim of the first one is to ease the work on classifications
– The aim of the second one is to ease data exploration, which is the basic aim of the datascape

5. Classification of goods
Pierre Gervais and Loïc Charles have converged toward a set of formal rules to do the orthographic normalization of the name of goods (step 1) and the simplification of the name of goods (step 2).
Pierre Gervais presents the rules and we discuss them. The group approves them (see link).
Pierre Gervais commits to finishing the treatment on November 10th

6. Retranscriptions

Thasectra has finished Marseilles’s exports. Imports are still to be done : that will be their last task

Summing up on local sources :
Bayonne, La Rochelle, Rouen/Caen have been fully retranscribed. A selection of years have been retranscribed for Bordeaux, Marseille, Nantes and Rennes.
For Nantes, a number of years are missing : 1730, 1732, 1735, 1738, 1740 et 1745. They were not retranscribed by Thasectra and someone should do it.

Cyril Mouton has retranscribed trade of the colonies for 1789 and 1787 (and 1788 ?) this summer + the data on the Eden treaty.

Cyril Mouton and Esther Benbassat have also done 1792.

A number of 1789 directions are still missing, even though Loïc did some this summer. Some others (especially Nantes, Bordeaux and Marseilles) must be put in the right format.

7. Verifications

Done this summer : Nantes (exports and imports), Bayonne (imports) Marseille (1730s), Rouen/Caen + Rennes
Planned before mid-october : Bayonne (exports), Bordeaux (import) + another one in the list below — a priori Marseille (exports)

Still to be done :  Marseille (export and imports, other years), colonies (1787 to 1789), 1789 (for the directions we have), Bordeaux (exports), Eden treaty data, 1792

8. New data

No news from the archive people at Lyon despite two messages in spring. We will try again.

To do (one day) : go back quickly to Rouen and Nantes : a page is missing in each place.
Check Dunkerque to see if they have something.

9. Next meeting

9h30 on 8 /10/15