Règles de normalisation orthographique

REGLES DE TRAITEMENT

I) Marchandises normalisées orthographiquement (niveau 0 original => niveau 1 orthographe normalisée

01. Singulier/pluriel
01.a si toutes les occurences sont au singulier, ou toutes au pluriel, on ne touche à rien.
01.b si au moins 75% des occurences sont au singulier (ou au pluriel), on met au singulier (ou au pluriel) les 25% restant
NB: si une forme est ambigue (e.g. agrémens, peut être singulier), elle n’est pas prise en compte dans le calcul
01.c dans tous les autres cas, on met au singulier le substantif à l’usage mixte et les adjectifs qui en dépendent directement, mais rien d’autre
Agréments de fils => agrément de fils
01.d Les mêmes règles s’appliquent aux qualificatifs, etc. en cas de multiplicité des formes SAUF si le genre du qualificatif est gouverné par le genre du substantif (évidemment… arçons à selle possible lorsque l’on a à selle dans certains cas et à selles dans d’autres, mais pas arçons sellé, sans s)
01.e Si plusieurs substantifs sont enchaînés, le singulier domine (si un substantif au singulier et un au pluriel, tout au singulier)
01.f Si une forme singulier ou pluriel n’est pas attestée par les dictionnaire, alors qu’elle est dominante dans la base, mais sur un petit nombre d’occurrences et sous des formes majoritairement corrompues, la forme du dictionnaire est insérée
Alibania, alibanic, alibanir, alibanis dans la base ; alibanies dans tous les dictionnaires => alibanies

02. Tout est mis en minuscules sauf les noms propres [=> liste des noms propres maintenue à part]

03. Unification des formes orthographiques différentes: unifier uniquement a) si les occurrences d’une des deux formes à unifier sont inférieures à trois; b) si les deux formes à unifier relèvent de l’un des cas suivants:
N.B.: Si plusieurs formes de la base sont attestées dans les dictionnaires, on garde celle qui se trouve dans la base et qui est la plus fréquente; en cas de doute (moins de 75%/25%), on garde la première dans l’ordre alphabétique.
ajanis, janis => ajanis
03.a La différence vient d’une différence singulier/pluriel attestée dans les dictionnaires ails = aulx
03.b Le nombre de syllabe est identique (e muet compté comme une syllabe) et les phonèmes sont identiques dans l’ordre sur les deux types d’occurences
acier = assié
03.c Les phonèmes peuvent être considérées comme identiques si les deux conditions 03.c.1 ET 03.c.2 sont remplies:
03.c.1 consonnes de même type d’une des deux façons suivantes
– soit phonétiquement (occlusives vs fricatives.)
alquifoux = arquifoux
– soit proches par la forme de la lettre
alpargalle = alpargatte
03.c.2 voyelle identique (hors diphtongue)
aracq = arak, alpargalle = alpargatte
03.d Les phonèmes finaux sont considérés comme identiques si terminaison latine / terminaison moderne (e / us); on garde la forme la plus fréquente à 75%; si doute, garder la forme latine:
antimoine = antimonium => antimoine si antimoine est plus fréquent, antimonium autrement.
03.e La seule différence entre les deux occurrences est le placement des espaces:
alqui foux = alquifoux
03.f A l’occasion, essayer de rechercher dans le pdf d’origine une erreur de transcription (ad lib/wishful thinking)

04. Unifier ?, ??, ??? et autres expressions de doute en “???”
? brun => ??? brun

05 Moderniser l’orthographe
05.a Utiliser une orthographe moderne chaque fois que cela est possible, y compris en cas de changement de genre
bierre d’angleterre => bière d’Angleterre
Agats fins => agate fine
05.b En cas de cohabitation de formes modernes et anciennes, la normalisation se fait a) en fonction du nombre d’occurrence (75/25 comme singulier/pluriel); b) uniquement sur la forme moderne sauf si c’est du latin
ail + ail + ails + aux + aux + aux + aux => ail

06 En cas de produit inconnu,
06.a Faire d’abord une recherche rapide dans les principaux dictionnaires et sources primaires
N.B.: En cas de résultat, noter référence ET définition (réintégrer le dictionnaire de Loïc comme colonne dle cas échéant)
06.b A l’occasion, essayer de rechercher dans le pdf d’origine une erreur de transcription (ad lib/wishful thinking)
07 supprimer les séparateurs (virgules, points-virgules, “/”)
Ajustements ; de femme => ajustement de femme

II) Marchandises simplifiées (niveau 1 orthographe normalisée => niveau 2 marchandises simplifiées)

• Etape 1: supprimer les redites
1.1 supprimer les doublons séparés par ou en gardant le premier item substantif
mercure ou argent vif => mercure
N.B.: veiller à vérifier que les deux termes sont bien identique, et transfomer en qualificatif si nécessaire! dans almagro ou crayon rouge, en fait “almagro” est une provenance, et rajoute de l’info… => crayon, rouge, almagro
1.2 supprimer les “dites”, “espèce de”, et autres mentions partitives
akia, espèce de salade => akia, salade

• Etape 2: ordonner les items pour préparer la simplification
2.1 Ordonner les items substantifs par ordre alphabétique;
2.2 Séparer par des “,” tous les items qualificatifs, réintroduire des articles partitifs si besoin est
Bière de Liège, d’Angletere etc => bière, de Liège, d’Angleterre, etc.
agrément, de soie et fil => agrément, de soie, et de fil
2.2 Toujours mettre les items substantifs avant les items qualificatifs
salé et mariné, anchois => anchois, salé, et mariné
2.3 quand il y a plusieurs items substantifs qui sont des parties d’un même objet, ordonner du général au particulier les substantifs décrivant l’objet; séparer les ensembles relevant d’un item substantif de rang plus élevé et les ensembles relevant d’un item substantif de rang moins élevé par “:”
affûts de canon => canons : affûts de
NB: faire partie d’un objet ne signifie pas être fait d’un matériau (de sapin, par ex.), qui est une qualité, ni appartenir à une catégorie pouvant contenir d’autres objets
2.4 séparer par “;” deux ensembles d’items substantifs séparés par “et” ou par une virgule, ôter les “et” entre deux substantifs ; et bien sûr conserver à chaque item substantif l’ensemble des items (adjectifs, adverbes, etc.) associés en les séparant par des virgules:
armes à feu et munitions de guerre => armes, à feu ; munitions, de guerre
2.5.a si plusieurs items adjectifs pour un seul item substantif sont séparés par “et”, introduire un virgule
argent monnayé et brut => argent, monnayé, et brut
2.5.b si un item adjectif apparaît pour plusieurs substantifs, redistribuer
argent et or monnayé => argent, monnayé ; or, monnayé
2.6 si le même item substantif apparaît plusieurs fois, unifier les substantifs, et redistribuer les items qualificatifs suivant la règle ci-dessus
argent et or monnayé, argent brut => argent, brut, et monnayé ; or, monnayé
2.7 Supprimer les doublons dans les substantifs
Armes et artillerie : artillerie => armes ; artillerie
2.8 Lorsque la base utilise deux substantifs hiérarchisés dont l’un catégorise l’autre, de type “élément général; élément particulier”, transformer “élément général” en un qualificatif, et d’une façon générale transformer les catégories supérieures en qualificatifs du substantif  de niveau le plus bas dans l’échelle des catégories, en redistribuant les qualificatifs si nécessaire:
bête, de somme : cheval => cheval, bête de somme
Armes et artillerie : artillerie : canons, pierriers, espingoles et mortiers => armes ; canons, artillerie ; pierriers, artillerie ; espingoles, artillerie ; mortiers, artillerie
2.9 en cas de doute sur un qualificatif (pas de certitude sur sur quoi porte un adjectif), chosir la solution la plus probable et signaler qu’un choix a été fait
agréments, de soie or et argent faux => agréments, de soie, d’or faux, d’argent faux
N.B.: pour les substantifs, on peut le plus souvent décider
argent; or; quadruples => argent ; or : quadruples, puisque la pistole est en or…
Mais quand on ne peux pas, là encore choisir et noter qu’il y a eu choix
cas fictif: argent; or ; en pièces => argent, en pièces ; or, en pièces

• Etape 3 : unifier par jugement qualitatif les mots proches [=> garder liste], c’est l’étape de simplification proprement dite
3.1 Gestion des variantes de contenu avec contenu identique
3.1.a Unifier les formes adjectivales (en monnaie, monnayé), sur forme la plus simple (moins de mot)
argent monnayé => argent, monnayé
argent en monnaie => argent, monnayé
3.1.b: Si “substantif 1; adjectif 1” et “adjectif substantivé 1”, garder version séparant substantif et adjectif
Campêche => bois, de Campêche
3.2 Singulier/pluriel (encore…): si un substantif ou un qualificatif apparaît au singulier à un endroit et au pluriel à un autre (seul au singulier, en combinaison au pluriel, par exemple) => on passe tout au singulier.
3.3. Unification en classes [c’est le seul niveau ou on fait du qualitatif, à évoquer]
3.3.1 unifier les termes à contenu sémantique identique, en privilégiant ceux qui ont leur propre catégories; NOTER le choix fait, qu’il faudra vérifier (contrôle de qualité)
Arbrisseaux n’apparaît qu’en composé, contrairement à arbustes => arbustes
3.3.2: unifier les qualités (changer “avec” en “et”; “de” en “en” => “de fer” / “en fer”) mais attention à ne pas mélanger des qualités différentes: “de bois” (venant de forêts) n’est pas “en bois”, etc.
Bidets ; de fayence ; avec leurs prez en bois => bidets, de faïence ; leurs pieds, en bois


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.