Archives de catégorie : Datascape

The way we treat quantity units (as of February 26th 2018)

The retranscribed variable is « quantity_unit » (1,538 different values).

 Orthographic Normalization

The file « Units_Normalisation_Orthographique.dta » establishes a correspondance between the variable « quantity_unit » and the variable « quantity_unit_ortho » (701 values). 210,000 observations have « livres » in « quantity_unit_ortho » and 160,000 have « unité manquante » (out of 510,000).

Simplification and single-key conversion

The file « Units_Normalisation_Métrique1 » establishes a correspondance between the variable « quantity_unit_ortho » and either
– 1. the variables « quantity_unit_ajustees » (simplifying the « quantity_unit_ortho »), « u_conv » (a metric unit of quantity) and « q_conv » (the number of u_conv in « quantity_unit_ortho »). e.g. « quantity_unit_orth » « douzaine de paires » has « douzaine de paires » as « quantity_unit_ajustees », « pièce » as u_conv and « 24 » as « q_conv ».
– 2. a variable « needs_more_details » which indicate that we cannot know the metric equivalent without using more variables.

Simplification and Multi-key conversion

The file « Units_Normalisation_Métrique2 » establishes a correspondance between :
exportsimports + pays_grouping + direction + marchandises_simplification + quantity_unit_ortho and « quantity_unit_ajustees » (simplifying the « quantity_unit_ortho »), « u_conv » (a metric unit of quantity) and « q_conv » (the number of u_conv in « quantity_unit_ortho »).