108 lines
4.3 KiB
Plaintext
108 lines
4.3 KiB
Plaintext
REVIEW DE CODE — 2026-04-26
|
|
============================================
|
|
|
|
Outil CLI one-shot pour synchroniser la BDD `dvf` (Demandes de
|
|
Valeurs Foncieres, donnees publiques data.gouv.fr) avec une table
|
|
MySQL. 2 scripts (parse.js 70 lignes, sync.js 155 lignes) + lib/
|
|
dotenv. Pas de service Docker, lance manuellement.
|
|
|
|
Le dossier contient ~4 Go de data CSV/GZ telechargees (gitignored).
|
|
Probablement utilise par flatbay pour les estimations immobilieres.
|
|
|
|
SECURITE
|
|
--------
|
|
[ ] sync.js : fetch sans verification d'integrite
|
|
sync.js:51 : `const res = await fetch(url)`. Pas de check du
|
|
sha256 du fichier. data.gouv.fr est trusted, mais MITM ou
|
|
DNS hijack pourrait empoisonner les imports. Risque
|
|
theorique pour une source publique.
|
|
|
|
BUGS / FRAGILITE
|
|
----------------
|
|
[ ] parse.js : code mort — INSERT commente
|
|
parse.js:37-40 :
|
|
// connection.query(sql, (error, results) => {
|
|
// if (error) throw error;
|
|
// console.log('Inserted rows:', results.affectedRows);
|
|
// });
|
|
Le script ne fait que `console.log(sql)`. Donc parse.js ne
|
|
fonctionne PAS, il print juste le SQL. Soit reactiver le
|
|
query, soit delete tout le fichier (sync.js le remplace).
|
|
|
|
[ ] parse.js et sync.js : 2 scripts qui font le meme job
|
|
parse.js : ancienne version pour CSV brut DVF. Charge un seul
|
|
fichier en parametre, gere CSV avec delimiteur `|` ou `,` selon
|
|
extension.
|
|
sync.js : version moderne pour geodvf, telecharge auto +
|
|
insertion batch via prepared statements.
|
|
A consolider en un seul script.
|
|
|
|
[ ] sync.js : pas de reprise sur erreur
|
|
sync.js:43-58 (downloadYear) : si la connexion casse au milieu
|
|
d'un download de plusieurs Go, le fichier .gz est partiel mais
|
|
`fs.existsSync` ligne 45 retourne true => skip le re-download.
|
|
Erreur silencieuse au parse. A check la taille ou utiliser
|
|
`.tmp` puis rename atomique.
|
|
|
|
[ ] sync.js : pas de DELETE/REPLACE pour les annees deja en BDD
|
|
sync.js:131 : `missing = serverYears.filter(y => !dbYears.
|
|
includes(y))`. Ne re-importe pas. Mais si les donnees d'une
|
|
annee sont mises a jour cote source (ex: 2024 corrige), pas
|
|
de mecanisme pour rafraichir. A faire un mode `--force` ou
|
|
upsert.
|
|
|
|
[ ] sync.js : forceYear traite seulement
|
|
sync.js:131-135 : `forceYear` ecrase le filter des manquantes,
|
|
importe une annee specifique. Mais ne supprime pas les rows
|
|
existantes => duplicates en BDD. Bug si execute 2 fois pour
|
|
la meme annee.
|
|
|
|
[ ] sync.js : `process.argv[2]` pour forceYear
|
|
sync.js:119. Pas de yargs ou argument parser. Fragile (pas
|
|
d'aide, pas de validation). Cf scripts/assistant/release.js
|
|
dans check/ qui utilise yargs.
|
|
|
|
[ ] sync.js : `inserted % 100_000 < BATCH_SIZE` modulo log progress
|
|
sync.js:76 : `if (inserted % 100_000 < BATCH_SIZE)`. Si BATCH_SIZE
|
|
ne divise pas exactement 100_000, le log peut etre saute ou
|
|
duplique. Edge case mineur.
|
|
|
|
[ ] parse.js : fragile sur extensions multiples
|
|
parse.js:13 : `const delimiter = (file.match(/\\.gz$/)) ? ',' :
|
|
'|';`. Si le fichier est `2025.full.csv` (sans .gz), utilise
|
|
`|`. Si c'est un fichier geodvf .csv sans .gz, faux delimiteur.
|
|
A baser sur le contenu (autodetection).
|
|
|
|
[ ] sync.js : connection.end() jamais en cas d'erreur
|
|
sync.js:139, 152 : end() appele sur les paths ok/done. Si une
|
|
exception throw entre-temps, connection reste ouverte. A
|
|
passer en try/finally.
|
|
|
|
[ ] columns : Object.keys(record).map(col => `\`${col}\``)
|
|
sync.js:89. Si le nom de colonne contient un backtick (peu
|
|
probable cote data.gouv), escape cassé. A passer en
|
|
`connection.escapeId(col)` (utilise dans parse.js:53).
|
|
|
|
[ ] geodvf/sample.json
|
|
A verifier le contenu.
|
|
|
|
CODE MORT / POLLUTION
|
|
---------------------
|
|
[ ] parse.js : 70 lignes inutiles (INSERT commente)
|
|
A delete et garder uniquement sync.js.
|
|
|
|
[ ] README.md : 30+ lignes de curl manuels
|
|
Inutile depuis sync.js qui fait le download auto. A simplifier.
|
|
|
|
[ ] Pas de tests
|
|
Pas de test/. Pas de lib/ pure. sync.js a une logique non-
|
|
triviale (parse + batch + flush + final), merite des tests
|
|
sur la decoupe en batches au moins.
|
|
|
|
CONVENTIONS
|
|
-----------
|
|
[ ] Mauvaise pratique : parse.js fait du concat avec escape
|
|
parse.js:32 : `batch.map(row => '(' + row.map(val => connection.
|
|
escape(val)).join(', ') + ')')`. Theoriquement OK avec escape,
|
|
mais prepared statements sont preferes. A migrer ou delete.
|