[Civici FVG] Prosecuzione lavori

classic Classic list List threaded Threaded
22 messages Options
12
Reply | Threaded
Open this post in threaded view
|

[Civici FVG] Prosecuzione lavori

bredy
This post has NOT been accepted by the mailing list yet.
Visto che nessuno più ne parla, volevo provare a capire se c'è stato qualche aggiornamento.

Io nel frattempo ho lavorato sui dati del mio comune, estrapolando dal file i dati del singolo comune. Ho trasformato i dati in carattere minuscolo con solo le iniziali maiuscole dove serviva, ho verificato la corrispondenza dei nomi con quelli reali e quelli presenti su OSM ed eventualmente modificati.

Ho così ottenuto un file osm immettendo anche le chiavi corrette addr: inserendo anche il CAP, IT in base alle specifiche del wiki sui numeri.

Mi manca solo il lavoro sugli interni e poi sarebbe possibile importare i dati su OSM.
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

cascafico
This post has NOT been accepted by the mailing list yet.
Puoi scriverci dettagliatamente la procedura che segui e gli strumenti usati (spatialite, qgis, JOSM...) ?

Mi confermate che stiamo procedendo per comuni e compilando la tabella [1] per lo stato dei lavori?

Vogliamo usare un deposito per il file pronti all'import, oppure mandare direttamente il changeset? In questo caso sarebbe utile nella tabella una colonna che segnali chi ci sta lavorando.

Da quel che ricordo delle linee guida, per l'importazione è consigliato creare un utente specifico.

[1] http://wiki.openstreetmap.org/wiki/Friuli_Venezia_Giulia/Import_Civici_FVG#Elenco_dei_comuni:

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

cascafico
This post has NOT been accepted by the mailing list yet.
In reply to this post by bredy
Be' da qualche parte di doveva cominciare...

Ho preso il comune di Stregna, con solo 382 nodi, senza INTERNO e senza nessun nodo preesistente.


Visto il caso, la procedura è stata semplice:

- QGIS: filtrato il CIVICI_RAFVG.shp con NOME_COMUN = 'STREGNA'
- QGIS: vector, geometry tools, multipart to singlepart

Il file shp è stato poi convertito con ogr2osm ed uno specifico file di traduzione NumeriCiviciFVG.py

Risultato in changeset 25763431


--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

Marco_T
This post has NOT been accepted by the mailing list yet.
Ottimo lavoro! Complimenti.
Che sia il caso di assegnare il "name" alle strade interne o attraversanti le frazioni anche nel caso questo sia semplicemente "Frazione Pincopalla"?
Penso ad un programma di routing che magari ha bisogno di questa indicazione...o basta semplicemente il nodo con l'indirizzo...
Ciao.

--
Marco_T
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

cascafico
This post has NOT been accepted by the mailing list yet.
Ciao Lista!

Io sarei pronto con dei import su base comunale. Posso condividere un .osm per la vostra analisi. Nello specifico il Comune di Cividale del Friuli (ISTAT 30026, relazione OSM 179094) che ha numerosi nodi già esistenti. Non so se illustrare la procedura nella pagina wiki o in quella delle discussione.

Non ho creato ancora un utente OSM per l'import, ne' informato imports@openstreetmaps.org

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

Marco_T
This post has NOT been accepted by the mailing list yet.
cascafico wrote
Ciao Lista!

Io sarei pronto con dei import su base comunale. Posso condividere un .osm per la vostra analisi. Nello specifico il Comune di Cividale del Friuli (ISTAT 30026, relazione OSM 179094) che ha numerosi nodi già esistenti. Non so se illustrare la procedura nella pagina wiki o in quella delle discussione.

Non ho creato ancora un utente OSM per l'import, ne' informato imports@openstreetmaps.org
Ciao,
consigli non sono in grado di darteli dato che di import e wiki non ho esperienza.
Sono comunque disponibile per dare un'occhiata all' .osm e dare una mano per le sistemazioni post import, se necessarie.

--
Marco_T
Reply | Threaded
Open this post in threaded view
|

[Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
Visto che le modifiche sullo shp regionale non saranno poche, forse è il caso di condividere i dati in quanto diverse correzioni sono difficilmente automatizzabili e possono sfuggire alle query che sto preparando.

Ho installato sul mio raspberry una leggera utility di sincronizzazione, Syncthing. Naturalmente è disponibile anche per windows ed android.
Questa permette di avere in condivisione grandi file che, se modificati, richiedono solo 4Mbyte per la sincronizzazione, che non è male tenendo conto che il dbf dei civici è di oltre 100Mbyte.


L'identificativo del mio nodo per Syncthing:
2M2D4D6-Q7QSYGE-VGLD4YO-KR62AOJ-F6MUSUA-AQRF27C-XVQP63G-4ADMFAA

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
In CIVICI_RAFVG abbiamo circa 16.000 nomi unici. Sto cercando di selezionare un sottoinsieme da correggere (abberviazioni, numeri romani, ecc). Qualcuno vuole partecipare?

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
cascafico wrote
In CIVICI_RAFVG abbiamo circa 16.000 nomi unici.
Di questi ho selezionato quelli da standardizzare in base a:

#### DATE
select denominazi from "CIVICI_FVG_UTF-8" where
denominazi LIKE ('%GENNAIO%') OR
denominazi LIKE ('%FEBBRAIO%') OR
denominazi LIKE ('%MARZO%') OR
denominazi LIKE ('%APRILE%') OR
denominazi LIKE ('%MAGGIO%') OR
denominazi LIKE ('%GIUGNO%') OR
denominazi LIKE ('%LUGLIO%') OR
denominazi LIKE ('%AGOSTO%') OR
denominazi LIKE ('%SETTEMBRE%') OR
denominazi LIKE ('%OTTOBRE%') OR
denominazi LIKE ('%DICEMBRE%')

#### ABBREVIAZIONI
select denominazi from "CIVICI_FVG_UTF-8" where
denominazi LIKE ('%.%')

### APOSTROFI
select denominazi from "CIVICI_FVG_UTF-8" where
denominazi LIKE ('%A\''%') OR
denominazi LIKE ('%E\''%') OR
denominazi LIKE ('%I\''%') OR
denominazi LIKE ('%O\''%') OR
denominazi LIKE ('%U\''%')

#### VARIE
select denominazi from "CIVICI_FVG_UTF-8" where
denominazi LIKE 'III ARMATA' OR
denominazi LIKE 'IV GENOVA' OR
denominazi LIKE 'IV GENOVA CAVALLERIA' OR
denominazi LIKE 'V NOVARA' OR
denominazi LIKE '% I TR%'

Come risultato ho ottenuto circa 1.600 nomi. Se vi vengono in mente altri select...

Ho messo in condivisione (sul nodo syncthing che ho postato) la tabella risultante, aggiungendovi una colonna da compilare con il nome standardizzato secondo il capitolo 15 del documento ISTAT
Per le aree di circolazione che riportano date complete espresse con giorni, mesi e anno in numeri arabi,
nella denominazione il giorno e l’anno sono registrati attraverso la numerazione naturale (1, 2, 3, ecc.),
mentre il mese con caratteri alfabetici (gennaio, febbraio, ecc.). Es. VIA 18 AGOSTO 1944.

Per le aree di circolazione che riportano date o parte di esse espresse in numeri romani, nella
denominazione i numeri vanno esplicitati: in lettere se è assente l’anno, ad es. Viale IV Novembre è scritto
VIALE QUATTRO NOVEMBRE; in cifre se è presente anche l’anno, ad es. Via XVIII Agosto 1944 è registrato
come VIA 18 AGOSTO 1944. Il mese è sempre scritto con caratteri alfabetici.

Per le aree di circolazione che riportano date composte solo da giorni e mese, nella denominazione il
numero va esplicitato in lettere: ad es. Via 25 Aprile è scritto VIA VENTICINQUE APRILE.

Per le aree di circolazione che riportano date composte solo da mese e anno, nella denominazione il mese
va esplicitato in lettere e l’anno in numeri arabi: ad es. VIA MAGGIO 1898.

Per le aree di circolazione che riportano la contrazione dell’anno (con o senza apostrofo), nella
denominazione l’anno va esplicitato in cifre e in forma estesa, ad es. Via Italia ’61 è scritto VIA ITALIA 1861.
L’unico caso escluso è la denominazione riferita a RAGAZZI DEL 99 il cui anno è scritto in forma abbreviata
ma senza apostrofo.
Fatemi sapere se il metodo di condivisione via synchthing vi sembra appropriato o se vogliamo procedere in altro modo.

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
cascafico wrote
Fatemi sapere se il metodo di condivisione via synchthing vi sembra appropriato o se vogliamo procedere in altro modo.
Ho impostato una tabella pubblicamente editabile. se qualcuno vuole provarla...
http://lampone.ddns.net/index.php/rafvg-distinct

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
cascafico wrote
Ho impostato una tabella pubblicamente editabile. se qualcuno vuole provarla...
http://lampone.ddns.net/index.php/rafvg-distinct
Inserito filtri e ordinamento.

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
cascafico wrote
Ho impostato una tabella pubblicamente editabile. se qualcuno vuole provarla...
http://lampone.ddns.net/index.php/rafvg-distinct
Stiamo andando bene :-)

Partiti da oltre 1600, nel momento in cui scrivo sono rimasti solo 474. E le abbreviazioni del nome proprio non sono facili! Chi si immaginava che quella "A." di FRANCESCO A. DUODO era "Ammiraglio"?

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

Marco_T
This post has NOT been accepted by the mailing list yet.
cascafico wrote
Stiamo andando bene :-)

Partiti da oltre 1600, nel momento in cui scrivo sono rimasti solo 474. E le abbreviazioni del nome proprio non sono facili! Chi si immaginava che quella "A." di FRANCESCO A. DUODO era "Ammiraglio"?
...anche ieri sera ne ho inseriti una trentina, ma la fantasia e le fonti di ricerca cominciano a venirmi meno... :-)
Per quelli piu' ambigui bisognerebbe sapere in che comune/i ricadono per poter fare una ricerca piu' mirata (personaggio locale, denominazione  specifica di un luogo...).
Tipo "F. Bertagnolli" al 90% e' "Fratelli Bertagnolli" ma mi scoccierebbe sbagliare anche il 10% (se esitess un ipotetico Franco Bertagnolli...).
Poi ci sono i "Br. ..." che dovrebbero essere "Borgo ..." ma con la sfiga che ci vede magari esite pure un "Brigadier ...".

Saluti

--
Marco_T
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

Marco_T
This post has NOT been accepted by the mailing list yet.
In reply to this post by cascafico
cascafico wrote
Stiamo andando bene :-)

Partiti da oltre 1600, nel momento in cui scrivo sono rimasti solo 474.
Volevo ringraziare gpstracks per la dritta di usare nominatim. Con l'incrocio della tabella civici (per trovare il comune della via) e nominatim (per verificare se esiste una corrispondenza) credo siamo scesi sotto i 200...

PS:
Scrivo qui sotto perche' la webmail di libero non mi impila correttamente le risposte e quindi preferisco usare nabble che pero' non carica i messaggi esterni.
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
Marco_T wrote
Volevo ringraziare gpstracks per la dritta di usare nominatim. Con l'incrocio della tabella civici (per trovare il comune della via) e nominatim (per verificare se esiste una corrispondenza) credo siamo scesi sotto i 200...
149 :-)

puoi filtrare con l'icona binocolo selezionando il campo standard come "IS EMPTY"

Visto che gran parte delgli editing riguardano le abbreviazioni, non ho capito come gestire i personaggi più famosi senza abbreviazione ("Garibaldi", "Cavour" eccetera). Non essendo facili da intercettare nelle query, li lasciamo in pace? Finchè è un "Giuseppe" vabbe', ma "Camillo Benso Conte di" ha senso inserirlo in OSM?



--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

Marco_T
This post has NOT been accepted by the mailing list yet.
cascafico wrote
Visto che gran parte delgli editing riguardano le abbreviazioni, non ho capito come gestire i personaggi più famosi senza abbreviazione ("Garibaldi", "Cavour" eccetera). Non essendo facili da intercettare nelle query, li lasciamo in pace? Finchè è un "Giuseppe" vabbe', ma "Camillo Benso Conte di" ha senso inserirlo in OSM?
Mah..., se fosse possibile, e non comporta grossa perdita di tempo con incasinamenti ad DB, metterei subito il nome per esteso.
Altrimenti chi ha voglia potrebbe farlo anche dopo l'import... magari con query localizzate (non a manina perche' le vie con i nomi piu' celebri di solito sono quelle con piu' civici!!!).
Ciao

--
Marco_T


Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Condivisione dati pre-import

cascafico
This post has NOT been accepted by the mailing list yet.
In reply to this post by cascafico
Allora, sembra siamo arrivati a una cinquantina di record che (a meno di non chiedere alle amministrazioni e finire tutto) possono essere valorizzati con i dati OSM.

Al momento non ho gli strumenti disponibili inserire tutti gli standardizzati nel file di tutti i civici, ma conto di poterlo fare la settimana prossima.

Nel frattempo, per il database OSM credo ci siano abbastanza dati per numerosi editing sui "name" delle "highway". Qualcuno ha iniziato a sostituire abbreviazioni, numeri romani ecc.?

L'obbiettivo ovviamente è minimizzare i no_match tra i dati RAFVG standardizzati e gli esistenti in OSM preventivamente all'import.

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

cascafico
This post has NOT been accepted by the mailing list yet.
In reply to this post by bredy
Sui CAP che latitano dai dati RAFVG, riporto un post di Cortesi dalla discussione talk-it sui civici sardi...

2014-12-18 23:25 GMT+01:00 Leonardo Frassetto <[hidden email]>:
> ho aggiunto le informazioni mancanti e dopo una chiaccherata in IRC con il
> DWG, confermo che Wikipedia non può essere usata come fonte. A questo punto,
> non essendo critico come dato attualmente possiamo non metterlo in attesa di
> futuri rilasci di dati compatibili con la licenza Odbl, da parte dello
> Stato.

i CAP sono presenti anche in wikidata e su ckan con licenza Public Domain.

https://www.wikidata.org/wiki/Q6259
http://it.ckan.net/dataset/fsfe-trovacap

--
-S
Sono disponibili in formato sql/sqlite per un'integrazione rapida nel tabellone RAFVG.

Buone Vacanze alla lista!!!

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

cascafico
This post has NOT been accepted by the mailing list yet.
Oilà!

Ho creato la bozza di pagina in inglese per l'import... facciamola crescere che poi pubblichiamo in lista nazionale ed internazionale.

https://wiki.openstreetmap.org/wiki/Import/Catalogue/AddressImport_RAFVG

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: [Civici FVG] Prosecuzione lavori

cascafico
This post has NOT been accepted by the mailing list yet.
Ciao Lista.

Volevo segnalarvi che il lavoro di Damjan [1] che sto guardando oggi mi sembra sia perfetto, compresa l'integrazione dei nomi a cui abbiamo partecipato per l'espansione e normalizzazione.

A quanto pare, resta aperta solo la questione di integrazione con i dati già presenti. Immagino stiate passando le zone che vi sono familiari. Credo sia arrivato il momento dei riscontri ed eventualmente dei problemi per aggiustare (anche se credo non ce ne sia bisogno) gli script.

[1] http://www.damjan.net/owncloud/index.php

--
cascafico.altervista.org
twitter.com/cascafico
12