dataset MISE distributori

classic Classic list List threaded Threaded
12 messages Options
Reply | Threaded
Open this post in threaded view
|

dataset MISE distributori

Carmine Massarelli
Che ne pensate se inserissimo anche gli orari?
E' ancora valida questa autorizzazione?
https://wiki.openstreetmap.org/wiki/Importazione_distributori_metano

Carmine

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

dieterdreist


2018-09-14 15:45 GMT+02:00 Carmine Massarelli <[hidden email]>:
Che ne pensate se inserissimo anche gli orari?
E' ancora valida questa autorizzazione? https://wiki.openstreetmap.org/wiki/Importazione_distributori_metano


io mi fermerei con l'import. Troviamo errori su errori e non abbiamo nemmeno visto la meta dei dati che abbiamo presi e buttati dentro cecamente, e adesso aggiungiamo anche altro di questa qualità? Per me no. 
Sembra il db MISE sia un db come il nostro (UGC), solo che la gente che ci contribuisce sembra lo faccia per dovere e non per piacere  ;-)  e apparentemente non ci sta nessuno che mette ordine ;-)

Ciao,
Martin

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

Federico Cortese
On Fri, Sep 14, 2018 at 7:08 PM Martin Koppenhoefer
<[hidden email]> wrote:
>
> io mi fermerei con l'import. Troviamo errori su errori e non abbiamo nemmeno visto la meta dei dati che abbiamo presi e buttati dentro cecamente, e adesso aggiungiamo anche altro di questa qualità? Per me no.
> Sembra il db MISE sia un db come il nostro (UGC), solo che la gente che ci contribuisce sembra lo faccia per dovere e non per piacere  ;-)  e apparentemente non ci sta nessuno che mette ordine ;-)
>

Vero, già è stato fatto abbastanza :)

Ciao,
Federico

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

Sergio Manzi
In reply to this post by dieterdreist

Senza conoscere i dettagli della cosa, mi è venuta in mente una delle prime massime che ho imparato quando, una vita fa, ho incominciato ad occuparmi di informatica (che ai tempi si chiamava "elaborazione elettronica dei dati"): "Garbage in, garbage out", cioè se parti da dati spazzatura, avrai risultati spazzatura, indipendentemente dalla tua bravura...

E sentire il MISE?

Sergio


On 2018-09-14 19:07, Martin Koppenhoefer wrote:


2018-09-14 15:45 GMT+02:00 Carmine Massarelli <[hidden email]>:
Che ne pensate se inserissimo anche gli orari?
E' ancora valida questa autorizzazione? https://wiki.openstreetmap.org/wiki/Importazione_distributori_metano


io mi fermerei con l'import. Troviamo errori su errori e non abbiamo nemmeno visto la meta dei dati che abbiamo presi e buttati dentro cecamente, e adesso aggiungiamo anche altro di questa qualità? Per me no. 
Sembra il db MISE sia un db come il nostro (UGC), solo che la gente che ci contribuisce sembra lo faccia per dovere e non per piacere  ;-)  e apparentemente non ci sta nessuno che mette ordine ;-)

Ciao,
Martin



_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it

smime.p7s (4K) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

voschix

Senza conoscere i dettagli della cosa, mi è venuta in mente una delle prime massime che ho imparato quando, una vita fa, ho incominciato ad occuparmi di informatica (che ai tempi si chiamava "elaborazione elettronica dei dati"): "Garbage in, garbage out", cioè se parti da dati spazzatura, avrai risultati spazzatura, indipendentemente dalla tua bravura...

Grazie per questa annotazione. Io l'avevo pensato, ma non volevo scriverlo in lista.
La mia critica principale a OSM nella mia zona (Veneto) è che ci sono tanti dati approssimativi o sospetti di errore nel DB che ogni volta che aggiungo dettagli devo anche mettere apposto tutta la zona intorno (o meglio dovrei farlo ...).
L'idea di base d inserire dati approssimativi o da controllare/correggere dopo è sbagliato per due motivi molto diversi:
- il numero di mappatori attivi è troppo basso
- tutti siamo umani e correggere errori nel lavori altrui non è piacevole.
Ho seguito un po' la discussione su questo import specifico e devo dire che mi sono fatto l'idea che ci sono troppi problemi con la qualità dei dati di partenza.

E un ultima, un po' più fondamentale considerazione: una delle regole di base per la raccolta dati è di non duplicare dati, sempre solo utilizzare link ai dati originali, una regola che tutti gli import in OSM violano alla grande. Dati duplicati soffrono del fondamantal problema di aggiornamanto/modifica non sincronizzata.



Virus-free. www.avast.com

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

Sergio Manzi

Grazie a te per le precisazioni su cui concordo pienamente.

Ci tengo a chiarire che la mia (forse un po' rude...) citazione non era assolutamente rivolta "ad personam" nei confronti di chicchessia: voleva solo essere la considerazione, magari un po' triste ma temo reale, che a volte i dadi della sorte ci rifilano dati sbagliati. Amen, succede. E' importante però che abbiamo la capacità di identificarli e serenamente scartarli.

Sergio


On 2018-09-14 21:45, Volker Schmidt wrote:

Senza conoscere i dettagli della cosa, mi è venuta in mente una delle prime massime che ho imparato quando, una vita fa, ho incominciato ad occuparmi di informatica (che ai tempi si chiamava "elaborazione elettronica dei dati"): "Garbage in, garbage out", cioè se parti da dati spazzatura, avrai risultati spazzatura, indipendentemente dalla tua bravura...

Grazie per questa annotazione. Io l'avevo pensato, ma non volevo scriverlo in lista.
La mia critica principale a OSM nella mia zona (Veneto) è che ci sono tanti dati approssimativi o sospetti di errore nel DB che ogni volta che aggiungo dettagli devo anche mettere apposto tutta la zona intorno (o meglio dovrei farlo ...).
L'idea di base d inserire dati approssimativi o da controllare/correggere dopo è sbagliato per due motivi molto diversi:
- il numero di mappatori attivi è troppo basso
- tutti siamo umani e correggere errori nel lavori altrui non è piacevole.
Ho seguito un po' la discussione su questo import specifico e devo dire che mi sono fatto l'idea che ci sono troppi problemi con la qualità dei dati di partenza.

E un ultima, un po' più fondamentale considerazione: una delle regole di base per la raccolta dati è di non duplicare dati, sempre solo utilizzare link ai dati originali, una regola che tutti gli import in OSM violano alla grande. Dati duplicati soffrono del fondamantal problema di aggiornamanto/modifica non sincronizzata.



Virus-free. www.avast.com


_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it


_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it

smime.p7s (4K) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

cascafico
In reply to this post by dieterdreist
Io ci ho trafficato un po' ed ho trovato parecchi name non aggiornati. 
Fareste un revert per tornare alla situazione coerente name/brand, ma con entrambi non più esistenti?

Sulla qualità dell'operator trovate i file di raffinazione in github [1]... io vedo problemi solo su qualche maiuscolo.
Sul garbage-in, garbage-out lo sentivo trentanni fa. Credo sia un dogma superato.

[1] https://github.com/cascafico/OSM-ItalyFuelStations/blob/master/openrefine_operations.json

Il 14 set 2018 7:08 PM, "Martin Koppenhoefer" <[hidden email]> ha scritto:


2018-09-14 15:45 GMT+02:00 Carmine Massarelli <[hidden email]>:
Che ne pensate se inserissimo anche gli orari?
E' ancora valida questa autorizzazione? https://wiki.openstreetmap.org/wiki/Importazione_distributori_metano


io mi fermerei con l'import. Troviamo errori su errori e non abbiamo nemmeno visto la meta dei dati che abbiamo presi e buttati dentro cecamente, e adesso aggiungiamo anche altro di questa qualità? Per me no. 
Sembra il db MISE sia un db come il nostro (UGC), solo che la gente che ci contribuisce sembra lo faccia per dovere e non per piacere  ;-)  e apparentemente non ci sta nessuno che mette ordine ;-)

Ciao,
Martin

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it



_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

Federico Cortese
On Fri, Sep 14, 2018, 23:31 Cascafico Giovanni <[hidden email]> wrote:
Io ci ho trafficato un po' ed ho trovato parecchi name non aggiornati. 
Fareste un revert per tornare alla situazione coerente name/brand, ma con entrambi non più esistenti?

Io mi sono già espresso negativamente rispetto ad un revert, come già avuto modo di dire sono più gli effetti positivi di questo import che quelli negativi, seppure è vero che questi ci siano e si sarebbero potuti evitare.
Ad esempio trovo ancora molti nobrand=yes o brand=Pompe Bianche che si era detto di non mettere.
Ad ogni modo molti dei problemi principali (tipo i nodi duplicati) sono già stati corretti.
Direi comunque che non sia il caso di aggiungere altre modifiche massicce da import su quei dati, ma continuare a aggiornarli manualmente. 

Ciao,
Federico



_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

cascafico
Qui [1] trovate il file osm con le integrazioni metano e gpl, conflation eseguita. In alternativa la semplice umap [2] per un import manuale.



_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

Daniele Forsi-2
Il giorno lun 17 set 2018 alle ore 12:19 Cascafico Giovanni ha scritto:
>
> Qui [1] trovate il file osm con le integrazioni metano e gpl, conflation eseguita. In alternativa la semplice umap [2] per un import manuale.
>
>
> [1] https://github.com/cascafico/OSM-ItalyFuelStations/blob/master/result-mise_gasonly.osm?raw=true
> [2] https://umap.openstreetmap.fr/en/map/gas-fuel-in-italy_248237#6/41.763/12.953

sei sicuro che i tag non siano invertiti?

Per quello che mi ricordo, questi 2 hanno l'insegna "M" del metano:

33921

fuel:lpg=yes
fuel:cng=


40797

fuel:lpg=yes
fuel:cng=


Le chiavi senza valore non hanno un significato particolare? Vanno
eliminate se presenti?

Dalla umap sembra che vada aggiunto il tag, mentre dal file .osm
sembra che vada cancellato il nodo:
<node action="delete" id="4418168980" lat="43.3066077"
lon="10.5371665" version="2"><tag k="ref:mise" v="33921" /><tag
k="operator" v="Vanni Gianluca" /><tag k="brand" v="Total Erg" /><tag
k="amenity" v="fuel" /></node>

<node action="delete" id="1763664781" lat="43.363298" lon="10.4528718"
version="2"><tag k="ref:mise" v="40797" /><tag k="operator" v="Vergili
Michele" /><tag k="brand" v="Q8" /><tag k="amenity" v="fuel" /></node>

Puoi chiarire se , comunque non ho intenzione di modificare niente.

Questo invece non esiste in OSM e nemmeno nelle foto aeree, comunque
non trovo il ref:mise nel file .osm
42571

fuel:lpg=yes
fuel:cng=

https://umap.openstreetmap.fr/en/map/gas-fuel-in-italy_248237#16/43.3193/10.4957

--
Daniele Forsi

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

cascafico
Il giorno 17 settembre 2018 14:35, Daniele Forsi <[hidden email]> ha scritto:> Il giorno lun 17 set 2018 alle ore 12:19 Cascafico Giovanni ha scritto:


 
>
> Per quello che mi ricordo, questi 2 hanno l'insegna "M" del metano:
>
> 33921
>
> fuel:lpg=yes
> fuel:cng=

questo a agosto  2017 era gpl (street view)
...e su google maps manco c'è

 
>
>
> 40797
>
> fuel:lpg=yes
> fuel:cng

questo a maggio 2016 era gpl (street view)




_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it

--
cascafico.altervista.org
twitter.com/cascafico
Reply | Threaded
Open this post in threaded view
|

Re: dataset MISE distributori

cascafico
In reply to this post by Daniele Forsi-2
Il giorno 17 settembre 2018 14:35, Daniele Forsi <[hidden email]> ha scritto:
>
> Il giorno lun 17 set 2018 alle ore 12:19 Cascafico Giovanni ha scritto:
> > Qui [1] trovate il file osm con le integrazioni metano e gpl, conflation eseguita. In alternativa la semplice umap [2] per un import manuale.

> Le chiavi senza valore non hanno un significato particolare? Vanno
> eliminate se presenti?

> Dalla umap sembra che vada aggiunto il tag, mentre dal file .osm
> sembra che vada cancellato il nodo:

> <node action="delete" id="4418168980" lat="43.3066077"
> lon="10.5371665" version="2"><tag k="ref:mise" v="33921" /><tag
> k="operator" v="Vanni Gianluca" /><tag k="brand" v="Total Erg" /><tag
> k="amenity" v="fuel" /></node>
>
> <node action="delete" id="1763664781" lat="43.363298" lon="10.4528718"
> version="2"><tag k="ref:mise" v="40797" /><tag k="operator" v="Vergili
> Michele" /><tag k="brand" v="Q8" /><tag k="amenity" v="fuel" /></node>
>
> Puoi chiarire se , comunque non ho intenzione di modificare niente.
Ho eliminato i tag brand vuoti e tolto le operazioni di delete dal file [1] osm. 
Grazie per la segnalazione :-)
Nella umap [2] ho separato GPL e metano in due layer diversi.

Mi risulta che ci siano 34 nuovi POI e 1063 da aggiornare con i tag fuel:cng=yes e/o fuel:lpg=yes
Ora ci sarebbero alcune vie per integrare le pompe di gas nel database:

- manuale, editor testaule Level0 con la umap [2] a supporto
-- non è possibile sapere, prima di aprire l'editor, se il POI sia già stato aggiornato
 
 
- import, previo controllo individuale del file osm [1]
-- una volta accertata l'affidabilità (su quanti?) si fa l'upload. 

- controllo condiviso del file geojson [4] pre-import

- validazione pre-import via audit [3]
-- si accerta una buona parte del migliaio di POI e con l'occasione si fa revisione anche dei brand/name mismatch

- con JOSM si converte [1] in gpx su smartphone e si va in giro a verificare :-)

IMHO le prime due vie son da escludere... più persone che controllano più copie del file non è propriamente un metodo efficiente.


[1] https://github.com/cascafico/OSM-ItalyFuelStations/blob/master/osm1/result-mise_gasonly.osm
[2] https://umap.openstreetmap.fr/en/map/gas-fuel-in-italy_248237
[3] http://audit.osmz.ru/project/IGFS/
[4] http://geojson.io/#id=gist:cascafico/18dc444e91dd99be30a5c952b5cb849d

_______________________________________________
Talk-it mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-it

--
cascafico.altervista.org
twitter.com/cascafico