Import des horaires des bureaux de poste

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
14 messages Options
Reply | Threaded
Open this post in threaded view
|

Import des horaires des bureaux de poste

France mailing list
Bonjour à tous,

Voici un résumé de l'état des choses concernant cet import, après les
discussions ici (et aussi en privé avec Jean-Yvon qui m'a donné de nombreux
bons conseils).

Pour rappel, tout est documenté sur :
https://wiki.openstreetmap.org/wiki/Import/FrenchPostOfficeOpeningHours

J'ai de quoi importer des horaires pour 9730 bureaux de poste identifiés dans
OSM par leur référence LaPoste. La plupart n'ont pas du tout d'horaires pour
l'instant, et pour 183 d'entre eux les horaires collent sauf qu'il manque "PH
off" à la fin, je propose donc de l'ajouter pour que soit exactement égal.

Au lieu de la manip manuelle initialement suggérée (avec JOSM),
j'ai maintenant le code qui va bien pour découper en changesets, chacun étant
limité à une région de 500m² pour éviter les notifications sur une trop grande
zone.
Ça donne 1537 changesets concernant chacun entre 1 et 96 bureaux de poste.

Vu les discussions précédentes, je ne touche pas à l'attribut source,
seulement à opening_hours. Je ne touche pas non plus aux 1057 bureaux qui ont
un horaire différent dans OSM et datanova. On verra plus tard pour l'idée
d'ajouter un fixme ou d'utiliser osmose pour montrer ces différences.
On verra aussi plus tard pour intégrer "collection_times". Autant faire
incrémental.

L'upload de ces changesets est scripté lui aussi, avec osm-bulk-upload.
J'ai testé les scripts sur un bureau de poste prêt d'ici, tout marche.

A ce stade, je me sens donc prêt à uploader tout ça, mais c'est l'occasion de
faire un dernier point ici pour avoir votre accord d'abord.

Par la suite, ces mêmes scripts mettront à jour les horaires modifiés par
datanova, si personne n'y a touché dans OSM entre temps. Tout est déjà codé et
testé pour pouvoir faire ça. Je pense le lancer tous les week-ends, pour bien
avoir des horaires à jour, y compris quand un bureau décide d'une fermeture
exceptionnelle pour la semaine suivante.

OK pour tout le monde ?

--
David Faure, [hidden email], http://www.davidfaure.fr
Working on KDE Frameworks 5




_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Brice MALLET-3
Le 25/11/2020 à 21:39, David Faure via Talk-fr a écrit :
> OK pour tout le monde ?

OK pour moi

Britzz

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Bibi
In reply to this post by France mailing list
Le 25/11/2020 à 21:39, David Faure via Talk-fr -
[hidden email] a écrit :

> chacun étant limité à une région de 500m² pour éviter les notifications sur une trop grande
> zone.
David parle bien sûr de km².
> OK pour tout le monde ?

OK pour moi comme tu t'en doutes, je crée un autre fil sur opening_hours
et opening_hours:covid19.

Jean-Yvon



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Romain MEHUT-3
In reply to this post by Brice MALLET-3
Idem.

Romain

Le 25/11/2020 à 22:19, Brice a écrit :

> Le 25/11/2020 à 21:39, David Faure via Talk-fr a écrit :
>> OK pour tout le monde ?
>
> OK pour moi
>
> Britzz
>
> _______________________________________________
> Talk-fr mailing list
> [hidden email]
> https://lists.openstreetmap.org/listinfo/talk-fr



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Marc_marc
In reply to this post by France mailing list
Le 25.11.20 à 21:39, David Faure via Talk-fr a écrit :
> Bonjour à tous,
>
> Voici un résumé de l'état des choses concernant cet import

pour ma part un import doit être limpide, donc si je résume
la première étape :
- ne cibler que ceux qui n'ont pas d'horaire cad ne pas toucher les
objets qui ont opening_hours ni opening_hours:covid19 (parce qu'on sait
pas si osm a une version corrigée des horaires théoriques ou non)
- ne pas mixer 2 sujets dans le même changeset, cad ne profiter de
l'ajout d'horaire sur certains pour corriger des PH manquant sur
d'autre: c'est telement plus propre un changeset séparé qui
dit "ajout de PH manquant dans les horaires existant".

> Ça donne 1537 changesets concernant chacun entre 1 et 96 bureaux de poste.

pq pas si t'as envie... mais un import avec des changeset n'ayant
parfois qu'un bureau, cela limite l'intérêt du changeset.
perso un changeset pour la france ou un par région, cela me choque
pas, ces bureaux n'avaient de toute façon pas d'horaire.
mais peu importe ton choix à ce niveau, ce point est pour moi ok,

Cordialement,
Marc



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Frédéric Rodrigo-2
Le 26/11/2020 à 10:09, Marc_marc a écrit :

> Le 25.11.20 à 21:39, David Faure via Talk-fr a écrit :
>> Bonjour à tous,
>>
>> Voici un résumé de l'état des choses concernant cet import
> pour ma part un import doit être limpide, donc si je résume
> la première étape :
> - ne cibler que ceux qui n'ont pas d'horaire cad ne pas toucher les
> objets qui ont opening_hours ni opening_hours:covid19 (parce qu'on sait
> pas si osm a une version corrigée des horaires théoriques ou non)
> - ne pas mixer 2 sujets dans le même changeset, cad ne profiter de
> l'ajout d'horaire sur certains pour corriger des PH manquant sur
> d'autre: c'est telement plus propre un changeset séparé qui
> dit "ajout de PH manquant dans les horaires existant".

+1


>> Ça donne 1537 changesets concernant chacun entre 1 et 96 bureaux de poste.
> pq pas si t'as envie... mais un import avec des changeset n'ayant
> parfois qu'un bureau, cela limite l'intérêt du changeset.
> perso un changeset pour la france ou un par région, cela me choque
> pas, ces bureaux n'avaient de toute façon pas d'horaire.
> mais peu importe ton choix à ce niveau, ce point est pour moi ok,

Même avis ici aussi.

1 537 changets pour 9 730 objets. Ça fait quand même vraiment beaucoup de changesets.


_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

France mailing list
On jeudi 26 novembre 2020 15:23:03 CET Frédéric Rodrigo wrote:

> Le 26/11/2020 à 10:09, Marc_marc a écrit :
> > Le 25.11.20 à 21:39, David Faure via Talk-fr a écrit :
> >> Bonjour à tous,
> >>
> >> Voici un résumé de l'état des choses concernant cet import
> >
> > pour ma part un import doit être limpide, donc si je résume
> > la première étape :
> > - ne cibler que ceux qui n'ont pas d'horaire cad ne pas toucher les
> > objets qui ont opening_hours ni opening_hours:covid19 (parce qu'on sait
> > pas si osm a une version corrigée des horaires théoriques ou non)
> > - ne pas mixer 2 sujets dans le même changeset, cad ne profiter de
> > l'ajout d'horaire sur certains pour corriger des PH manquant sur
> > d'autre: c'est telement plus propre un changeset séparé qui
> > dit "ajout de PH manquant dans les horaires existant".
>
> +1

On pinaille un peu non ?
C'est le même sujet, c'est "utilisation des horaires fournis par datanova".

Soit parce qu'il n'y en avait pas, soit parce la différence est seulement
PH=off. A l'avenir il pourrait y avoir d'autres raisons qu'on considère
acceptables...

> >> Ça donne 1537 changesets concernant chacun entre 1 et 96 bureaux de
> >> poste.
> >
> > pq pas si t'as envie... mais un import avec des changeset n'ayant
> > parfois qu'un bureau, cela limite l'intérêt du changeset.
> > perso un changeset pour la france ou un par région, cela me choque
> > pas, ces bureaux n'avaient de toute façon pas d'horaire.
> > mais peu importe ton choix à ce niveau, ce point est pour moi ok,
>
> Même avis ici aussi.
>
> 1 537 changets pour 9 730 objets. Ça fait quand même vraiment beaucoup de
> changesets.

Vraiment ? Avec StreetComplete j'ai fait 764 changesets pour 2727 objets, si
je comprends bien le "764 Modifications" affiché sur
https://www.openstreetmap.org/user/Dfaurekde
et le 2727 affiché en haut à gauche dans StreetComplete.

L'idée c'était d'éviter les notifications intempestives, puisqu'apparemment
certains monitorent une zone bien spécifique et ne veulent pas recevoir de
notifications intempestives liées à un changement à grande échelle.
D'un autre côté, ça arrive super souvent, non ?
Un exemple au hasard: https://www.openstreetmap.org/changeset/94106441
(merci à toi zorglubu, d'intégrer + de bureaux de postes, ça va m'aider !)

Je peux ajuster la taille de la zone max pour créer moins de changesets.
Mais ... ça change quoi au final ?

--
David Faure, [hidden email], http://www.davidfaure.fr
Working on KDE Frameworks 5




_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

France mailing list
Tu as ici un très bel outil pour voir ton activité : https://hdyc.neis-one.org/?Dfaurekde

Bien cordialement,
Georges

26 nov. 2020 22:58:09 David Faure via Talk-fr <[hidden email]>:

> Avec StreetComplete j'ai fait 764 changesets pour 2727 objets, si
> je comprends bien le "764 Modifications" affiché sur
> https://www.openstreetmap.org/user/Dfaurekde
> et le 2727 affiché en haut à gauche dans StreetComplete.

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Vincent de Château-Thierry-2
In reply to this post by France mailing list
Bonsoir,

> De: "David Faure via Talk-fr" <[hidden email]>
> On jeudi 26 novembre 2020 15:23:03 CET Frédéric Rodrigo wrote:
> > Le 26/11/2020 à 10:09, Marc_marc a écrit :
>
> > >> Ça donne 1537 changesets concernant chacun entre 1 et 96 bureaux
> > >> de
> > >> poste.
> > >
> > > pq pas si t'as envie... mais un import avec des changeset n'ayant
> > > parfois qu'un bureau, cela limite l'intérêt du changeset.
> > > perso un changeset pour la france ou un par région, cela me
> > > choque
> > > pas, ces bureaux n'avaient de toute façon pas d'horaire.
> > > mais peu importe ton choix à ce niveau, ce point est pour moi ok,
> >
> > Même avis ici aussi.
> >
> > 1 537 changets pour 9 730 objets. Ça fait quand même vraiment
> > beaucoup de
> > changesets.
>
> Vraiment ? Avec StreetComplete j'ai fait 764 changesets pour 2727
> objets, si
> je comprends bien le "764 Modifications" affiché sur
> https://www.openstreetmap.org/user/Dfaurekde
> et le 2727 affiché en haut à gauche dans StreetComplete.
>
> L'idée c'était d'éviter les notifications intempestives,
> puisqu'apparemment certains monitorent une zone bien spécifique et ne veulent pas
> recevoir de notifications intempestives liées à un changement à grande échelle.
> D'un autre côté, ça arrive super souvent, non ?
> Un exemple au hasard:
> https://www.openstreetmap.org/changeset/94106441
> (merci à toi zorglubu, d'intégrer + de bureaux de postes, ça va
> m'aider !)

Je trouve ta justification tout à fait valable et louable : ne pas engendrer des emprises de changesets gigantesques, qui polluent l'analyse des changements produits en les dispersant dans une énorme surface.

> Je peux ajuster la taille de la zone max pour créer moins de
> changesets. Mais ... ça change quoi au final ?

Je trouve que ce sujet est vraiment accessoire, car en effet ça ne change rien au final, on aura les mêmes objets en base in fine.

vincent

_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

taille des changeset

Marc_marc
In reply to this post by France mailing list
Bonjour,

>> 1 537 changets pour 9 730 objets.
>> Ça fait quand même vraiment beaucoup de changesets.

> Vraiment ? Avec StreetComplete j'ai fait 764 changesets
> pour 2727 objets,  

cela dépend beaucoup de ce que tu fais.

un contributeur qui modifie un café dans un aéroport à Paris
et un autre café à l'aéroport de Hong-Kong serrait bien avisé
de ne pas envoyer ces 2 modifs dans le même changeset couvrant
la moitié du monde. ce ne sont pas les mêmes contributeur pouvant
vérifier les 2.

à l'inverse si tu te balade sur les Champs-Élysées pour renseigner
toutes les lampadaires, il y a aucun soucis à faire un changeset
même si au final cela te fait 1000 objets en une fois.
et faire diviser cela tous les 10 lampadaires ne serrait
agréable pour personne.

par comparaison :
- le projet mondial d'import des stations d'essence (qui n'avaient
pas abouti) avait conduit à diviser pour avoir au moins un changeset
par pays.
- les opérations de masses dument approuvée pour virer le bug
de wheelchair map avait conduit à un changeset par pays pour
les pays les plus affectés puis à un changeset par continent
pour le solde, personne n'avait objecté.

Cordialement,
Marc



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: taille des changeset

France mailing list
On vendredi 27 novembre 2020 12:54:11 CET Marc_marc wrote:

> Bonjour,
>
> >> 1 537 changets pour 9 730 objets.
> >> Ça fait quand même vraiment beaucoup de changesets.
> >
> > Vraiment ? Avec StreetComplete j'ai fait 764 changesets
> > pour 2727 objets,
>
> cela dépend beaucoup de ce que tu fais.
>
> un contributeur qui modifie un café dans un aéroport à Paris
> et un autre café à l'aéroport de Hong-Kong serrait bien avisé
> de ne pas envoyer ces 2 modifs dans le même changeset couvrant
> la moitié du monde. ce ne sont pas les mêmes contributeur pouvant
> vérifier les 2.
>
> à l'inverse si tu te balade sur les Champs-Élysées pour renseigner
> toutes les lampadaires, il y a aucun soucis à faire un changeset
> même si au final cela te fait 1000 objets en une fois.
> et faire diviser cela tous les 10 lampadaires ne serrait
> agréable pour personne.
>
> par comparaison :
> - le projet mondial d'import des stations d'essence (qui n'avaient
> pas abouti) avait conduit à diviser pour avoir au moins un changeset
> par pays.
> - les opérations de masses dument approuvée pour virer le bug
> de wheelchair map avait conduit à un changeset par pays pour
> les pays les plus affectés puis à un changeset par continent
> pour le solde, personne n'avait objecté.

OK, bon, pour essayer que tout le monde soit content je coupe la poire en
deux. J'ai agrandi très largement l'aire maximale pour les changements
(le concept reste pour au moins éviter de mettre les DOM-TOM dans le même
changeset que la France métropolitaine).

Maintenant ça me donne 66 changesets 8780 objets (et ça inclut la séparation
des deux types de changesets, ajout de PH=off, et mettre quand c'est vide).

Je commence avec les PH=off.
https://www.openstreetmap.org/changeset/94938297

--
David Faure, [hidden email], http://www.davidfaure.fr
Working on KDE Frameworks 5




_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: taille des changeset

Bibi
Ça a l'air bon.

Jean-Yvon



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: taille des changeset

France mailing list
On samedi 28 novembre 2020 13:12:02 CET [hidden email]
wrote:
> Ça a l'air bon.

Cool, merci à toi et à Marc pour les retours.

Je viens de procéder à l'import initial, tout s'est bien passé.

Un exemple de changeset :
https://www.openstreetmap.org/changeset/94950838
ou plus exotique :
https://www.openstreetmap.org/changeset/94950984

Je relancerai le script tous les weekends maintenant que tout est automatisé
(mais je vérifie les premiers changesets à la main bien sur).

--
David Faure, [hidden email], http://www.davidfaure.fr
Working on KDE Frameworks 5




_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr
Reply | Threaded
Open this post in threaded view
|

Re: Import des horaires des bureaux de poste

Philippe Verdy
In reply to this post by Frédéric Rodrigo-2


Le jeu. 26 nov. 2020 à 17:32, Frédéric Rodrigo <[hidden email]> a écrit :
>> Ça donne 1537 changesets concernant chacun entre 1 et 96 bureaux de poste.
> pq pas si t'as envie... mais un import avec des changeset n'ayant
> parfois qu'un bureau, cela limite l'intérêt du changeset.
> perso un changeset pour la france ou un par région, cela me choque
> pas, ces bureaux n'avaient de toute façon pas d'horaire.
> mais peu importe ton choix à ce niveau, ce point est pour moi ok,

Même avis ici aussi.

1 537 changets pour 9 730 objets. Ça fait quand même vraiment beaucoup de changesets.

Un simple découpage par les deux premiers chiffres du code postal suffirait : 100 changesets maxi et ça donne pas tant d'objets que ça par changeset (au pire ~200 points dans un département densément peuplé et assez grand avec beaucoup de bureaux, en région parisienne, ou dans le Nord, et en fait moins dans les départements plus ruraux où il n'y a même pas un bureau par commune). Ca donne des changeset tout à fait exploitables, faciles à analyser et de taille raisonnable.

L'autre solution: les importer en triant la liste simplement par code postal, et faire un changeset par groupe de taille fixe comme 500 codes (donc 500 noeuds ou polygones), la limite d'OSM étant autour de 2000. On fera enb sorte de garder les DROM et COM séparés (ils sont très distants territorialement des autres et entre eux, c'est mieux pour éviter d'irriter les autres utilisateurs d'OSM hors de France).



_______________________________________________
Talk-fr mailing list
[hidden email]
https://lists.openstreetmap.org/listinfo/talk-fr