Bi aille

Bonjour bonsoir,

Hier il y a eu une conversation initiée dans le canal concernant les statistiques. Je n'ai pu suivre que de très loin ces messages étant dans une partie folle de recherche d'élites de la mort en tout genre et des sbires de régulos que nous avons allègrement repoussés et renvoyés chez eux...

J'ai donc embrayé sur le BI (lire Bi Aie).
il s'agit d'un acronyme pour Business Intelligence. Il s'agit d'un domaine ou nous valorisons les données et essayons d'en tirer le meilleur parti. En effet, avec l'informatique se développant, nous collectons de plus en plus de données, en tout genre et les stockons simplement sans vraiment les utiliser.
Les analyse classiques fonctionnent (on y reviendra) que sur peu de données et une fois qu'il s'agit de traiter des millions d'informations, le travail devient lent et collossal.
C'est pour cela que diverses techniques ont été mises au point pour pouvoir faire ce travail.

Les données sont d'abord collectées et "rangées" dans une structure appellée Datawarehouse. Il s'agit d'une ou plusieurs base de données dont l'architecture est spéciale et prévue pour l'exploitation de grandes quantité de données.
Bien entendu en amont il convient de récolter les données, les corriger, les rafiner, les compléter,... bref faire en sorte qu'elles soient exploitables.
Ensuite sur ces immenses bases de données, on peut tirer des rapport, des dashboard, un tas de chose utiles pour une entreprise pour sa vie journalière ainsi qu'à moyen et long terme.

Le forecasting qui est une technique de prévision dépend fortement de ces données. Cela permet par exemple de gagner de l'argent en pouvant prévoir par exemple les quantités qui seront vendues à telle période et ainsi diminuer le coût de transports.

Ensuite, il y a l'analyse proprement dite des ces données par des algorythmes mathématiques très poussés dont le but est de trouver des relations, des liens que nous ne pouvons voir à la première lecture (ni même à la dixième). En effet nous ne pouvons pas processer autant de données, et nous sommes nous mêmes conditionnés et donc ferons des associations malheureuses, ou supprimerons des données qui finalement s'avèreront liées.
Ceci s'appelle le data mining, ou minage des données.
Avec le data mining, on peut établir des modèles extrêmement précis et qui tiennent compte de tout.
Un exemple parmi tant d'autres, les banques utilisent le data mining pour repérer les flux frauduleux parmi les milliards de transactions journalières. Il suffit de faire par exemple quelques versements de 10000 € dans le monde avec une certaine méthode et hop c'est repéré...
Il y a plein d'autres exemples qui font passer les bêtes statistiques et autres probabilités pour de la pisse de chat...
Penser que l'on va déterminer le comportement de l'humain avec une enquête portant sur un échantillon de 123 personnes comme cela se fait régulièrement dans la pub est complètement débile...
Une fois qu'on est entré dans le domaine BI, cela fait bien rigoler tout cela...

Enfin si vous voulez plus d'infos, je suis disponible, il s'agit finalement de ce que je fais

Ça à l'air long et rébarbatif, mais tout de même intéressant ^^

une fois que tu bosses dedans, c'est vâchement intéressant et puis c'est un domaine en constante croissance. Crois moi, je ne suis pas prêt d'être chômeur... Par contre cela se fait en général dans des grosses sociétés... Faut aimer les mentalités...

Des échantillons de 123 dans la pub ? Steak, dans la pub si un échantillon arrive à la centaine c'est une étude "sérieuse". En général les échantillons sont de moins de 50 personnes et surtout, ils sont sélectionnés, ce qui rend totalement impossible la représentativité. Le but de la pub n'est pas de donner un avis objectif, juste de te convaincre que c'est ça qui est bon pour toi et ta famille :p

Pour moi, les stats, c'est plus un genre de jeu intellectuel. J'ai horreur de laisser glander ma matière grise, et les stats "de base" je peux en faire n'importe ou, n'importe quand. Pour exagérer un peu, je pourrais m'amuser à essayer de calculer de tête les vraies chances de gagner à l'euromillion pendant que je prends le bus, quoi.

Après je te rejoins sans problème sur un point : les stats "limitées", ça fait obligatoirement abstraction de données fondamentales.

Par exemple, l'industrie vestimentaire, depuis quelque chose comme 50 ans (voire plus), utilise des courbes de répartition de Gauss pour déterminer quels vêtements elle doit fabriquer. Quelles tailles en quelles quantité, et ce qu'il ne sert à rien de produire, essentiellement.

Le principe, c'est de prendre la "moyenne" des tailles et des poids d'une population, de calculer un écart-type, et de produire ce qui conviendra à 95% de la population concernée. Le tout à partir d'échantillons "représentatifs" (je passe sur les méthodes pour évaluer la représentativité d'un échantillon, mais c'est pas fait au pif quoi) extrapolés à l'ensemble de la population.

Déjà se pose le problème de la récolte d'information. Quand on demande à une personne sa taille et son poids, à moins de mesurer véritablement, on a souvent des écarts notables entre réalité et valeur annoncée. Plus l'écart est important sur l'échantillon, plus sa répercussion sur la population sera grande et le résultat faussé.

Ensuite, la mise à jour des données se fait nécessairement par ré-échantillonnage complet et re-calcul complet. En pratique, c'est pas simple, ça prend du temps, ça coute des sous, donc ça ne se fait pas souvent.

Et enfin, quid des 5% restants ? Les grands minces (genre moi !), les petits gros et les autres, comment ils font pour se fringuer si toutes les boites décident de n'habiller "que" les 95% qui ne sont pas eux ? Bizarrement, ça doit être un secteur assez porteur, vu qu'il y a quand même un nombre non négligeable d'enseignes dédiés à ces gens...

Les données récoltées sont biaisées, l'extrapolation n'est pas actualisée souvent, et donc forcément, dans la vie de tous les jours, ça veut dire que les gens qui ont du mal à se trouver des fringues, ben ils dépassent largement les 5%. Après, ça peut aussi être le postulat de l'industrie qui préfère prendre 80% au lieu de 95% pour des raisons de rentabilité...

Avec le système de Bel', suffirait d'ajouter régulièrement la taille et le poids de tout le monde à chaque fois que, par exemple, on enregistre une nouvelle carte d'identité (big brother, tout ça) pour avoir des données complètes sur les besoins en fringues de toute une population, sans extrapolation, et avec une imprécision considérablement réduite par la masse de données.

En gros, au lieu de deviner de quoi les gens ont besoin à partir de quelques tests, on SAIT de quoi ils ont besoin.

Je simplifie un peu, hein ^^

en gros tu as raison.
Le danger de cela bien entendu est d'établir un profil dans lequel on classe chaque personne et en fonction de ce profil on est déterminé...

Maintenant il faut savoir que nous avons des programmes (pas moi hein) qui sont capables de prédire l'emplacement des gens à n'importe quel moment de la journée... Ces informations sont dérivées de l'ensemble des points de déplacements récoltés grâce à vos portables. Cela commence d''ailleurs à être utilisé pour localiser certains truands...

Pour localiser Ben laden ils ont probablement utilisé du data mining sur les données récoltées. Ils ne sont pas arrivés tout seuls à la conclusion qu'il y avait une villa sans internet et communication. Il ets plus que probable qu'ils iont eu cette information par un programme qui a sorti une liste de lieux probables. Après il a fallu vérifier et préparer la chose...

Tu as aussi oublié une chose dans ta démonstration, il y a une partie des gens à qui ces vêtements ne conviendront pas mais les achèteront quand même parce qu'il n'y en aura , pas d'autres où à cause du prix,... ce qui va renforcer les chiffres déjà faux...

C'est une chose qui m'a toujours fait rire dans la boite où j'étais... On produit des voitures grises et on dit, c'est normal, les gens aiment les voitures grises... Ben oui, ils n'en montrent pas d'autres et ceux qui en veulent une tout de suite ben prennent ce qu'il y a. Le serpent qui mange sa queue.
Le désavantage des stats traditionnelles est qu'elles sont subjectives et orientées selon les besoins, désirs, idées,...
Le data mining évalue les informations sans à priori.
Un cas d'école qu'on n'aurait jamais trouvé avec une méthode normale est le lien entre les ventes de bière et de pampers aux états unis... Il existe bel et bien car les hommes sont envoyés par leur femme acheter des couches, comme ils sont au magasin ils en profitent pour acheter de la bière... Après cette analyse, ils ont mis les bières près des couches et hop ils ont considérablement augmenté les ventes de bières en magasin...

Bien utilisé c'est un sujet fascinant

Belsteak a écrit:

Tu as aussi oublié une chose dans ta démonstration, il y a une partie des gens à qui ces vêtements ne conviendront pas mais les achèteront quand même parce qu'il n'y en aura , pas d'autres où à cause du prix,... ce qui va renforcer les chiffres déjà faux...

C'est vrai. J'ai aussi négligé les variations morphologiques pour une taille et un poids donné. Par exemple dans la famille on est grand et mince, mais en plus on a de LONGUES jambes. En général, même si on trouve un truc supposé coller pour nous, on a un falzar trop court, alors qu'il pourrait très bien aller à des gens qui font la même taille et le même poids.

Après, pour le coup de la bière et des couches... Autant économiquement je comprends, autant éthiquement j'ai du mal à cautionner qu'on cherche à accroitre la vente d'alcool auprès de personnes ayant des enfants en très bas âge...

C'est le fric qui gagne toujours kham ^^

Fric > Ethique

l'éthique on se la colle ou on veut, mais quand l'argent entre en compte, elle disparaît...
Comme diront certains, l'éthique est pour les pauvres...

Sinon Monsanto ne ferait pas de la merde, Nestlé est compagnie n'achèterait pas du cacao produit par des enfants,... On ne te dirait pas Les ondes c'est sans danger alors qu'ils ont collé une mini étiquette spécifiant que ce n'est pas conseillé pour les enfants...
Ils n'auraient pas remonté les normes européenes sur le taux de radiation présent dans les aliments (1000x supérieurs maintenant... comme cela on peut toujours manger japonais...)

Quand ils vautrent dans leurs milions, ils s'en tappent que des gosses sont morts pour les "fabriquer"....

C'est pour cela que si un jour je vois un de ces gros patrons, gros actionnaires, type sans scrupule se noyer, je le regarderais couler sans lever le petit doigt et ceci sans le moindre remord...

*tape dans les mains de bebel*