L’INTELLIGENCE DES FOULES

Big Data (6)

Nous ne sommes ni des fourmis, ni des abeilles, et nous sommes persuadés que notre puissance collective repose sur nos différences individuelles et l’association d’expertises personnelles.

Mais est-ce si vrai ?

Divers écrits et travaux de recherche montrent l’intelligence des foules, c’est-à-dire la supériorité d’un réseau d’individus choisis au hasard.

Un des livres les plus complets sur ce thème est celui de James Surowiecki, The wisdom of crowds.

Quelques extraits :

« L’idée de la sagacité des foules prend aussi la décentralisation comme un acquis positif, puisque cela implique si l’on arrive à centrer sur un même problème une communauté de personnes automotivées, indépendantes sur un mode décentralisé, au lieu d’avoir à diriger leurs efforts depuis le sommet, la solution collective apparaîtra meilleure à toute autre solution susceptible de naître. (…)

Et la meilleure façon d’apprécier la pertinence collective de l’information que l’intelligence collective réunit, est la sagacité collective de l’intelligence communautaire. La centralisation n’est pas la réponse, mais l’agrégation oui. (…)

Fondamentalement, après tout, qu’est-ce qu’un marché libre ? C’est un mécanisme construit pour résoudre un problème de coordination, certainement le plus important des problèmes de coordination : allouer les ressources aux bons endroits au meilleur coût. »

Daniel Kahneman, dans Système 1 / Système 2 : Les deux vitesses de la pensée , apporte lui aussi de nombreux exemples de la limite de l’expertise et de la puissance du collectif :

« Les fonds mutuels sont gérés par des professionnels très expérimentés et travailleurs qui achètent et vendent des actions pour obtenir les meilleurs résultats pour leurs clients. Cependant, cinquante ans de recherche sur le sujet le confirment : pour une grande majorité de gestionnaires d'actifs, la sélection des actions tient plus du jeu de dés que du poker. En général, au moins deux fonds communs de placement sur trois sont en dessous des performances de l'ensemble du marché quelle que soit l'année. (…)

(Philip Tetlock, psychologue de l'université de Pennsylvanie,) leur a demandé d'évaluer la probabilité que certains événements se produisent dans un avenir relativement proche, à la fois dans leurs domaines de compétence et dans d'autres. (…) Les experts s'en sont moins bien tirés que s'ils s'étaient contentés d'assigner des probabilités équivalentes à chacun des résultats potentiels. (…) Même dans la région qu'ils connaissaient le mieux, les experts n'étaient pas significativement plus exacts que des non-spécialistes. (…)

Plusieurs études ont montré que les décideurs humains sont inférieurs à une formule de prédiction même quand on leur donne le résultat obtenu par la formule ! Ils se disent qu'ils peuvent passer outre parce qu'ils disposent d'informations supplémentaires, mais là encore, le plus souvent, ils ont tort. »

Un article qui vient de paraître dans ParisTech Review apporte encore de nouveaux éléments…

(à suivre)

LA LOGIQUE DES COOPÉRATIONS INFORMATIONNELLES

Big Data (5)

La logique des Big Data est de faire émerger une intelligence collective à partir de données qui, prises isolément, n’en auraient pas : grâce à des logiciels ad-hoc, savoir les associer, les lire pour en extraire l’information pertinente, et faire émerger une réponse pertinente.

Je ne peux pas ne pas faire un lien avec la logique des ruches et des fourmilières : prises isolément chaque fourmi ou chaque abeille sont faibles et incapables à faire face aux défis de sa vie quotidienne. C’est grâce à la colle sociale, qu’émerge une puissance collective capable d’apporter des réponses étonnantes :

- Les fourmis de feu savent construire des radeaux vivants qui leur permettent de survivre aux inondations (voir Les fourmis de feu sont sauvées par des radeaux qui les dépassent )

- D’autres ont inventé l’agriculture (voir La fourmi est petite, mais la fourmilière est grande )

- Les abeilles peuvent trouver le meilleur emplacement pour une nouvelle ruche (voir L’agora est dans le ciel! )

Dans Les radeaux de feu, en conclusion de la partie consacrée aux tribus animales, j’écrivais :

« Il est frappant de constater que, tout au long de l’évolution du monde, de nouvelles matriochkas se tissent sans cesse. En parallèle de la loi de l’accélération de l’accroissement de l’incertitude, aurait-on une deuxième qui serait celle de l’accélération de l’accroissement des coopérations ? D’abord des coopérations physiques, puis chimiques, et maintenant informationnelles. Et au sein des coopérations informationnelles, d’abord basiques via des substances chimiques, puis de plus en plus complexes avec les langages et les neurones-miroir. Ces coopérations ne sont pas seulement à l’intérieur d’une espèce donnée, mais aussi entre espèces différentes, donnant alors naissance à des développements symbiotiques comme des végétaux entre eux, ou encore des fourmis avec des arbres ou des champignons, des abeilles avec des fleurs, ou des espèces animales entre elles. »

Avec le Big Data, serions-nous au début d’une nouvelle coopération informationnelle, dans lequel le vivant aurait pour seul rôle d’avoir construit les machines et écrit le programme ?

(à suivre)

ANALYSER SANS A PRIORI

Big Data (4)

Un indice de suivi de l’évolution des prix qui s’appuie sur ce qui est disponible sur le web, un scoring des clients qui tient compte du comportement observé réel, des publicités qui s’affichent en fonction de ce que l’on a fait la veille ou la semaine dernière, un classement des pages web qui est le résultat direct de la navigation de tout un chacun, bienvenu dans le calcul par émergence du Big Data !

Autre exemple d’émergence « spontanée » d’un indicateur, celui de l’information sur l’apparition de la grippe : Google a montré que, si l’on observe les recherches faites par les internautes, on dispose d’une estimation quasiment en temps réel de la propagation. Il y a en effet une corrélation directe entre le nombre d’internautes qui posent des questions sur la grippe, et l’intensité du phénomène épidémique (voir Google Suivi de la grippe).

Ceci vient en écho et nourrit mes développements sur l’importance de l’émergence, tel que je l’ai fait dans mon dernier livre, les Radeaux de feu.

Autre intérêt de ces modes de calcul par émergence, c’est qu’ils ne partent d’aucun a priori, d’aucune vision préalable du monde et des lois qui le régissent : ce sont les comportements eux-mêmes qui sont observés, et c’est d’eux que découlent les analyses. Donc moins de risques d’erreurs, ce surtout en cas de rupture et d’apparition d’une nouvelle logique.

J’ai encore le souvenir de cet opérateur de télécommunications qui refusait de comprendre au milieu des années 90, que la téléphonie mobile pouvait intéresser des clients résidentiels. Sa vision lui disait que le marché était professionnel, et aucun de ses systèmes de mesure et de calcul n’était tourné vers le grand public…

Plus les visions s’auto-élaborent à partir du réel, et moins nous avons de chances de nous tromper.

Mais cette capacité de l’approche Big Data à remplacer l’expertise pointue par la largesse du recueil des données, me rappelle une autre approche, celle que l’on appelle l’intelligence collective ou la sagesse des foules…

(à suivre)

APPRENDRE EN OBSERVANT EN TEMPS RÉEL

Big Data (3)

Nous vivons donc aux temps de l’explosion de la quantité des informations et de la capacité de traitement et de navigation au sein de cette marée montante.

En quoi ceci peut-il donner naissance à un nouveau monde ?

En mai 2012, The Economist a consacré un article sur le lien entre Big Data et les banques, « Crunching the numbers ». Quelques exemples tirés de cet article :

- Lutte contre la fraude : La première utilisation est celle d’identifier la fraude et de repérer en temps réel un client indélicat. Avec le développement des micro-paiements, du commerce en ligne et de la mondialisation des transactions, cette application est de plus en plus complexe.

- Scoring en vue d’attribuer des prêts : créée par un ancien de Google, ZestFinance a développé une nouvelle approche intégrant un très grand nombre de données, lui permettant d’accorder des prêts à des clients rejetés par tous les prêteurs classiques.

- Analyse des comportements d’achats pour affiner des offres : si un client a l’habitude de déjeuner souvent dans des restaurants italiens, pourquoi ne pas lui envoyer par sms en fin de matinée des propositions de trattorias voisines ?

Tout ceci pose évidemment de nombreuses questions dans le domaine de la protection de nos données et du secret bancaire…

Dernièrement, Gilles Martin, dans un article publié sur son blog, intitulé « Le progrès par le désordre et l’approximation », insiste sur un autre type de conséquence, celle d’avoir un autre rapport à l’exactitude, et de pouvoir accepter le flou comme outil.

Citant les travaux récents de Viktor Mayer-Schönberger et Kenneth Cukier, dans leur ouvrage « Big Data : a revolution that will transform how we live, work and think », il indique : « C’est pourquoi  certains pensent que le monde de la mesure, de la précision de la mesure, qui a permis les progrès au XIX^ème siècle, va être remplacé par le monde des volumes et de l’approximation, des données en désordre,  un monde de la datafication. »

Un des exemples qu’il cite est celui de la détermination de l’indice des prix : plutôt que de relever le prix de quelques produits choisis a priori, pourquoi ne pas s’appuyer sur les millions de prix accessibles en ligne via le web ? Les deux chercheurs ont montré que cette méthode rendue possible par l’utilisation d’un logiciel capable d’aller pêcher ces prix et de les analyser, aboutit à un meilleur suivi des phénomènes inflationnistes et déflationnistes. Ceci a débouché sur un projet du MIT, « PriceStats » qui fournit en temps réel un nouvel indice disponible en temps réel.

Et si donc tout ceci nous ramenait au thème de l’émergence ?

(à suivre)

LES MAGICIENS DE LA BIBLIOTHÈQUE DE BABEL CONTEMPORAINE

Big Data (2)

Commençons par ce que nous expérimentons chaque jour : l’indexation du contenu du web fait par Google. Nous sommes tellement habitués à nous en servir que nous n’y prêtons plus guère attention.

Pourtant, prenez conscience de la puissance informatique nécessaire pour, quasiment en temps réel :

- Indexer tout nouveau contenu mis en ligne, et non pas seulement son titre, mais bien la totalité de l’information présente,

- Garder en mémoire combien de fois ce contenu a été vu,

- Établir un classement de la fréquentation des pages web,

- Face à une demande quelconque, parcourir l’ensemble des informations archivées, et proposer en quelques secondes, les réponses les plus pertinentes, ce bien sûr en tenant compte des recherches précédentes effectuées par le demandeur.

Étonnant, non ? Je reste émerveillé de l’efficacité cachée, probablement mon côté enfant…

Impressionnante capacité à manipuler des quantités considérables de données pour en extraire dynamiquement une réponse, ce dans un délai de plus en plus court. Ce d’autant plus que la quantité de ces données croît de manière exponentielle :

- L’ancien PDG de Google, Éric Schmidt, estimait en 2010 que nous produisions tous les deux jours autant d’informations qu’entre le début de la culture humaine et 2003,

- Dans son article introductif au numéro d’avril 2014 de la revue la Jaune et la Rouge, consacré au Big Data, Jean-Pierre Dardayrol indiquait que chaque semaine en 2014 la quantité d’information produite dans le monde est bien supérieure à celle produite depuis l’invention de l’écriture jusqu’en l’an 2000,

- Selon un rapport publié en 2012, IDC prévoyait que d’ici 8 ans, la masse des données serait multipliée par un facteur cinquante

Je repense à une nouvelle de Jorge Luis Borges qui m’a toujours donné le vertige, celle de la Bibliothèque de Babel. Dans cette bibliothèque, se trouvent tous les livres de quatre-cent dix pages, avec quarante lignes par pages, susceptibles d’avoir été ou d’être écrits, dans le passé comme dans le futur. Ils sont répartis sur une quasi infinité d’étagères, dans une quasi infinité d’alvéoles, et des bibliothécaires s’y promènent, prenant en main, de temps en temps, un livre et s’extasiant quand ils tombent sur une phrase qui a un sens. Car, bien sûr, dans cet océan des combinaisons, trouver déjà une phrase qui en a un, est un tour de force.

Avec le Big Data, le cauchemar disparaît, les bibliothécaires se font magiciens, et d’un geste sûr et immédiat, savent saisir instantanément le bon livre dans le dédale contemporain et foisonnant des informations du monde.

(à suivre)

BIG DATA, UN CHANGEMENT DE PARADIGME OU UNE MODE PASSAGÈRE ?

Big Data (1)

Difficile d’ouvrir un journal traitant de l’économie et des entreprises sans rapidement tomber sur le mot « Big Data ». Est-ce un effet de mode, une sorte de nouvelle contagion informatique, un virus managérial ? Va-t-on voir ce buzz word s’effondrer comme a fait pschitt en son temps, le syndrome du « L’informatique ne passera pas la date du 1-1-2000 » ?

Non, je ne crois vraiment pas. Derrière ce mot quelque peu barbare, se cache – du moins je le pense – une transformation profonde de nos organisations et nos modes de fonctionnement, et probablement bien au-delà de ce que pensent les spécialistes du sujet ! Nous sommes à la veille d’un changement de paradigme…

Aussi ai-je décidé de consacrer une série de billets à ce sujet. Je ne prétends pas avoir une vue exhaustive du sujet, ni encore en maîtriser les conséquences. Prenez simplement ce que je vais écrire dans les jours qui viennent comme une première réflexion, largement à chaud. Peut-être est-ce l’embryon d’un futur livre à venir… Qui sait ?

Mais d’abord, pour ceux qui n’auraient pas encore croisé un quelconque article sur le Big Data, de quoi s’agit-il ?

Il s’agit tout simplement de la capacité de manipuler de plus en plus facilement de très grandes masses de données.

Un des exemples les plus courants est le moteur de recherche qui fait la fortune et le succès de Google : il sait parcourir en quelques secondes la jungle de tout ce qui existe sur Internet pour répondre à la plus fantaisiste des questions que vous vous posez. Et ceci en tenant compte de tout ce qui est constamment mis en ligne. Rien n’est figé, tout est dynamique.

Mais pourquoi donc est-ce si nouveau ?

(à suivre)