Big data

  • Initiateur de la discussion Initiateur de la discussion Kuzan
  • Date de début Date de début
samazigh a dit:
Perso il me semble que c'est un terme marketing qui recouvre un concept difficilement concretisable... autrement dit : on nous vent du reve :p
Cliquez pour agrandir...
Ce n'est pas du rêve, des projets existent des solutions concrètes
d'ailleurs je travail dessus en ce moment, c'est juste un truc de malade quand tu connais les possibilités qu'offre une solution Big Data
 
En simple, le Big data, ça enregistré toutes tes connexions. Qui tu contact (sms. Telephone,email, sites visités,quand, combien de temps...

Sans nécessairement prendre l'information échangée.

On peu déterminer/devnier plein pleinde choses à l'analyse de ces données. Elle peuvent en dite beaucoup sur la personne. Mais comme c'est Big data, on peu aussi faire dire des choses fausses par rapport à ces donnée
 
samazigh a dit:
t'en as l'air convaincu, j'ai hate de lire ta démonstration :)
Cliquez pour agrandir...
Je n'ai rien a démontrer, je suis la pour partager :)
Prend l'exemple d'une boite qui dispose d'un entrepot de donnée de 100 To (Orange par exemple), les données sont stockés dans le SGBDR Teradata, la on est dans du très très gros système (128 Proc, 128 To de Ram) sans oublier le prix de la licence Teradata (crois moi ça coute la peau des fesses), imagine que le serveur sature, trop de données a absorber et trop de requete en entrées, ils ont besoin de 10% de puissance supplémentaire pas plus, ils vont quand même commander un nouveau Serveur et démarrer un projet de migration des données vers le nouveau Mega-Serveur
ça se chiffre en millions d'euro, c'est ce qu'on appel le Vertical Scalling
S'il adopte les concepts de la Big Data, ils ont juste besoin de racheter 10 noeuds (petit serveur) de plus, il branche le tout et laisse le système répartir la charge et les données sur ces nouveaux petits serveurs, aucune migration n'est necessaire et il suffit juste de monitorer le bon fonctionnement du tout, c'est ce qu'on appel le Horizontal Scalling
et crois moi ça permet de faire beaucoup d'economie
 
Kuzan a dit:
Je n'ai rien a démontrer, je suis la pour partager :)
Prend l'exemple d'une boite qui dispose d'un entrepot de donnée de 100 To (Orange par exemple), les données sont stockés dans le SGBDR Teradata, la on est dans du très très gros système (128 Proc, 128 To de Ram) sans oublier le prix de la licence Teradata (crois moi ça coute la peau des fesses), imagine que le serveur sature, trop de données a absorber et trop de requete en entrées, ils ont besoin de 10% de puissance supplémentaire pas plus, ils vont quand même commander un nouveau Serveur et démarrer un projet de migration des données vers le nouveau Mega-Serveur
ça se chiffre en millions d'euro, c'est ce qu'on appel le Vertical Scalling
S'il adopte les concepts de la Big Data, ils ont juste besoin de racheter 10 noeuds (petit serveur) de plus, il branche le tout et laisse le système répartir la charge et les données sur ces nouveaux petits serveurs, aucune migration n'est necessaire et il suffit juste de monitorer le bon fonctionnement du tout, c'est ce qu'on appel le Horizontal Scalling
et crois moi ça permet de faire beaucoup d'economie
Cliquez pour agrandir...
Si tu veux vulgariser et nous faire partagé tes connaissances, faut penser à te mettre à notre niveau question vocabulaire.
J'ai par exemple une dizaine de DD de 3To et une dizaine d'1 To. Est ce qu'il y a moyen de les inter-connecter ?
 
UNIVERSAL a dit:
Si tu veux vulgariser et nous faire partagé tes connaissances, faut penser à te mettre à notre niveau question vocabulaire.
J'ai par exemple une dizaine de DD de 3To et une dizaine d'1 To. Est ce qu'il y a moyen de les inter-connecter ?
Cliquez pour agrandir...
ça existe deja, c'est ce qu'on appel un systeme NAS (Network-attached storage)
https://en.wikipedia.org/wiki/Network-attached_storage

Tu peux le mettre en place chez toi, c'est pas très compliqué
 
Kuzan a dit:
Je n'ai rien a démontrer, je suis la pour partager :)
Prend l'exemple d'une boite qui dispose d'un entrepot de donnée de 100 To (Orange par exemple), les données sont stockés dans le SGBDR Teradata, la on est dans du très très gros système (128 Proc, 128 To de Ram) sans oublier le prix de la licence Teradata (crois moi ça coute la peau des fesses), imagine que le serveur sature, trop de données a absorber et trop de requete en entrées, ils ont besoin de 10% de puissance supplémentaire pas plus, ils vont quand même commander un nouveau Serveur et démarrer un projet de migration des données vers le nouveau Mega-Serveur
ça se chiffre en millions d'euro, c'est ce qu'on appel le Vertical Scalling
S'il adopte les concepts de la Big Data, ils ont juste besoin de racheter 10 noeuds (petit serveur) de plus, il branche le tout et laisse le système répartir la charge et les données sur ces nouveaux petits serveurs, aucune migration n'est necessaire et il suffit juste de monitorer le bon fonctionnement du tout, c'est ce qu'on appel le Horizontal Scalling
et crois moi ça permet de faire beaucoup d'economie
Cliquez pour agrandir...
Sur notre dos les économies hein parce que ca fera pas baisser les prix des connexions toussa!
(Genre j'ai tt compris a ce que t'as ecrit:bizarre:)
 
Kuzan a dit:
Je n'ai rien a démontrer, je suis la pour partager :)
Prend l'exemple d'une boite qui dispose d'un entrepot de donnée de 100 To (Orange par exemple), les données sont stockés dans le SGBDR Teradata, la on est dans du très très gros système (128 Proc, 128 To de Ram) sans oublier le prix de la licence Teradata (crois moi ça coute la peau des fesses), imagine que le serveur sature, trop de données a absorber et trop de requete en entrées, ils ont besoin de 10% de puissance supplémentaire pas plus, ils vont quand même commander un nouveau Serveur et démarrer un projet de migration des données vers le nouveau Mega-Serveur
ça se chiffre en millions d'euro, c'est ce qu'on appel le Vertical Scalling
S'il adopte les concepts de la Big Data, ils ont juste besoin de racheter 10 noeuds (petit serveur) de plus, il branche le tout et laisse le système répartir la charge et les données sur ces nouveaux petits serveurs, aucune migration n'est necessaire et il suffit juste de monitorer le bon fonctionnement du tout, c'est ce qu'on appel le Horizontal Scalling
et crois moi ça permet de faire beaucoup d'economie
Cliquez pour agrandir...
heu la virtualisation repond a ce type de pb depuis des années, désolé. Il me semble que les avantages du Big data est plutot a chercher coté exploitation des données, et que ce n'est pas encore mature / secure.
 
samazigh a dit:
heu la virtualisation repond a ce type de pb depuis des années, désolé. Il me semble que les avantages du Big data est plutot a chercher coté exploitation des données, et que ce n'est pas encore mature / secure.
Cliquez pour agrandir...
Avant d'exploiter les données il faut bien les rendre disponibles ...
La virtualisation n'a rien a faire dans la discussion.
 
Dans le domaine de la sante, ca veut dire quoi exactement? Des infos medicales generiques? Du genome? Des donnees personelles (scans, diagnoses, etc...)? Il faut savoir que les donnees personnelles sont protegees par les lois; les mettre dans une cloud, c'est un gros no-go!
 
farid_h a dit:
Dans le domaine de la sante, ca veut dire quoi exactement? Des infos medicales generiques? Du genome? Des donnees personelles (scans, diagnoses, etc...)? Il faut savoir que les donnees personnelles sont protegees par les lois; les mettre dans une cloud, c'est un gros no-go!
Cliquez pour agrandir...
Ils ont les moyens de monter leur propre cloud privé, les données restent chez eux et ne seront pas publiés outside
 
Kuzan a dit:
Alors pour commencer, la Big Data est une alternative au Data Warehousing mais elle ne remplace pas les solutions décisionnelles existantes généralement basé sur la construction d'un Data Warehouse (un entrepot de données) contenant les données transactionnelles et aussi les dimensions et les références de l'entreprise

La Big Data est une technologie permettant l'analyse des données non necessairement structurées, le volume de ces données dépasse la capacité de stockage et de requetage d'un seul serveur, elles sont donc réparties sur plusieurs serveurs (ou nœuds)

Les premiers projets Big Data ont été élaborés par Google, Twitter, FaceBook, Amazon pour permettre de produire de la valeur à partir des milliers de TeraBytes qu'elles hébergent.

Voila pour la définition, je reviendrai après pour expliquer la nécessite de ces technologies dans un monde numérique qui bouge trop vite ...
Cliquez pour agrandir...

Les premiers projets de Big Data, c'est plutôt les services de renseignement qui les ont mis en place. A commencer par la NSA, qui par le projet PRISME, récupère et analyse l'ensemble des données issues du web, des réseaux téléphoniques GSM? 3G 4G, militaires,, fibre optique pour construire des métadonnées. Le Big Data n'est ni plus ni moins que l'extension de la logique de Datamart. Des acteurs comme Teradata, Hadoop, Predpol (délinquance prédictive sauce Minority Report), outils CRM (Salesforces, SAS), ERP (SAP leader du marché), réseaux sociaux (GAFA, snapchat, Linkedin, Twitter, etc..), satellites de surveillance ou civiles, Openstack, NOSQL DB, machine learning (Mahoot) sont utilisés pour récupérer les données, les agencer puis les exploiter à des fins proactive (proposition de nouveaux produits ou services) ou réactives (améliorer les produits ou les services).

Cependant, plusieurs problèmes sont soulevés par le Big Data qui a le vent en poupe avec un marché estimé par le PDG de Capgemini à 9 Mds de dollars de revenus portant sur près de 137 000 emplois :

- la pertinence des données récupérées
- les compétences pour les exploiter
- le respect de la vie privée et l'anonymisation des données recueillies (hack de Target, Amazon, base de données des fonctionnaires fédéraux aux US, Washington Post, etc..)
- la méfiance général vis à vis de toute récupération des données

Dans l'ordre, les Big Players sont :
1. Oracle
2. Teradata
3. SAP
4. Dell
5. HP
6. IBM

Aucun acteur européen dans le lot. L'Afrique, je ne vous en parle pas.

Mais bon, cela se fait depuis un moment et des sociétés françaises comme Critéo au travers d'algorithmes complexes font leur beurre dessus.

@+
 
zigotino a dit:
Les premiers projets de Big Data, c'est plutôt les services de renseignement qui les ont mis en place. A commencer par la NSA, qui par le projet PRISME, récupère et analyse l'ensemble des données issues du web, des réseaux téléphoniques GSM? 3G 4G, militaires,, fibre optique pour construire des métadonnées. Le Big Data n'est ni plus ni moins que l'extension de la logique de Datamart. Des acteurs comme Teradata, Hadoop, Predpol (délinquance prédictive sauce Minority Report), outils CRM (Salesforces, SAS), ERP (SAP leader du marché), réseaux sociaux (GAFA, snapchat, Linkedin, Twitter, etc..), satellites de surveillance ou civiles, Openstack, NOSQL DB, machine learning (Mahoot) sont utilisés pour récupérer les données, les agencer puis les exploiter à des fins proactive (proposition de nouveaux produits ou services) ou réactives (améliorer les produits ou les services).

Cependant, plusieurs problèmes sont soulevés par le Big Data qui a le vent en poupe avec un marché estimé par le PDG de Capgemini à 9 Mds de dollars de revenus portant sur près de 137 000 emplois :

- la pertinence des données récupérées
- les compétences pour les exploiter
- le respect de la vie privée et l'anonymisation des données recueillies (hack de Target, Amazon, base de données des fonctionnaires fédéraux aux US, Washington Post, etc..)
- la méfiance général vis à vis de toute récupération des données

Dans l'ordre, les Big Players sont :
1. Oracle
2. Teradata
3. SAP
4. Dell
5. HP
6. IBM

Aucun acteur européen dans le lot. L'Afrique, je ne vous en parle pas.

Mais bon, cela se fait depuis un moment et des sociétés françaises comme Critéo au travers d'algorithmes complexes font leur beurre dessus.

@+
Cliquez pour agrandir...
SAP ce n'est pas européen?
 
SAP est allemand et fait essentiellement de l'ERP qui lui permet de récupérer des données de facturation, production, commerciale etc... Ils se sont lancés dans le Big Data via leur filiale aux US.

A+
 
UNIVERSAL a dit:
Salam @madalena, @shams007,
Les big data, littéralement les « grosses données », ou mégadonnées (recommandé3), parfois appelées données massives4, désignent des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information. On parle aussi de datamasse5 en français par similitude avec la biomasse. (wiki)

PS: je n'y comprend pas grand chose, aussi :)
Cliquez pour agrandir...
@madalena on

Pourquoi ils mettent pas tout dans un classeur,c'est mieux
 
shams007 a dit:
Ni entendu des gens qui l'utilisent en parler en bien ou en mal ?
Cliquez pour agrandir...
Entre 1994 et 1997 j'ai administre des serveurs UNIX et les databases Oracle pour des instances SAP R/3 d'un grand CHU. J'ai assiste l'admin SAP et j'avais acquis des rudiments de ABAP/4. Mais, franchement, j'ai jamais vraiment pu obtenir un overview complet / big picture de ce systeme; tellement c'etait byzantin. Il y avait des modules avec plein de transactions pour tous les domaines de la comptabilite, du controlling, du management des patients (case management) etc; et des experts externes qui etaient constamment dans les departements pour customizer ces modules; surtout celui du patient management.

Meme si ca fait plus de 20 ans, je suis persuade que peu de choses ont change chez ce dinosaure de SAP! J'ai vu recemment une installation actuelle, et j'ai tout de suite reconnu presque l'ensemble des elements que j'avais connu a l'epoque. Puahhh. :npq:
 
Retour
Haut