Conjunt de dades
Un conjunt de dades és una col·lecció de dades. En el cas de les dades tabulars, un conjunt de dades correspon a una o més taules de base de dades, on cada columna d'una taula representa una variable determinada i cada fila correspon a un registre determinat del conjunt de dades en qüestió. El conjunt de dades enumera els valors de cadascuna de les variables, com per exemple l'alçada i el pes d'un objecte, per a cada membre del conjunt de dades. Els conjunts de dades també poden consistir en una col·lecció de documents o fitxers.[2]
En la disciplina de dades obertes, el conjunt de dades és la unitat per mesurar la informació alliberada en un dipòsit públic de dades obertes. El portal europeu data.europa.eu agrupa més d'un milió de conjunts de dades.[3] Alguns altres problemes (fonts de dades en temps real,[4] conjunts de dades no relacionals, etc.) augmenten la dificultat per arribar a un consens al respecte.[4]
Diverses característiques defineixen l'estructura i les propietats d'un conjunt de dades. Aquests inclouen el nombre i els tipus d'atributs o variables, i diverses mesures estadístiques aplicables als mateixos, com ara la desviació estàndard i la curtosi.Jan M. Żytkow, Jan Rauch. Principles of data mining and knowledge discovery, 2000. ISBN 978-3-540-66490-1. Principis de mineria de dades i descobriment de coneixement . ISBN 978-3-540-66490-1.[5]
En les estadístiques, els conjunts de dades solen provenir d'observacions reals obtingudes mitjançant el mostreig d'una població estadística, i cada fila correspon a les observacions sobre un element d'aquesta població. Els conjunts de dades també es poden generar mitjançant algorismes amb el propòsit de provar certs tipus de programari. Alguns programes moderns d'anàlisi estadística com SPSS encara presenten les seves dades de la manera clàssica de conjunt de dades. Si les dades falten o són sospitoses, es pot utilitzar un mètode d'imputació per completar un conjunt de dades.[6]
Diversos conjunts de dades clàssics s'han utilitzat àmpliament a la literatura estadística:
- Conjunt de dades de flors d'iris: conjunt de dades multivariant introduït per Ronald Fisher (1936).[7]
- Base de dades MNIST : imatges de dígits escrits a mà que s'utilitzen habitualment per provar algorismes de classificació, agrupació i processament d'imatges
- Anàlisi de dades categòriques: conjunts de dades utilitzats al llibre, An Introduction to Categorical Data Analysis .
- Estadístiques robustes : conjunts de dades utilitzats en regressió robusta i detecció de valors atípics (Rousseeuw i Leroy, 1968). S'ofereix en línia a la Universitat de Colònia.
- Sèries temporals: les dades utilitzades al llibre de Chatfield, The Analysis of Time Series, són proporcionades en línia per StatLib.
- Valors extrems: les dades utilitzades al llibre, An Introduction to the Statistical Modeling of Extreme Values són una instantània de les dades tal com va ser proporcionada en línia per Stuart Coles, l'autor del llibre.
- Anàlisi de dades bayesianes: Andrew Gelman, un dels autors del llibre, proporciona en línia les dades utilitzades al llibre.
- Les dades del fetge de Bupa: s'utilitzen en diversos articles de la literatura d'aprenentatge automàtic (mineria de dades).
- Quartet d'Anscombe: petit conjunt de dades que il·lustra la importància de representar gràficament les dades per evitar fal·làcies estadístiques.