Ein wichtiger Begriff bei der Stichprobe ist der Zufall. Jedes Element der Grundgesamtheit soll die gleiche Wahrscheinlichkeit haben, in der Stichprobe aufgenommen zu werden. Ein typisches Bild ist hier die Lostrommel oder die Urne. Sie enthält Stellvertreter der eigentlich interessierenden Grundgesamtheit, d.h. eine pratikable und überhaupt zu verarbeitende Menge an Datensätzen, die man sich natürlich am besten elektronisch vorstellt. Die wesentliche Voraussetzung ist hier also, dass man Zugriff auf die Grundgesamtheit besitzt und ihre Daten in zumeist elektronischer Form in einen neuen Datenspeicher übertragen kann.
Einfache Lösungen, die allerdings normalerweise doch das Risiko eines systematischen Auswahlfehlers tragen, wären hier, nicht vorher tatsächlich alle Elemente der Grundgesamtheit zu ermitteln und sie zu sammeln, sondern von vornherein nur ihre Repräsentanten zu verwenden. Die einfachste Technik in diesem Bereich ist es, die Telefonnummer zufallsgeneriert zu erzeugen und diese dann als Zugriffsschlüssel für den Kontakt mit den Teilnehmern zu verwenden. Die übliche Gefahr auch bei diesem Verfahren besteht darin, dass nicht jedes Element der Grundgesamtheit ein Telefon besitzt. Dies kann in Extremfällen auch heute noch durchaus der Fall sein. Durch die weite Verbreitung von Mobiltelefonen besteht zudem auch in verschiedenen Zielgruppen ein hoher Anteil an Personen, die ausschließlich mobil telefonieren. Dies könnte man zwar leicht dadurch berücksichtigen, dass man dieses Verfahren dann auch wieder auf die verschiedenen Vorwahlen von Mobilfunkanbietern anwendet, doch müsste die jeweilige Anzahl der Ziehung eines Anbieters strukturell mit der Kundenreichweite in der Grundgesamtheit übereinstimmen. Vorher nun zu wissen, welche Personen ausschließlich mobil telefonieren und daher nicht auch schon über die Festnetznummern erreicht werden können, oder wie viele Kunden dies wiederum pro Mobilfunkanbieter anbetrifft, oder wie viele Teilnehmer mehrere Telefonnummern nutzen, zeigt, dass die perfekte Zufallsstichprobe mit diesem Verfahren nicht erreicht wird.
Man differenziert innerhalb der einfachen Zufallsstichproben noch einmal die systematischen Auswahlverfahren. Schon bei den Überlegungen zu den Telefonnummern klang durch, dass man dem Zufall ein wenig nachhelfen kann, wenn man ohnehin keine Liste der Grundgesamtheit besitzt. Die systematischen Verfahren basieren auf einer Auswahlregel wie bspw. „ziehe jedes dritte Element“. Wie die Elemente bestimmt werden, kann nun erstens fast frei festgelegt werden und zweitens auch schon neben grundsätzlichen Vorbehalten gegenüber dieser beliebten Methode einen systematischen Fehler in die Auswahl bringen. Theoretisch könnte es sein, dass die Strukturen in der Grundgesamtheit genau kongruent zu denen des systematischen Auswahlverfahrens sind. Dies würde bedeuten, dass jedes n-te Element die gleichen Eigenschaften besitzt und man daher alle verschiedenartigen Elemente gar nicht abrufen kann. Wie immer ist dies alles scheinbar sehr exotisch, weswegen man auf der einen Seite hofft, dass die eigene Untersuchung dieses Risiko nicht birgt, während man auf der anderen Seite jedoch immer wieder feststellen muss, dass aber doch gerade viele Marketing-Untersuchungen in der Fußgängerzone vormittags zwischen der Statistik- und der Recht-Vorlesung stattfinden, wenn doch recht viele Menschen eigentlich zur Arbeit gehen und praktisch keine Chance haben, an der Befragung teilzunehmen. Ob sie dann wiederum abends überhaupt Lust und Zeit hätten, sich mit der Befragung zu beschäftigen, steht dann wieder auf einem anderen Blatt.
Die mehrstufigen Auswahlverfahren setzt man dann ein, wenn es keine Möglichkeit gibt, die benötigten Erhebungseinheiten in einem einzigen Schritt aus der Grundgesamtheit zu bestimmen. Stattdessen führt man mehrere hintereinander geschaltete einzelne Zufallsauswahlen durch, bis man zu den eigentlich interessierenden vorstößt. Das Verfahren zwingt sich geradezu auf, wenn eine derartige Struktur in der Grundgesamtheit vorliegt, die auch Auswirkungen auf die Eigenschaften der Elemente besitzt. Hierbei handelt es sich typischerweise um geografische Strukturen, die man bei mehr willkürlich festgelegten Mustern wie Wahlkreisen oder sogar hierarchisch gegliederten Mustern wie Land-Bundesland-Stadt vorfindet. Auch zeitliche Muster wie bei Untersuchungen von Pendlerströmen, Schichtarbeitern bei Betrachtung der Zeitorganisation oder des Zeitpunkts von Merkmalen sowie wie bei Untersuchungen, welche das Alter und damit ein direkt mit den Untersuchungseinheiten zusammen hängendes Merkmal berücksichtigen. Schließlich kann es Gruppen geben, die durch beliebige Klassifikationen abgeleitet werden, wobei diese dann immer mehr auch umfangreiche Voruntersuchungen und raffinierte Auswahlverfahren erfordern, um diese Klassifikationen zu trennen. Kurz gesagt: eine Trennung von Teilnehmern anhand ihres Wohnortes kann sogar entlang der gerade erwähnten natürlichen Hierarchie erfolgen, doch eine Klassifizierung von Kunden mit einer definierten Hierarchie erfordert es, zunächst diese Klassifizierung festzulegen und irgendwie auch die Gruppen zu erkennen.
Man erhebt also in einer ersten Stufe die gewünschten Elemente nicht aus der gesamten Grundgesamtheit ohne Betrachtung weiterer Merkmale, sondern aus vorher bekannten Gruppen. Diese nennt man Primäreinheiten. Für jede einzelne dieser Primäreinheiten setzt man dann das Verfahren fort, sollte sich die Struktur der Gruppen bspw. als Hierarchie darstellen. Fortgesetzte Untergruppen nennt man dann Sekundäreinheiten.
Ein besonderes Vorgehen ist zu berücksichtigen, sobald die Primäreinheiten sehr unterschiedliche Größen haben, was in vielen Fällen zutrifft. Die Voraussetzung für eine tatsächliche Zufallsauswahl besteht nämlich weiterhin darin, dass jedes Element der Grundgesamtheit die gleiche Wahrscheinlichkeit aufweist, in die endgültige Stichprobe zu gelangen. Bei unterschiedlichen Größen verändern sich die Wahrscheinlichkeiten allerdings.
Die Klumpenstichprobe kann ebenfalls als zweistufiger Auswahlprozess verstanden werden. Der einzige Unterschied besteht darin, dass alle Erhebungseinheiten auf der zweiten Stufe ausgewählt werden. In einem Unternehmen, in dem man eine Befragung unter Schichtarbeitern durchführen möchte, würde man dabei auf der ersten Stufe bspw. eine bestimmte Anzahl von Schichten zufällig auswählen, um dann innerhalb dieser Schichten alle Mitarbeiter zu befragen. Bei diesem Verfahren setzt man voraus, dass die ausgewählten Klumpen, d.h. die auf der ersten Stufe ausgewählten Primäreinheiten, eine möglichst große Heterogenität aufweisen sollten. Eine Schicht, die besonders schlechte Ergebnisse hinsichtlich der Stückzahlen, der Qualität oder der Arbeitssicherheit aufweist, kann dabei das Ergebnis genauso verzerren wie eine solche, die gerade überdurchschnittliche Leistungen erzielt. Zwischen den Klumpen soll also eine hohe Homogenität herrschen, während sie in den Klumpen und damit zwischen den Elementen möglichst klein sein soll bzw. diese eine hohe Heterogenität aufweisen sollen. Man spricht auch von Klumpeneffekten, wenn diese Bedingungen nicht gegeben sind und Verzerrungen bei den Kennzeichen der Grundgesamtheit entstehen.
Die geschichtete Stichprobe kann man ebenfalls als Spezialfall der zweistufigen Wahrscheinlichkeitsauswahl bezeichnen. Hier ist ein Merkmal oder auch eine Merkmalskombination bekannt, welche zu Schichten in der Grundgesamtheit führen. Diese Schichten sollen dann auch in den Primäreinheiten wieder gegeben sein, d.h. bezogen auf das die Schichten definierende Merkmal sind die Primäreinheiten möglichst homogen, während sie untereinander möglichst heterogen sind. Auf Basis der so charakterisierten Primäreinheiten zieht man dann auf der zweiten Stufe die gewünschte Stichprobe. Um eine repräsentative Grundgesamtheit zu erreichen, sollten dann die Anteile der einzelnen Schichten in der gesamten Stichprobe proportional zu denjenigen in der Grundgesamtheit sein. Man spricht in diesem Fall von einer proportional geschichteten Zufallsstichprobe, im anderen Fall von einer disproportional geschichteten Zufallsstichprobe. Letztere erlaubt es nicht, von der Stichprobe aus auf die Kennzeichen der Grundgesamtheit zu schließen.
Eine Gewichtung lässt sich auch später noch im Rahmen der Auswertung berücksichtigen. Dies bedeutet ganz einfach, dass bei einer Unterrepräsentierung einer Schicht oder Gruppe dieser so vergrößert wird, dass im Endergebnis der benötigte Anteil wieder erreicht wird.
Der Vorteil einer geschichteten Zufallsstichprobe liegt darin, dass man gerade bei dem für die Untersuchung interessierenden Merkmal eine sehr gute Annäherung an die tatsächlichen in der Grundgesamtheit vorhandenen Quoten erreicht. Die entscheidende Voraussetzung liegt allerdings darin, dass man überhaupt eine gesicherte Erkenntnis über diese Quoten besitzt. Es gibt allerdings durchaus eine Reihe von Merkmalen, bei denen entsprechende Informationen in sehr hoher Qualität vorliegen, nämlich genau dann, wenn es sich um Merkmale handelt, die für andere Zwecke wie bspw. die Stammdatenverwaltung erfasst und vorgehalten werden. Hier hat man dann einen recht guten Zugriff auf die Informationen der Grundgesamtheit und kann sich dann zwischen einer Zufallsauswahl und einer solchen bewussten Auswahl eigentlich sogar entscheiden. Man würde in einem solchen Fall dann allerdings der bewussten Auswahl den Vorzug geben, weil man bspw. befürchtet, dass insbesondere extreme Fälle mit geringer relativer Häufigkeit evtl. doch durch eine zu kleine Stichprobengröße nicht vollständig enthalten sein könnten.
Für eine erfolgreiche Untersuchung ist es von Bedeutung, die notwendige Anzahl an Befragungsteilnehmern zu erreichen. Hier gibt es eine Reihe von Herausforderungen, die allein schon beim einfachen Kontakt auftreten können und welche dann zusätzlich von solchen ergänzt werden, die nach einem erfolgreichen Kontakt auftreten können. Die übergeordnete Größe, welche für die Auswertung, die Nachkontrolle und entsprechend auch für die Theorie der Befragung existiert, ist die Ausschöpfungsquote. Sie ist definiert als der Anteil der Befragungsteilnehmer am Stichprobenumfang, d.h. der ursprünglich geplanten Menge der Teilnehmer. Diesen Anteil multipliziert man dann mit 100, um eine prozentuale Größe zu erreichen. Bei einer Stichprobengröße von 100 und tatsächlich teilgenommenen 80 Personen, erhält man entsprechend eine Quote von 80/100, d.h. 0,8 und damit 80%. Der Rest, der sich dann zu 100% ergibt, ist dementsprechend der Ausfall, er als Non-Response-Quote bezeichnet wird.
Man differenziert in diesem Bereich noch genauer:
Wie man sieht, kann ein hoher Anteil an stichprobenneutralen Ausfällen zu einer Erhöhung der Ausschöpfungsquote führen. Hier ist also immer darauf zu achten, dass nicht jede fehlende Antwort einfach als technischer Fehler deklariert wird, um ihn als stichprobenneutral zu definieren.
Schließlich bleiben noch die potenziellen Teilnehmer in der bereinigten Ausgangsstichprobe übrig, die auch tatsächlich befragt werden können. Nicht alle davon werden dann aber auch tatsächlich befragt bzw. nehmen an der Befragung teil. Man unterscheidet hier wiederum drei Gruppen bzw. auch Gründe für eine solche Nicht-Teilnahme. Diese könnte man weiter nach detaillierten Gründen der Nicht-Teilnahme differenzieren.
Bei den Verweigerungen kann man noch weiter differenzieren zwischen der Verweigerung einer konkreten Frage (Item-Non-Response) oder der Verweigerung an der gesamten Befragung (Unit-Non-Response). Dies führt dann zu einer anderen Quote, die in der Literatur nicht annähernd so umfangreich diskutiert wird wie die Ausschöpfungsquote. Diese geht ja immer nur von der Teilnahme an der Befragung aus. Doch auch dann, wenn ein Teilnehmer sich bereit erklärt, auch tatsächlich den Fragebogen zu bearbeiten oder das Interview durchzuführen, bekommt man nicht in allen Fällen einen vollständigen Fragebogen zurück. Der Begriff Item-Non-Response meint im engen Sinne die Verweigerung, zu einer bestimmten Frage eine Antwort zu geben. Die Begriffe Ausfüll- oder Antwortquote bezeichnen das Verhältnis zwischen bearbeiteten Fragen/Items und der Gesamtanzahl der Fragen/Items. Multipliziert man dies mit 100, erhält man die prozentuale Quote.
Allerdings ist es notwendig, die verschiedenen Varianten oder diejenigen Fälle, die man unter einer nicht beantworteten Frage subsummieren möchte, genauer zu erklären. Auch für die Auswertung ist es wichtig, sich eine Vereinfachung, d.h. Zusammenfassung von mehreren Unterarten einer Nicht-Beantwortung zur gleichen Codierung, genau zu überlegen. Man kann die folgenden Fälle differenzieren, wobei diese Liste – wie auch in den einzelnen Punkten noch einmal deutlich wird – durchaus nicht so zu verstehen ist, dass jeder einzelne von ihnen gleichberechtigt und in jedem Fall als Nicht-Beantwortung gezählt werden sollte.
Betrachtet man die gesammelten Daten nur als reinen Wertespeicher für Auswertungen, deren Thema sehr auf die ausgewählten Antworten ohne die neutralen oder fehlenden Antworten zugeschnitten ist, dann sind selbstverständlich alle fehlenden Antworten sowie die neutralen oder sonstigen Antwort uninteressant. Allerdings empfiehlt es sich, sehr deutlich zu untersuchen, ob einer der folgenden Fälle eingetreten ist. Es ist eine sehr vereinfachte Abbildung der eingegangenen Antworten, wenn man tatsächlich für alle vier der gerade beschriebenen Fälle pauschal eine Nicht-Beantwortung codiert, d.h. sie alle zu einem einzigen Fall zusammenfasst.
Schließlich stellt sich die Frage, mit welchen Techniken die geschilderten allgemeinen und speziellen Probleme gelöst werden können. Ganz grundsätzlich ist es notwendig, schon durch den Fragebogen und seine Ankündigung, seine Einstiegsseite und seinen Fragenkatalog ein allgemeines Interesse an der Teilnahme bei den potenziellen Teilnehmern zu wecken. Dies erfordert es, entweder bei der direkten Konfrontation des angesprochenen Teilnehmers sofort den Sinn und die Vorgehensweise der Befragung, die Art der Datenverwertung und die Begründung, warum gerade er ausgewählt wurde, zu erklären oder bei einer elektronischen und internetbasierten Befragung vorab durch E-Mails und Erläuterungen im Internet über die Untersuchung aufzuklären.
Der Fragenkatalog muss dann auch gängige Techniken der guten Fragebogenkonstruktion einsetzen. Dies betrifft zum einen solche methodisch einfachen Elemente wie interessante Einstiegsseiten wie auch komplexe Werkzeuge wie Kontrollfragen zur Entdeckung von Antwortverzerrungen. Bei elektronischen Fragebögen kann man auch durch eine interessante Optik sowie innovative Elemente der Antwortgestaltung den Teilnehmern ein interessantes Erlebnis vermitteln. Insbesondere solche eher komplexen Fragebogen-Elemente muss man natürlich in Abstimmung mit der Zielgruppe auswählen und einsetzen.
Bei einem Interview ist es dann notwendig, zusätzlich auch den Interviewer zu schulen, möglichst neutral, aber dennoch freundlich und zuvorkommend, nichtsdestoweniger aber auch ein klein wenig drängend auf potenzielle Teilnehmer zuzugehen, um sie erstens zur Teilnahme und zweitens auch zu einer engagierten Datenerhebung zu führen. Wie immer liegt auch hier das optimale Verhalten in der Mitte zwischen Verhaltensextremen (belästigend oder schüchtern).
