SORTING – Sensorische Schnellmethode zur Ähnlichkeitsmessung
Rapider Überblick zur Unterscheidung von Produkten bei großen Unterschieden
DLG-Expertenwissen 05/2024
Autorin:
Dr.in Eva Derndorfer, Ernährungswissenschaftlerin und Sensorikexpertin, Fachbuchautorin, Beraterin und Lehrbeauftragte an mehreren Hochschulen, Wien/Österreich
eva@derndorfer.at, www.evaderndorfer.at
Kontakt:
DLG-Ausschuss Sensorik & Lebensmittelqualität
Bianca Schneider-Häder, sensorik@DLG.org
Hintergrund und Zielsetzung
Sensorische Schnellmethoden zeichnen sich insbesondere durch ihren geringeren Zeitaufwand im Vergleich zu traditionellen Methoden aus und bieten daher gerade in der aktuellen von kurzen Produktlebenszyklen und Personalmangel geprägten Zeit, eine sehr interessante Alternative für Unternehmen. Im DLG-Expertenwissen 6/2020 „Die sensorische Schnellmethode CATA (Check all that apply)“ (Derndorfer, 2020) wurde die wichtigste deskriptive Schnellmethode detailliert vorgestellt. Laut „DLG-Trendmonitor Lebensmittelsensorik 2022“ (Seuß-Baum et al. 2022) ist SORTING nach CATA die am zweithäufigsten verwendete Schnellmethode, so dass im nachfolgenden DLG-Expertenwissen, die Möglichkeiten des SORTING genauer beschrieben werden sollen.
SORTING als Methode
Sensorische Schnellmethoden sind Methoden, die sich nicht nur durch ihre Zeitersparnis auszeichnen, sondern auch hinsichtlich ihrer Flexibilität bei den Panelisten. Denn sie können mit trainierten ebenso wie mit untrainierten Testpersonen durchgeführt werden. Bei manchen Fragestellungen lassen sich damit konventionelle Profilprüfungen samt aufwendiger Panelauswahl und Paneltraining ersetzen, so dass diese Methoden gerade auch in kleinen und mittleren Unternehmen erfolgreich umgesetzt werden können.
Schnellmethoden sind allerdings kein 1:1 Ersatz für konventionelle Profilprüfungen. Sie sind ungenauer und nicht genormt, und eignen sich insbesondere für Produkte, die sich stärker voneinander unterscheiden; für sehr ähnliche Proben sind sie weniger geeignet.
Je nach Schnellmethode werden die Proben überblicksmäßig beschrieben oder es wird die Ähnlichkeit von Proben bewertet. Schnellmethoden ermöglichen damit einen raschen Überblick über viele Proben.
Im Gegensatz zu CATA ist SORTING keine deskriptive Prüfmethode, sondern eine Ähnlichkeitsmessmethode, wie der Überblick über sensorische Schnellmethoden in Abbildung 1 aufzeigt.
Das Messprinzip
SORTING, auch FREE SORTING genannt, ist wie aufgezeigt, eine Ähnlichkeitsmessmethode. Mit Hilfe dieser Methode kann man sich bei einer größeren Probenanzahl einen raschen Überblick über die relative Ähnlichkeit bzw. Unterschiedlichkeit der Proben verschaffen.
Die Prüfer erhalten alle Prüfproben gleichzeitig, machen sich mit den Prüfproben vertraut und sortieren diese in Gruppen entsprechend ihrer Ähnlichkeit. Jede Person entscheidet selbst, wie viele Gruppen sie bildet und welche sensorischen Kriterien der Gruppenbildung zugrunde liegen. Häufig erfolgt die Sortierung auf einem weißen DIN A3-Blatt oder ggf. in digitaler Form mittels spezifischer Softwareprogramme.
Die Prüfpersonen müssen keinen Grund für ihre Gruppeneinteilung anführen (z. B. Gruppe 1 -süß, Gruppe 2 - herb, Gruppe 3 - längerer Nachgeschmack). In der Praxis macht es aber Sinn, dies einzufordern, da es für den Prüfungsleiter die Interpretation der Ergebnisse deutlich erleichtert. In Abbildung 2 ist ein Beispiel eines „FREE SORTING“–Ergebnisses einer Prüfperson dargestellt, wobei verschiedene Bitterschokoladen gekostet wurden.
Grundsätzlich ist das klassische FREE SORTING eine holistische Methode, bei der nicht separat nach einzelnen Sinnesmodalitäten unterschieden wird, sondern der Gesamtunterschied betrachtet wird. Allerdings empfindet nicht jeder Mensch die gleichen Unterschiede als die wichtigsten. Es gibt daher auch keine richtige oder falsche Sortierung. Da SORTING – wie alle sensorischen Prüfungen – mit mehreren Testpersonen gemacht wird (s.u.), darf davon ausgegangen werden, dass im Endergebnis alle relevanten Unterschiede zwischen den Produkten abgebildet sind.
Um die relative Ähnlichkeit der Produkte anschließend zu visualisieren, wird auf Basis der individuellen Sortierungen mit Hilfe der statistischen Methode Multidimensionale Skalierung (MDS) ein zwei- oder dreidimensionaler Plot erstellt. Durch diesen Plots erhält man einen Überblick, wo die eigenen Produkte zum Beispiel im Vergleich zu Mitbewerberprodukten stehen, oder welche von einer Serie an Produktprototypen eher ähnlich sind und welche sich stärker unterscheiden.
FREE SORTING kann auf Basis einer Produktverkostung durchgeführt werden, man kann aber auch Bilder oder Verpackungen einem SORTING-Prozess unterziehen.
Die Zeitersparnis der Schnellmethode ergibt sich somit aus folgenden Aspekten:
Auch für untrainierte Testpersonen geeignet
Direkter Vergleich von Produkten statt der sequenziell monadischen Bewertung
Relative Ähnlichkeitsbewertung statt absoluter Unterschiede an einer Skala
Ergänzende Beschreibungen sind optional
Rasche statistische Auswertung
FREE SORTING ist eine jener Prüfmethoden, die auch ohne computerisierte Datenerfassung, also auf Papierfragebögen, möglich ist. Das Übertragen der Gruppen in ein Datenfile in EXCEL ist sehr schnell machbar. Das ist ein wichtiger Unterschied zu anderen Ähnlichkeitsmessmethoden wie Projective Mapping, Napping® oder Polarized Sensory Positioning, die sinnvollerweise bei computerisierter Datenerfassung angewendet werden.
Prüfproben
FREE SORTING ist im Gegensatz zu CATA nicht mit Einzelproben durchführbar. Es sind mindestens sechs Proben notwendig. Die maximale Anzahl hängt von der Produktkategorie und der sensorischen Intensität der Proben ab – bei Destillaten ist sie niedriger als bei Fruchtsäften. Werden Proben gekostet, liegt die Probenzahl meist zwischen 6 und 20. Übersteigt die Probenzahl ein sinnvolles Maß, können die Proben theoretisch auf mehrere Sitzungen aufgesplittet und in Teilsets gekostet werden. Dies erfolgt dann nach einer sequential agglomerative free sorting method (Ong et al. 2024). Diese Form des SORTINGS ist jedoch komplexer und noch wenig verbreitet.
Wird SORTING nur im Aussehen oder im Geruch durchgeführt, ist die potenzielle Probenzahl höher, als wenn die Proben auch gekostet und damit im Aroma, Geschmack und Textur bewertet werden. Derndorfer und Baierl (2007) gaben in einem Projekt untrainierten Testpersonen 30 gemahlene Gewürzproben, die ausschließlich im Geruch sortiert wurden. Mielby et al. (2014) führten SORTING mit 32 Bildern von Obst und Gemüse durch.
Als Qualitätscheck der Ergebnisse können vereinzelt blinde Doppelproben eingebaut werden. Dies macht jedoch nur Sinn, wenn die gesamte Probenanzahl überschaubar ist. Garrido-Bañuelos et al. (2023) reichten Testpersonen zum Beispiel 11 Biere, darunter zwei Duplikate. Und Marque et al. (2022) gaben den Testern 9 Schoko-Proteinriegel, darunter eine Doppelprobe.
Die Proben werden immer gleichzeitig, in randomisierter Reihenfolge und mit dreistelligen Codes versehen (blind) gereicht. Die Probenvorbereitung erfolgt damit, wie bei allen sensorischen Prüfungen, entsprechend fachkundig.
Prüfpersonen
Die Prüfer können trainiert oder untrainiert sein. Trainierte Personen haben hinsichtlich Ähnlichkeitsmessung per se keinen Vorteil – denn jeder Mensch ist in der Lage, Ähnlichkeiten zu erfassen. Trainierte Prüfer können erfahrungsgemäß jedoch etwas mehr Proben innerhalb einer Sitzung verkosten. Dies liegt auch daran, dass sie meist weniger rückkosten und ein trainiertes sensorisches Gedächtnis besitzen, d.h. sie merken sich leichter, was sie gerochen und geschmeckt haben und können dies auch verbal beschreiben.
Courcoux et al. (2015) empfehlen mindestens zehn trainierte Tester bzw. 30 untrainierte Personen. Garrido-Bañuelos et al. (2023) setzten 12 trainierte Testpersonen für Bier ein. Ong et al. (2024) ließen 69 untrainierte Testpersonen 24 pflanzliche Milchalternativen in Gruppen sortieren und weitere ungeschulte 31 Testpersonen sortierten eine Mischung aus 30 Proben, davon 6 Milchproben und 24 Pflanzendrinks. Marque et al. (2022) ließen 17 trainierte Panellisten und 17 untrainierte Prüfpersonen jeweils 9 Schoko-Eiweiß-Riegel in Gruppen sortieren. Beide Gruppen sortierten die Proben ähnlich. Ein Unterschied lag lediglich in der Anzahl der zusätzlichen sensorischen Beschreibungen, wobei festgestellt wurde, dass trainierte Panellisten durchschnittlich 12,5 Begriffe und untrainierte Testpersonen 8,5 Deskriptoren zur Charakterisierung der Gruppen verwendeten. Wichtige Begriffe wurden von beiden Prüfergruppen ähnlich verwendet.
Durchführung
Die Prüfpersonen machen sich mit allen Proben vertraut und sortieren diese anschließend in Gruppen entsprechend ihrer Ähnlichkeit. Im Kontext aller vorliegenden Proben werden ähnlichere Proben in eine Gruppe sortiert und stärker unterschiedlichere Proben in unterschiedliche Gruppen. Das bedeutet, dass das Endergebnis – der Plot – immer relativer Natur ist. Die im jeweiligen Probenset am stärksten unterschiedlichen Prüfproben liegen auf dem Plot am weitesten entfernt, unabhängig davon, ob der absolute Unterschied klein oder groß ist (vgl. Abbildung 2).
Den Prüfpersonen wird selbst überlassen, wie viele Gruppen sie bilden – unter der Voraussetzung, dass mindestens zwei Gruppen gebildet werden (d.h. nicht alle Prüfproben eine gemeinsame Gruppe sind), und dass jede Gruppe aus mindestens zwei Proben besteht (für die Auswertung benötigt jede Probe mindestens einen „Nachbarn“, das heißt, eine nächst ähnliche Probe). Manche Autoren erlauben auch das Sortieren von einzelnen Prüfproben in Einzelgruppen (Hamilton und Lahne, 2020). – Solange nicht alle Prüfpersonen die gleiche Probe als Einzelprobe angeben, ist das unproblematisch. Wird allerdings eine Probe von allen Testpersonen als Einzelgruppe betrachtet, ist sie in der Auswertung nicht abbildbar.
Die Erweiterung von FREE SORTING, die Gruppen auch hinsichtlich ihrer sensorischen Eigenschaften zu beschreiben, wird häufig gemacht. Meist wird der Verbalisierungsprozess dabei vom nonverbalen Sortierungsprozess getrennt, d.h. die Testpersonen bilden zuerst Gruppen und beschreiben diese im Anschluss. Hamilton und Lahne (2020) fanden keinen signifikanten Unterschied in der Produktkonfiguration, wenn die Verbalisierung während oder im Anschluss an die Sortierung erfolgt. Sie empfehlen die simultane Kategorisierung und Beschreibung – da die meisten Testpersonen dies ohnehin tun, und weil das Beschreiben beim Kategorisieren der Proben unterstützen kann.
Statistische Auswertung
Falls die Datenerfassung auf Papier erfolgt, müssen die Ergebnisse der Einzelverkoster zuerst in eine EXCEL-Tabelle (vgl. Tabelle 1) übertragen werden. Dabei ist es egal, welche Gruppe als Gruppe 1, Gruppe 2 etc. definiert wird. Im Zuge der Auswertung wird lediglich erfasst, wie oft jedes Probenpaar – etwa 387 und 546 – in dieselbe Gruppe sortiert wurde (in diesem Fall von den Personen 1, 3, 4 und 5). In Tabelle 1 haben Person 1 und Person 5 die sechs Proben in drei Gruppen sortiert, die anderen Prüfpersonen haben zwei Gruppen gebildet.
Probe | Person 1 | Person 2 | Person 3 | Person 4 | Person 5 | Person 6 | Person …. |
387 | 1 | 1 | 1 | 1 | 1 | 1 |
|
546 | 1 | 2 | 1 | 1 | 1 | 2 |
|
107 | 2 | 1 | 1 | 2 | 2 | 2 |
|
932 | 2 | 2 | 2 | 2 | 2 | 1 |
|
244 | 3 | 2 | 2 | 2 | 3 | 2 |
|
818 | 3 | 2 | 2 | 1 | 3 | 2 |
|
Tabelle 1: Sorting Rohdaten (Auszug)
Die anschließende statistische Auswertung mittels Multidimensionaler Skalierung (MDS) kann mit jedem gängigen Statistikprogramm durchgeführt werden. Ziel dieser multivariaten Auswertung ist, die relative Ähnlichkeit aller Prüfproben zueinander in einer Übersicht zu visualisieren.
Dafür wird aus den Rohdaten eine Ähnlichkeitsmatrix berechnet. Sie bildet ab, wie oft jedes Probenpaar in die gleiche Gruppe sortiert wurde. Je mehr Testpersonen zwei Proben in die gleiche Gruppe sortieren, desto ähnlicher sind sie im Kontext dieser sensorischen Prüfung. Die Ähnlichkeitsmatrix wird in eine Distanzmatrix konvertiert. Nun kann eine räumliche Abbildung aller Proben (in 2 oder 3 Dimensionen) entsprechend ihrer Ähnlichkeiten erstellt werden. Ob zwei Dimensionen ausreichen oder eine dritte Dimension geplottet werden muss, hängt davon ab, wie hoch der Informationsverlust bei der Darstellung in zwei Dimensionen ist. Das entsprechende Maß dafür ist der Stress-Wert:
- Stress-Wert <10%: die von den Testpersonen bewerteten Ähnlichkeiten werden sehr gut in der jeweiligen (2D- oder 3D-) Darstellung reproduziert.
- Stress-Wert 10-20%: einigermaßen gute Darstellung
- Stress-Wert >20%: die Anzahl der gewählten Dimensionen (2D, 3D) ist unzureichend, um die Ähnlichkeiten sinnvoll zu visualisieren
Es gibt nicht nur ein Verfahren der Multidimensionalen Skalierung, sondern man unterscheidet zwischen metrischen und nichtmetrischen Verfahren. Erstere versuchen die tatsächlichen Distanzen zwischen den Proben zu reproduzieren, während zweitere – nichtmetrische – Methoden die Rangordnung der Distanzen berücksichtigen. In der Lebensmittelsensorik werden üblicherweise nichtmetrische Verfahren angewendet (Derndorfer 2016). Die Ergebnisse in Form des Plots (vgl. Abbildung 4) liegen rasch vor. Die Interpretation der Ergebnisse ist aber nicht immer einfach, denn sie unterliegt einer gewissen Subjektivität durch den Prüfleiter, wenn keine zusätzlichen Gründe bzw. sensorischen Beschreibungen der Gruppen von den Prüfpersonen verlangt wurde.
Abbildung 4 zeigt einen MDS Plot von ätherischen Zitrusölen, die auf Riechstreifen präsentiert und von 15 untrainierten Prüfpersonen lediglich im Geruch sortiert wurden. Zwei Dimensionen sind in diesem Fall ausreichend (Stress-Wert <10%).
Anwendungsbereiche für FREE SORTING
Mit Hilfe der Methode erhält man einen Überblick, wo die eigenen Produkte im Vergleich zu Mitbewerberprodukten stehen. So kann sich etwa ein Hersteller von Pflanzendrinks einfach und schnell einen sensorischen Überblick über die im Handel erhältlichen Sojadrinks, Haferdrinks oder Mandeldrinks machen.
In der Produktentwicklung kann mittels FREE SORTING rasch festgestellt werden, welche von einer Serie an Produktprototypen eher ähnlich sind und welche sich stärker unterscheiden.
Die Methode kann auch in der Landwirtschaft eingesetzt werden, etwa um die sensorische Ähnlichkeit von Tomatensorten zu visualisieren.
Letztlich kann man die Wahrnehmung von Marken oder Gütesiegeln untersuchen und diese einem Sortierungsprozess durch Konsument:innen unterziehen.
Varianten von SORTING
FREE MULTIPLE SORTING
Bei dieser Variante wird mehrfach sortiert. Die Testpersonen sortieren die Proben nach eigenen und nur ihnen selbst bekannten Kriterien in Gruppen. Dann werden alle Proben wieder gemischt und erneut – nach anderen Kriterien – sortiert. Das Ganze wird so oft wiederholt, bis die Prüfperson keine Gründe mehr findet (Dehlholm et al. 2012).
Quelle: Eigene Darstellung
Q-SORTING
Diese Variante des SORTINGS ist eine Abwandlung des in der Psychologie eingesetzten Q-SORT-Verfahrens. Es handelt sich dabei um eine Methode zur Erfassung von Meinungen, Einstellungen und subjektiven Werten (Stangl, 2023).
Im Gegensatz zum unstrukturierten FREE SORTING ist Q-SORTING ein strukturierter SORTING Prozess. Die Kriterien für die Sortierung werden vorgegeben und die Testpersonen ordnen die Prüfproben den passenden Kategorien zu (vgl. Abbildungen 5 und 6). Diese Kategorien können sensorisch (z. B. scharf / mild), gesundheitsorientiert o. a. sein.
Üblich sind zwei Kategorien: „repräsentiert das Konzept“ (z. B.: innovativ), „repräsentiert es nicht“ (z. B. nicht innovativ), doch können auch mehrere Kategorien vorgegeben werden. Riquelme et al. (2022) ließen 87 ältere, zuhause lebende Menschen 12 Dessertfotos in vier vordefinierte Gruppen sortieren (gesund & mag ich / gesund & mag ich nicht / ungesund & mag ich / ungesund & mag ich nicht). Das Verständnis für Vorlieben kann damit in der sensorischen Marktforschung vertieft werden.
Die statistische Datenauswertung erfolgt mittels Multipler Faktoranalyse (MFA) oder Multipler Korrespondenzanalyse (MCA). Die Datenmatrix besteht aus den Produkten (Reihen) und Personen (Spalten), die Gruppen werden eingetragen.
Fazit
FREE SORTING und die beschriebenen Varianten davon eignen sich wunderbar, um einen raschen Überblick über einer größeren Probenzahl zu gewinnen. Man erfährt, welche Proben innerhalb des geprüften Sets eher ähnlich und welche stärker unterschiedlich sind. In vielen Fällen genügt dieser Informationsgehalt, sodass SORTING manchmal anstelle deskriptiver Prüfungen eingesetzt werden kann. Die Methode generiert jedoch keine umfassenden Produktbeschreibungen.
Derndorfer und Buchinger (2020) fassen die Vor- und Nachteile von SORTING wie folgt zusammen:
Vorteile: einfach, intuitiv durchführbar, auch für eine höhere Produktanzahl geeignete Methode, die Sortierung von Bildern/Marken/Verpackungen ist möglich, simple Datenerfassung.
Nachteile: Statistikprogramm ist für die Auswertung nötig, etwas subjektive Interpretation des MDS Plots.
Literatur
Courcoux, P., Faye, P., & Qannari, E. M. (2015). Free sorting as a sensory profiling technique for product development.
IN: Rapid sensory profiling techniques (pp. 153-185). Woodhead Publishing.
Dehlholm, C., Brockhoff, P.B., Meinert, L., Aaslyng, M.D., & Bredie, W.L.P. (2012). Rapid descriptive sensory methods – Comparison of Free Multiple Sorting, Partial Napping, Napping, Flash Profiling and conventional profiling.
Food Quality and Preference, 26, 267–277.
Derndorfer, E. (2016). Lebensmittelsensorik. Facultas Verlag, 5. Auflage.
Derndorfer, E., & Baierl, A. (2007). Development of an aroma map of spices by multidimensional scaling.
Journal of herbs, spices & medicinal plants, 12(4), 39-50.
Derndorfer, E., & Buchinger, E. (2020). Schnellmethoden der Lebensmittelsensorik. Springer Spektrum.
Derndorfer, E. (2020). DLG-Expertenwissen 6/2020 „Die sensorische Schnellmethode CATA (Check all that apply)“
https://www.dlg.org/de/lebensmittel/themen/publikationen/expertenwissen-sensorik/die-sensorische-schnellmethode-cata-check-all-that-apply
Garrido‐Bañuelos, G., & Buica, A. (2023). Sensory discrimination of single hop beers by using sorting combined with
profiling and intensity rating. Journal of Sensory Studies, 38(4), e12835.
Hamilton, L. M., & Lahne, J. (2020). Assessment of instructions on panelist cognitive framework and free sorting task results: A case study of cold brew coffee. Food Quality and Preference, 83, 103889.
Marque, C., Motta, C., & Richard, T. J. (2022). Free sorting task of chocolate proteins bars: Pilot study and comparison between trained and untrained panelists. Journal of Sensory Studies, 37(3), e12744.
Mielby, L. H., Hopfer, H., Jensen, S., Thybo, A. K., & Heymann, H. (2014). Comparison of descriptive analysis, projective mapping and sorting performed on pictures of fruit and vegetable mixes. Food quality and preference, 35, 86-94.
Ong, J. J. X., & Delarue, J. (2024). Do humans categorize hierarchically? The case of sugar perception in milk and
milk alternatives. Food Quality and Preference, 113, 105069.
Riquelme, N., Robert, P., & Arancibia, C. (2022). Understanding older people perceptions about desserts using
word association and sorting task methodologies. Food Quality and Preference, 96, 104423.
Seuß-Baum, I., Schneider, D., Schneider-Häder, B., Hübner, R. & Oppenhäuser, G. (2022) DLG- Trendmonitor Lebensmittelsensorik 2022 https://www.dlg.org/fileadmin/downloads/lebensmittel/themen/publikationen/trendmonitor/Trendmonitor_Sensorik_2022.pdf
Stangl, W. (2023). Q-Sort-Verfahren – Online Lexikon für Psychologie & Pädagogik.
https://lexikon.stangl.eu/7514/q-sort-verfahren .