Clustering products by their descriptions

ArmMiner

Hi all

I have a list of products (around 2000) in an excel sheet. I want to cluster those products by their descriptions for the beginning. I
The descriptions of some products are very similar, for some poducts they are the same. So, I just want to group the products.
Can anyone suggest a solution with rapidMiner?
Here is a part of the description column:

Schöne, kurz und eng geschnitten Jacke der Marke Tom Tailor. Viele Details, wie die Knöpfe mit Tom Tailor Logo oder die Reißverschlüsse an beiden Ärmelenden. Durchgängiger Reißverschluss, Stehkragen mit Lederriemen und Druckknopf. Seitlich 2 Taschen mit Druckknöpfen, so wie Brusttaschen mit Druckknöpfen. Schöne, kurz und eng geschnitten Jacke der Marke Tom Tailor. Viele Details, wie die Knöpfe mit Tom Tailor Logo oder die Reißverschlüsse an beiden Ärmelenden. Durchgängiger Reißverschluss, Stehkragen mit Lederriemen und Druckknopf. Seitlich 2 Taschen mit Druckknöpfen, so wie Brusttaschen mit Druckknöpfen. Schöne und schlichte Herrenlederjacke der Marke JCC. Sie verfügt über einen durchgängigen Reißverschluss, sowie über einen Stehkragen. Zwei aufgesetzte Brusttaschen plus zwei seitliche Einschubtaschen. Ein Begleiter für jeden Tag. Handschuhweicher Damenledermantel. In  leicht taillierter Form. Mit Reverskragen, 3 Knöpfen, 2 Pattentaschen vorne. Schöner Damenlederkurzmantel in Velour mit großer Knopfleiste und Gürtel. Rundkragen. Mit zwei seitlichen Eingrifftaschen. (Achtung: bitte eine Nummer größer bestellen!) Warme und trendige Damenlederjacke mit Lammfellbesatz an Ärmelenden, Bund und am Kragen. Genau richtig für die kalte Jahreszeit. Der durchgängige Reißverschluss ist schräg eingearbeitet. Das verleiht der Jacke ihre trendige Art. Seitlich sind 2 Einschubtaschen mit Reißverschluss angebracht. Am Bund kann man mit einem Lederriemen die Jacke beidseitig enger schnallen. Figurbetont. In das Innenfutter ist eine Tasche eingearbeitet. Schöne Herrenlederjacke von JCC. Jacke ist an allen Kanten mit großen Steppnähten versethen, das verlieht der Jacke ein interessantes Äußeres. Sie wirkt flott, aber auch sportlich und elegant. Auf der Rückseite ist eine Applikation angebracht, die auch mit diesen großen Nähten versehen ist, angebracht. Der jacke sind 2 Taschen mit Patten aufgesetzt. In das Innenfutter sind 2 weitere Taschen eingearbeitet. Eine davon mit Reißverschluss. Baumwollejacke im Parka-Look. Typische und stylische Schulterklappen sind angebracht. Durchgängiger Reißverschluss mit Knopfleiste. Vorne 2 Brusttaschen aufgesetzt. Verschließbar mit Druckknöpfen. Sowie 2 seitliche Taschen. Sehr angenehm und leicht zu tragen. Trendige Lederjacke für Herren in einem klassischen Bikerlook in schwarz. Zwei Einschubtaschen, sowie ein Stehkragen runden den Look ab. Trendige Lederjacke für Herren in einem klassischen Bikerlook in schwarz. Zwei Einschubtaschen, sowie ein Stehkragen runden den Look ab. Kurzes Tunika-Lederkleid aus geschmeidigem Lammnappa mit offenem Rundkragen und Seitenschlitz an den Taillen. Traditioneller Trachtenjanker aus Velourleder und Fleece mit Knopfverschluss. Die Knöpfe sind mit schönem Edelweißmuster verziert. 2 Seitentaschen mit Patten sind in den Janker eingearbeitet. Zusätzlich sind 3 praktische Innentaschen in das geschmeidige Futter eingenäht. Der Kragen und Schulterbereich sind aus Velourleder. Traditioneller Trachtenjanker aus Velourleder und Fleece mit Knopfverschluss. Die Knöpfe sind mit schönem Edelweißmuster verziert. 2 Seitentaschen mit Patten sind in den Janker eingearbeitet. Zusätzlich sind 3 praktische Innentaschen in das geschmeidige Futter eingenäht. Der Kragen und Schulterbereich sind aus Velourleder. Super und warme Zipperjacke der Modemarke Jetlag. Sehr angenehm zu tragen. Mit Applikation auf der Brust. Reißverschluss und seitlich 2 Einschubtaschen. wattierter Herrenlederkurzmantel mit Webpelzkragen für die kalte Jahreszeit, klassisch und zeitlos Lässige Chino Hose "Melina". Die Baumwolle Elasthan Kombination ermöglicht den perfekten Sitz dieser Hose. Coole und lässige Chino Optik. Lässige Chino Hose "Lena". Die Baumwolle Elasthan Kombination ermöglicht den perfekten Sitz dieser Hose. Coole und lässige Chino Optik. Kurzbllazer für Damen, hüftlang aus seidenweichem Lammnappaleder. Attraktive, leicht taillierte Form mit schönen Steppnähten, wertvollen Metallknöpfen und gemusterten Satininnenfutter mit 1 Reißverschlussinnentasche. (ACHTUNG: Bitte eine Nummer größer bestellen) stylische Herrenlederjacke im rockigen Design, die zu allen Stylerichtungen kombinierbar ist. Der Stehkragen und die Schulterklappen sorgen für den typischen Bikerlook. Jugendliche Damenlederjacke von JCC im Bikerstyle. Rundkragen mit 2 Knöpfen. Die Jacke hat einen durchgehenden Reißverschluss, sowie 2 seitliche Eingrifftaschen mit einem Reißverschluss. Auch an den Ärmelenden befindet sich jeweils ein Reißverschluss Stylische Winterjacke im klassischen Design der Marke Jet Lag. Mit durchgehendem Reißverschluss mit darüber liegender Knopfleiste. Zwei Seitentaschen jeweils links und rechts, eine Brusttasche mit Reißverschluss und eine Innentasche. Schöner Damenlederkurzmantel in Velour mit großer Knopfleiste und Gürtel. Rundkragen. Mit zwei seitlichen Eingrifftaschen. (Achtung: bitte eine Nummer größer bestellen!) Winterwarme, wertvolle Lammnappa Jacke für Männer in braun. Mit abknöpfbarem Echtfellkragen sowie heraustrennbarer Fleeceweste. Knopfleiste und Frontzipper, sowie 2 Schubtaschen vorne. 3 Innentaschen, davon 1 mit Zipper und 1 Handytasche. sehr stylisches Longsleeve mit Polokragen von der Trend- Marke "Geographical Norway". Mit angesaten Applikationen und Printdrucken! In sechs angesagten Trendfarben erhältlich. Ein absolutes Must-Have! Die wunderschöne Damenlederjacke ist ein absolutes Must-Have-Teil in rockigem schwarz. Herrenlederjacke in Blazeroptik in klassischem Schwarz oder trendigem Dunkelbraun. Eine zeitlose elgant Jacke, die sich zu allem kombinieren lässt. Herrenlederjacke in Blazeroptik in klassischem Schwarz oder trendigem Dunkelbraun. Eine zeitlose elgant Jacke, die sich zu allem kombinieren lässt. sehr stylisches Longsleeve mit Polokragen von der Trend- Marke "Geographical Norway". Mit angesaten Applikationen und Printdrucken! In sechs angesagten Trendfarben erhältlich. Ein absolutes Must-Have! Hochwertige Damenjacke mit abknöpfbaren echt Fellkragen und Fellverbrämung an den Armsäumen. Die Jacke ist ein absoluter Eyecatcher mit vielen aufwendigen Details, wie aufgesetzten Taschen und elegantem Innenfutter. Ein absolutes Highlight ist diese Kurzjacke der Marke JCC im rockigen Bikerstyle.Glamouröse und und gleichzeitig cool und sexy. Ein absoluter Klassiker, Herrenlederjacke in dunkel braun mit hohem verschließbaren Stehkragen und weitern raffinierten Details. Der traumhaft schöne Damenkurzmantel aus echtem Leder sticht durch seine Trenchcoatoptik ins Auge! Sehr feminin.Ein absolutes Must-Have-Teil das in jeden Kleiderschrank gehört! Stylische Herrenlederjacke im angesagten Bikerlook. Was Betty hier zeigt, ist schlichte Eleganz mit dem gewissen Extra an Details. Während Knöpfe in dunkler Grazie schimmern und die Nähte gerahmt sind von einer unaufdringlichen Wollbestickung, hält sich die Black Blue Used-Waschung würdevoll zurück. Wie kann man dieser Lady etwas abschlagen?

Best regards
Armen

ArmMiner

Actually, the main problem is to define the number of clusters, because the task is to find the groups of similar products.
Any suggestion?

MariusHelf

I suppose you tokenized the texts with the text extension?

After applying k-Means you should use one of the various Performance operators for cluster evaluation and modify k until you get an optimized measure.

Generally speaking, for cluster analysis the parallels plot is a nice visualization (use the cluster attribute for the color).

Best regards,
Marius

ArmMiner

Hi Marius

Thanks for the reply!
Yes, I'm using Tokenizer. I think aslo whether is it enough for the text processing part or?

Best regards
Armen Ghukasyan

MariusHelf

This depends on your data. Usually you also want to apply stemming, and maybe n-grams. Did you check out our video tutorials on text mining on our website?

Best regards,
Marius

ArmMiner

I watched the VancouverDataBlog videos about text mining. I used Tokenizing, TransformCases in text processing part.
As a performance operator I chose ItemDistributionPerformance operator, which shows:

Example distribution: 0.967

when the measure is GiniCoefficient and k=10, max runs = 10

Is this right way to solve the problem?

Best regards
Armen

MariusHelf

Hi,

your process description sounds like you are on a good way.

Best regards,
Marius