Improved Sanskrit Morpheme Tokenizer
This version handles compound segmentation and reduces over-segmentation errors.
Input Sanskrit Text
कनकलसत्कलसिन्धुजलैरनुषिञ्चति तेगुणरङ्गभुवम् भजति स किं न शचीकुचकुम्भतटीपरिरम्भसुखानुभवम् । तव चरणं शरणं करवाणि नतामरवाणि निवासि शिवम् जय जय हे महिषासुरमर्दिनि रम्यकपर्दिनि शैलसुते ॥ १९ ॥
Tokenize
Debug Tokenization
Tokens
Token IDs
Decoded Text