Mã hóa lời bài hát trong quá trình đào tạo mô hình AI để tạo thơ bằng kỹ thuật TensorFlow và NLP phục vụ một số mục đích quan trọng. Tokenization là một bước cơ bản trong xử lý ngôn ngữ tự nhiên (NLP) liên quan đến việc chia nhỏ văn bản thành các đơn vị nhỏ hơn được gọi là token. Trong ngữ cảnh của lời bài hát, mã thông báo liên quan đến việc tách lời bài hát