Try Thai LLM first time

Today I found that SCB10X has published LLM. Let me try that.

You need to use numpy<2 Otherwise, it will give you warning.

torch
transformers
numpy<2

#
# This file is autogenerated by pip-compile with Python 3.12
# by the following command:
#
#    pip-compile --output-file=requirements.txt requirements.in
#
certifi==2024.6.2
    # via requests
charset-normalizer==3.3.2
    # via requests
filelock==3.15.1
    # via
    #   huggingface-hub
    #   torch
    #   transformers
fsspec==2024.6.0
    # via
    #   huggingface-hub
    #   torch
huggingface-hub==0.23.4
    # via
    #   tokenizers
    #   transformers
idna==3.7
    # via requests
jinja2==3.1.4
    # via torch
markupsafe==2.1.5
    # via jinja2
mpmath==1.3.0
    # via sympy
networkx==3.3
    # via torch
numpy==1.26.4
    # via
    #   -r requirements.in
    #   transformers
packaging==24.1
    # via
    #   huggingface-hub
    #   transformers
pyyaml==6.0.1
    # via
    #   huggingface-hub
    #   transformers
regex==2024.5.15
    # via transformers
requests==2.32.3
    # via
    #   huggingface-hub
    #   transformers
safetensors==0.4.3
    # via transformers
sympy==1.12.1
    # via torch
tokenizers==0.19.1
    # via transformers
torch==2.2.2
    # via -r requirements.in
tqdm==4.66.4
    # via
    #   huggingface-hub
    #   transformers
transformers==4.41.2
    # via -r requirements.in
typing-extensions==4.12.2
    # via
    #   huggingface-hub
    #   torch
urllib3==2.2.2
    # via requests

Above is my final version of requirements.txt

I issues the command let it write Thai song regarding love.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = torch.device("mps") if torch.backends.mps.is_available() else torch.device("cpu")
# Step 2: Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("scb10x/typhoon-7b")
model = AutoModelForCausalLM.from_pretrained("scb10x/typhoon-7b")

# Move model to the appropriate device
model.to(device)

# Step 3: Generate text
input_prompt = "แต่งเพลงความรักด้วยภาษาวัยรุ่น"
inputs = tokenizer(input_prompt, return_tensors="pt").to(device)
outputs = model.generate(
    inputs.input_ids,
    attention_mask=inputs['attention_mask'],
    max_length=500,
    num_return_sequences=1
)
generated_text = tokenizer.decode(outputs[0].cpu(), skip_special_tokens=True)

# Print the generated text
print(generated_text)

After 10 minutes of mps time.

แต่งเพลงความรักด้วยภาษาวัยรุ่น
เพลงัย
นักเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาว
เพลงือเพลงาวเพลงาวเพลงาวเพลงเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลง 2เพลงาวเพลงาวเพลงาวเพลงเพลงเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงเพลงเพลงรักเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงวัยเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงเพลง เพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงเพลงเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงัยเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาวเพลงาว

Not impressive at all.

Right then, try again in English.

input_prompt = "Give me song lyrics about love."

Lyr’ or a and I. or the and I. or a and I. or. or the and I. or a and I. or a and I. or the and I. or the and I. or the and I give a and I # and I. or the and I. or a and I. or the # and I. or the. or a and # and I. or I. or a and I. or a and I. or love. or a and I. or the and I. or the and I. or love and I. or a and I. or the. # # and
or and or and love or I’ I and and Count’ or a. or the and # and I. or a and I. and I. or the and I. or or the or and or or and I love and ↘songs and I or or. or the and # and I. or the and I. or the and I. or the and I. or the. or a. or a and I. or the and # and # and I

# and I. or a and I. # # or a. or love. # and I. # and I. or a and # and I..

Okay. I have no idea how to use this model 😞.