안녕Ȣ16;세요
아래 내용 해결1012; 위해서, 비용1012; 1648;불Ȣ16;/140;고 합니다.
문1228; 해결1060; 가능한 ǥ16;1008;  연락 1452;시기 0148;랍니다.
01*-****-****
대략1201;1064; 내용1012; 설명 드리1088;면,
HPE  DL380aG11  (2U1109;비1076;에도 GPU 4EA 까1648; 1109;착 가능) H100 80GB   2EA를 1109;착 Ȣ16;였습니다.
한개 씩 돌리면 성능1060; 1096;  나오고 1080;1004;나 .160; 개를 ᇼ1;시에 돌리면 처리 속도가 매우 lj12;립니다.
고ᄶ1;1060; Ȣ16;드웨Ǻ12;를 1032;심해서  DL380aG11  1060;외에  다른   DL380G11 ,   ASUS  4세대  CPU 서버에서 테스트를 Ȣ16;였1004;나, 결과lj16;  모.160; ᇼ1;1068; 합니다.
GPU 1109;애lj16; 아닙니다.  1200;7148;가  GPU 서버를 많1060; 납품 Ȣ16;였습니다. 보통 GPU를 사용 Ȣ16;lj16; 고ᄶ1;측에서  소프트웨Ǻ12;에서 수1221; 해1452;Ǻ12;서 문1228;를 해결 Ȣ16;lj16;데...
1068;단  브ና1;1648;/196; 연결해서 테스트 해보/140;lj16;데, 결과lj16; 1339;1648; 않1012;,144; 같습니다.
그ᇼ1;안   테스트 내용  아래 1221;리해서 알/140; 드리니,  해결1060; 가능할,144; 같1008;신ǥ16;1008;  연락 1452;시기 0148;랍니다.
- 1.    OS : Ubuntu 22.04.2
- 2.    CUDA Version : 12. 2
- 3.    H100 Drive Version : 535.129.03
- 4.    사용1473;1064; 프/196;그ǖ16; : Python 3.11.X
- 5.   처리 속도 H100 80G * 2EA
- Llama-3-8B처리시간 : 2.4
-  
- H100 80G * 1EA
- Llama-3-8B 처리 시간 : 0.5초
-  
- 비교군 GPU A100 80G
- A100 80G * 2EA
- Llama-3-70B 처리 시간 : 2.7초
-  
- A100 80G * 1EA
- Llama-3-8B 처리 시간 : 1.2초
-  
- 한 개를 돌/160;1012;ǐ12;lj16; H100 GPU가 A100 GPU 보다 20176;가 빠른데
- 21109;1012; 같1060; 돌/160;1012; ǐ12;lj16; A100 GPUlj16; 2.7초 1060;고 H100 GPUlj16; 2.4초가 나오고 1080;습니다.
-  
테스트 한 코드lj16; 아래와 같습니다.
 
from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer, TextStreamer
import torch
from threading import Thread
import gradio as gr
import time
#import accelerate_speedup
 
torch.manual_seed(42)
 
model_id = "meta-llama/Meta-Llama-3-70B-Instruct"
#model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
 
tokenizer = AutoTokenizer.from_pretrained(model_id)
#max_memory_mapping = {0: "80GB", 1: "80GB"}
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    #device_map="balanced_low_0",
    trust_remote_code=True,
    attn_implementation="flash_attention_2",
    low_cpu_mem_usage=True
    #max_memory=max_memory_mapping
).eval()
 
terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
 
 
### base inference
def chat(question):
    messages = [
        #{"role": "system", "content": "You are AI chatbot. You are honest, do not harm others, and help users."},
        {"role": "system", "content": "Please try to provide useful, helpful answers."},
        {"role": "user", "content": question},
    ]
   
    input_ids = tokenizer.apply_chat_template(
        messages,
        add_generation_prompt=True,
        return_tensors="pt"
    ).to(model.device, non_blocking=True)
   
    outputs = model.generate(
        input_ids,
        max_new_tokens=1024,
        eos_token_id=terminators,
        do_sample=True,
        temperature=0.05,
        top_p=0.95,
    )
    response = outputs[0][input_ids.shape[-1]:]
    #print(tokenizer.decode(response, skip_special_tokens=True))
    return tokenizer.decode(response, skip_special_tokens=True)
 
 
response_times = []
for _ in range(100):
    start_time = time.time()
    #tmp = chat('hello.')
    tmp = chat('hello!')
    #tmp = chat('Testing. Please answer in 10,000 characters.')
    end_time = time.time()
    print((end_time - start_time))
    response_times.append(end_time - start_time)
 
print(f"Average Response Time: {sum(response_times) / len(response_times):.2f} seconds")
 
각각 CPU가 배정된 익스프레스 슬롯에 장착한건지가 관건일거 같아요.
제 경험에 몇몇 파라미터 설정을 변경하는 것을 주석처리 여부로만 할 경우 실수하는 경우가 많았습니다.
for 문으로 돌리면 이전 변수값이 남아 있어 오류가 나는 경우도 많구요.
위의 코드도 보면 device_map과 max_memory 부분이 주석 처리를 변경하면서 테스트하는 것으로 보입니다.
다양한 조건에서 초단위로 성능을 평가해야 하는 상황이라면, 해당 설정 부분만 정확하게 수정한 파일 4개를 만들어서 확인해 보는 것이 좋을 것 같습니다.
대부분 결과가 3초 이내에 나오면 nvidia-smi 등으로 GPU 상태를 볼 때에 시간이 너무 짧기 때문에 더 긴 시간 동안 테스트 할 수 있도록 하는 것이 좋을 것 같습니다.