Embedding Hook에 대해 알아보자 (+PointLLM을 사용해보며)
우선 embedding hook에 대해 설명하기 위해선 huggingface transformers framework를 알아야 한다. HuggingFace Transformers: LLM,Vision 모델, Audio 모델을 일관된 인터페이스로 로딩,학습,추론하게 해주는 프레임 워크 ex)[추론(generate) 관리]: beam search, sampling, decoding, attention mask 생성, past_key_values 관리, stopping criteria[tokenizer 관리]: 텍스트를 토큰 ID로 변환, special tokens 등록, padding,truncation 제어[모델 구조 통일]: LLaMA, GPT, OPT, T5 등 서로 다른 모델을 같은 API로 호출[f..
