AI3 AI Advanced - 3일차 ## 2일차 ReviewFine tuning 을 스스로 셋업하려면 어려운 부분이 많다다만, 도메인에 따라 다르지만 성능 개선이 상당히 임팩트가 있을 수 있다 Prompt vs Fine tuining?? -> 후자가 나은건 확실하다OpenAI 의 도움을 받아서 Fine Tuning 이 가능할까?api 내에 fine_tuning api 가 있음 !!!최소 10개 이상에 example 을 제공하자보안이 가능할지는 잘 모르겠고, Cost 를 확인할 필요가 있을 것 같다검증은 many few shot 혹은 In Context prompt 를 이용해서 비교해보자## Function Call언제 쓸 수 있을까?LLM 이 잘 배윚 못하는 것 : 계산, 코딩LLM 이 하게 될 수도 있지만 모델이 너무 커지는 것 방지 (.. 2024. 6. 20. Advanced AI - 2일차 ## Sorting 방식 회고Graph Rag 를 이용한 Sorting 방식에 대한 논문이 존재한다모든 것을 이해할 필요는 없지만 호기심이 있다면 한 번 분석해보는 것도 좋을 것 같다 ## LLM 공부하는 방법정성적으로 Transformer 구조에 대해서 이해하고 있다면 아래와 같이 생각해볼 수 있다Prompt 선정이나 모델을 선택하는 방식에 도움이 된다Auto Regressive 한 Transformer 구조 특성 덕분에 RAG 가 도움이 될 것이라는 것이 도움이 될 것이다즉, 구조를 알면 어느정도 예측을 해볼 수 있다는 것을 알고 LLM 을 공부하자On-Device 에 대해서 관심이 있다면 링크 를 참고하자5KB 의 모델 사이즈 (10x smaller)8-bit hardware specOnly 1 i.. 2024. 6. 19. Advance AI - 1일차 # 과정 일정 - Transformer- Gen AI / LLM- 모델 평가 - metric/ leaderboard - LLMOps stack(개발 방향성) - On Device AI - Quantization - sLLM(phi-w, Gemini Nano)- Prompt Engineering 심화 - 타 서비스 프롬프트 분석 - 프롬프트 비용 / 압축 - RAG 심화 - Indexing - Retrieval - Generation - Query translations - Routing- Query structuring- Multi representation - Find Tuning- 경량 모델 파인 튜닝- 평가 (Rouge, BLEU) - LLM Pipeline- Parallel M.. 2024. 6. 18. 이전 1 다음 반응형
