모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

1. 실습 colab 링크 확인하는 법

2. 강의 슬라이드 다운로드

5. LLM 용어 정리 - 토큰화(Tokenization)

6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)

7. LLM 용어 정리 - 창발 능력(Emergent Abilities)

8. LLM 용어 정리 - 온도(Temperature)

10. Byte Pair Encoding (BPE) 알고리즘 개념 소개

11. Llama 2 모델 논문 리뷰 - Overview

12. Llama 2 모델 논문 리뷰 - Introduction

13. Llama 2 모델 논문 리뷰 - Pretraining

14. Llama 2 모델 논문 리뷰 - Fine-tuning

15. Llama 2 모델 논문 리뷰 - Safety

16. Llama 2 모델 논문 리뷰 - Discussion & Conclusion

17. Alpaca 모델 리뷰 - Llama 1을 Fine-Tuning한 경량 오픈소스 LLM 모델

18. Parameter-Efficient Fine-Tuning (PEFT) 개요

19. LoRA(Low-Rank Adaptation of Large Language Models) 기법 리뷰

20. PEFT 실습 1 - RoBERTa Token Classification 모델에 LoRA 적용하기 (BioNLP2004 데이터셋)

21. Prefix-Tuning(Prefix-Tuning: Optimizing Continuous Prompts for Generation) 기법 리뷰

22. PEFT 실습 2 - T5 Sentiment Classification 모델에 Prefix-Tuning 적용하기 (sentences_allagree 데이터셋)

23. P-Tuning(GPT Understands, Too) 기법 리뷰

24. PEFT 실습 3 - RoBERTa Semantic Similarity 모델에 P-Tuning 적용하기 (MRPC 데이터셋)

25. Prompt Tuning(The Power of Scale for Parameter-Efficient Prompt Tuning) 기법 리뷰

26. PEFT 실습 4 - BLOOMZ Casual Language Modeling 모델에 Prompt Tuning 적용하기 (twitter_complaints 데이터셋)

29. Llama 2 Fine-Tuning을 위한 형태로 KorQuad 데이터셋 정제하기

30. Llama 2 Fine-Tuning 예제 1 - Llama 2를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기

31. Llama 2 Fine-Tuning 예제 1 - KorQuad 데이터셋에 Fine-Tuning된 Llama 2 예측(Inference) 및 ChatGPT(GPT-4)와 성능 비교

32. GPT-1 (2018) 모델 논문 리뷰 - Overview

33. GPT-1 (2018) 모델 논문 리뷰 - Introduction

34. GPT-1 (2018) 모델 논문 리뷰 - GPT가 해결한 다양한 자연어처리 Task 정리

35. GPT-1 (2018) 모델 논문 리뷰 - Framework

36. GPT-1 (2018) 모델 논문 리뷰 - Task-specific input transformations

37. GPT-1 (2018) 모델 논문 리뷰 - Model specifications, Supervised fine-tuning

38. GPT-2 (2019) 모델 논문 리뷰 - Overview

39. GPT-2 (2019) 모델 논문 리뷰 - Introduction

40. GPT-2 (2019) 모델 논문 리뷰 - Approach

41. GPT-2 (2019) 모델 논문 리뷰 - Experiments

42. GPT-2 (2019) 모델 논문 리뷰 - Generalization vs Memorization

43. GPT-2 (2019) 모델 논문 리뷰 - Discussion & Conclusion

44. GPT-3 (2020) 모델 논문 리뷰 - Introduction

45. GPT-3 (2020) 모델 논문 리뷰 - Approach

46. GPT-3 (2020) 모델 논문 리뷰 - Results 1

48. GPT-3.5 Fine-Tuning을 위한 형태로 KorQuad 데이터셋 정제하기

49. GPT-3.5를 KorQuad 데이터셋에 Fine-Tuning & Fine-Tuning된 GPT-3.5 예측(Inference)

50. Chain-of-Thought Prompting(Chain-of-Thought Prompting Elicits Reasoning in Large Language Models) 기법 리뷰

51. 효율적인 프롬프트 작성을 위한 18가지 전략 (1/2)

52. 효율적인 프롬프트 작성을 위한 18가지 전략 (2/2)

53. Zero-shot-CoT(Large Language Models are Zero-Shot Reasoners) 기법 리뷰

54. Step-Back Prompting(Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models) 기법 리뷰

55. Claude 3.5 시스템 프롬프트 분석

56. Least-to-Most Prompting(Least-to-Most Prompting Enables Complex Reasoning in Large Language Models) 기법 리뷰

57. Self-Consistency(Self-Consistency Improves Chain of Thought Reasoning in Language Models) 기법 리뷰

58. 임베딩(Embedding)의 개념과 장점

59. OpenAI API에서 제공하는 임베딩 모델들

60. OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (1/4)

61. OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (2/4)

62. OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (3/4)

63. OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (4/4)

64. OpenAI API 임베딩 모델의 제한사항 및 잠재위험

65. OpenAI 텍스트 생성(Text generation) API 소개

66. OpenAI 텍스트 생성(Text generation) API 실습

67. Function calling 개념 소개

68. Function calling 실습

69. OpenAI Assistants API 기초 예제 살펴보기

70. OpenAI Assistants API로 ChatPDF 만들기

71. OpenAI Assistants API에서 지원하는 Tools - Code Interpreter, Knowledge Retrieval, Function calling

72. Llama 3 테스트해보기

73. Llama 3를 이용해서 논문 요약 하기(Text Summarizaiton)

74. Llama 3를 이용해서 영어-한국어 번역하기(Translation)

75. MRC(Machine Reading Comprehension) 데이터셋으로 Llama 3 한국어 성능 테스트하기

76. Llama 3를 이용해서 한국어 감정분석하기(Sentiment Analysis)

77. Llama 3 Fine-Tuning 예제 1 - Llama 3를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기

78. Llama 3 Fine-Tuning 예제 1 - KorQuad 데이터셋에 Fine-Tuning된 Llama 3 예측(Inference) 및 ChatGPT(GPT-4)와 성능 비교

79. Llama 3 모델 리뷰

80. GPT-4o mini 모델 소개

81. GPT-4o mini를 이용한 멀티모달(Multimodal) LLM 구현

82. NexusRaven 모델 소개

83. NexusRaven 모델의 tool use 능력 테스트하기

84. Llama 3.1 다국어 성능 테스트해보기 - MGSM 데이터셋

85. Llama 3.1 모델 리뷰

86. Llama 3.1 모델을 이용해서 특허 카테고리 자동 분류하기

87. Llama 3.1 모델을 이용해서 특허 카테고리 자동 분류하기 - 프롬프트 튜닝을 통한 성능 개선

88. OpenAI o1 모델 소개

89. GPT-4o 모델과 o1-preview 모델 성능비교 (MMLU 데이터셋)

90. OpenAI o1-preview API 사용법 살펴보기

91. OpenAI o1-preview API 사용법 실습 (2025 수능 국어 문제 풀어보기)

92. LLM 정확도(Accuracy) 최적화하기 - 프롬프트 엔지니어링

93. LLM 정확도(Accuracy) 최적화하기 - RAG, Fine-Tuning

94. LLM 정확도(Accuracy) 최적화하기 - LLM 어플리케이션의 비즈니스적, 기술적 관점에서의 정확도 기준 설정

95. Llama 3.2 1B, 3B 모델 한국어 추론 능력 테스트하기 - Hellaswag 벤치마크 데이터셋

96. Llama 3.2 Vision 11B 모델의 한국어 VQA 성능 테스트하기

97. ChartQA 데이터셋 소개

98. Llama 3.2 Vision 11B 모델의 한국어 ChartQA 데이터셋 성능 테스트하기

99. MMLU(Massive Multitask Language Understanding) 벤치마크 데이터셋 소개

100. MMLU-PRO 벤치마크 데이터셋 소개

101. Llama 3.3 모델 소개

102. DeepSeek-R1-Distill-Llama-8B 모델 추론 능력 테스트하기 - AIME 2024 데이터셋

103. DeepSeek-R1-Distill-Llama-8B 모델 코딩 능력 테스트하기 - LiveCodeBench 데이터셋

104. OpenAI SWE-Lancer 벤치마크 데이터셋 소개

105. OpenAI SWE-Lancer 벤치마크 데이터셋 논문(SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?) 리뷰

106. Responses API와 AI 에이전트 구현을 위한 새로운 내장툴들(Web Search, File Search, Computer Use) 소개

107. Responses API에서 사용할 수 있는 내장 툴(Built-in Tool) - Web Search Tool 사용하기

108. Responses API에서 사용할 수 있는 내장 툴(Built-in Tool) - File Search Tool 개념 설명

109. Responses API에서 사용할 수 있는 내장 툴(Built-in Tool) - File Search Tool 사용하기

110. SWE-bench Verified 데이터셋 소개

111. GPT-4.1 모델 소개