2023 회고 : 졸업과 취업, 부딪히고 깨지고 살아남기

2023 회고 
매달을 어떻게 보냈는지, 핵심 키워드를 선정해보았다. 

Month	Keywords
1	DevOps/SRE (Cloud) 부트캠프 (Linux, Docker), 취준시작
2	DevOps/SRE (Cloud) 부트캠프 (Docker, k8s 공부), 졸업식
3	DevOps/SRE (Cloud) 부트캠프 조기 퇴소, 취업, OPIC시험, 상반기 공채시작
4	정규직 전환, 첫출근, 정보처리기사 합격, 부산 여행
5	AWS SAA시험 준비, Databricks공부, 알고리즘 공부 PoC - Databricks Workspace를 위한 AWS Infra 구축하기, MongoDB, MySQL 로부터 DMS 사용해보기
6	AWS SAA시험 준비, Databricks공부, 알고리즘 공부
7	AWS SAA시험 준비, Databricks공부, 알고리즘 공부, 사이드프로젝트 시작
8	AWS SAA시험 준비, Databricks공부, 알고리즘 공부, 사이드프로젝트 (Django) 양양 서핑 여행 GenAI TF - LLM 기반의 챗봇 만들기, OpenAI 사용하여 데이터 증분하기
9	AWS SAA시험 합격, 알고리즘 공부, 사이드프로젝트 (Django) 헬스장 PT 시작 GenAI TF - LLM 기반의 챗봇 어플리케이션 개발하기
10	AWS DAS 시험 합격, 알고리즘 공부, 사이드프로젝트 (Django) 헬스장 PT 수업 진행 GenAI TF - LLM 기반의 챗봇 어플리케이션 개발하기, OpenSearch 로 RAG 구성하기
11	글또 시작, Spark 스터디 시작, 커피챗, 사이드프로젝트 (Django),  GenAI TF - OpenSearch 직접 도커 컨테이너 상에서 클러스터 구축해보기, Plugin으로 커스터마이징하기   노엘 갤러거 내한 공연
12	알고리즘 공부, CS공부, Spark 스터디 진행, 사이드 프로젝트 종료 OpenCV 기반의 비디오 이미지 씬 감지하기, Computer Vision을 활용해보기  태백 (하이원) 스키 여행, 다리 부상

 

이렇게 위와 같이 정리해보고 나니, 분기별로 내가 어떻게 지내왔는지 패턴이 보이길래 분기별로 회고를 적어보기로 했다. 오랜만에 기술 블로그에 '사람 냄새' 나는 글을 적어본다. 

 

1분기 (1월 ~ 3월)

국비 부트캠프를 듣다. 

CCCR 이라는 기관에서 DevOps 부트캠프를 본격적으로 들었던 시기이다. 클라우드에 대해 막연하게 관심을 갖게 되면서, 클라우드 관련 부트캠프를 알아보게 되었고 시기가 마침 맞아서 듣게 되었다. 국비 수업이다. 주로 CentOS 운영체제에서 인프라를 구축해보는 작업을 했다. DNS 서버도 직접 설정해보고, 블록스토리지나 NFS와 같은 스토리지 개념도 공부했다. systemctl 명령어나 crontab 스케줄링, ACL, 기본적인 linux CLI 명령어들에 대해 학습했다. 

사실 Linux 개념을 공부할 때는 이게 맞는건지, 교육 과정에 대해 의심을 많이했다. 그러면서도 취업 준비 지원으로는 iOS 개발자로 넣어보기도 했다. 학교 다니면서 주로 했던 것이 iOS 앱 개발이었기 때문이다. 새로운 분야로 바꾼다는 것은 겁도 나고, 익숙한 곳으로 되돌아가 가고 싶은 마음과 맞설 용기가 필요하다. 그게 참 심적으로 어려웠다. 인프라를 다루는 것은 개발을 하는것과는 많이 달라서, 이대로 괜찮을지 스스로 엄청 고민했다. 그래도 마침 클라우드 사업에 대해 좀 아셨던 아버지의 영향으로, 시작한거 한번 끝까지 들어보자고 의심하지 않기로 했고, 과정을 끝까지 들었다. Docker와 k8s를 배우니까 오히려 재미있어서 몰입하게 되었고, 왜 Docker k8s 이전에 linux 의 기본기를 알아야 하는지 역으로 이해가 되었다. 

- 부트캠프나 교육 과정은 의심하지 말고, 끝까지 완주해보는 경험이 참 중요한 것 같다. 
- 부트캠프에는 참 다양한 배경의 사람들이 있다. 분위기에 휩쓸리지 않고, 묵묵히 내가 할 것을 밀고 나아가는 것이 중요하다. 
- 이왕이면 좀 이름있는 SAFFY 나 네이버 부스트코스, 우테코 같은 과정을 듣는것도 괜찮을 것 같다. 

2분기 (4월 ~ 6월)

취업, 그리고 첫 출근

그렇게 부트캠프 수업을 들으면서 강사님이 틈틈히 이력서도 넣어보라고 하셨고, 클라우드 업계에서는 1위를 하고 있는 회사에 Data Engineer로 지원을 하게 되었다. 사실 서류에서 떨어졌었는데, 내가 어떤 오기였는지 메일로 왜 떨어졌는지 탈락 사유가 궁금하다고 물어봤다. 그러더니 또 신기하게 답장이 왔고, 자기소개에 대한 내용을 보충해서 다시 지원해달라고 했다. 이런 패기를 좋게 평가해주셨는지 면접 자리에서 다음달부터 출근하라고 들었다. 원래 포지션은 Internship 이었으나, 인턴의 권한이 적다는 이유로 운좋게 정규직으로 바로 전환이 되었다. 4월부터 6월까지는 회사에 적응을 하는 시기였다. 아무래도 스타트업이다보니 체계적인 온보딩 절차같은건 없었지만 그래도 운 좋게 좋은 사수님을 만나서 직접 Site 에서 AWS Infra 를 구축해보는 경험을 해볼 수 있었다. 회사 사람들이랑도 무난히 지냈던 것 같다. 사회 생활이란 것도 어떻게 k-회사에서 살아남을 수 있는 건지 눈치가 생기고, 개발자이기 이전에 '회사 생활'에 대해 익히게 된 시기이다.  

- 미국 가기 전에 친 정보처리기사 필기 시험에 이어서 실기 시험 준비를 했었고, 그렇다보니 취업하고나서도 계속 공부를 했다. 마침내 정처기는 취득했다. 
- Databricks DATA+AI Summit과 AWS Summit 행사에 직접 참여도 해보고, 여러 세션에 대해 들어보는 경험이 좋았던 것 같다. 이 시기에 Summit 행사를 많이 하는 것 같다. 굿즈도 많이 모았다!

 

3분기 (7월 ~ 9월)

주어진 시간을 최대한 잘 활용하기

7월과 8월까지는 조금 회사에서 무료한 시간들을 보냈다. 신입이고 저연차여서 인지, 요즘 시장 분위기가 좋지 않아서인지 나에게 프로젝트나 PoC에 참여할 기회가 주어지지 않았고 방치되어 간다는 느낌을 받았다. 그래도 개인 공부를 할 수 있었던 시간이었고, 이 시간동안 AWS Solutions Architect Associate 자격 시험을 준비했다. 클라우드 쪽으로 준비하면서 이 자격증은 반드시 취득해야겠다고 다짐했었다. 또한 회사에서도 AWS 서비스들을 주로 사용하여 개발하거나 환경을 구축하기에 도움이 될 것이라고 생각했다. 다른 AWS 자격증에 비해서 공부 범위는 좀 많지만, 그래서 더 가치가 있는 것 같다. Udemy 의 강의를 들으며 직접 서비스 실습을 해보면서 공부했다. 

9월에는 GenAI 열풍과 함께, 부서에서도 GenAI 관련 비즈니스 기회를 얻기 위해 챗봇 어플리케이션을 개발하는 TF를 만들었고 이에 참여하게 되었다. NLP는 학부생때 빅데이터 수업 이후로 처음 접하게 되었는데, LLM 이며 RAG, 프롬프트 엔지니어링과 같은 생소한 개념들을 빠르게 익히려고 노력했다. kullm 모델을 기반으로 구성했으며, 이때 당시에는 kullm 모델을 학습시키기 위해 데이터를 증분하는 작업을 담당했다. 데이터 증분을 위해 기존의 사람이 작성한 high quality의 학습데이터를 바탕으로 OpenAI 사의 gpt-turbo-3.5 를 사용하여 데이터를 증분했다. 생성한 데이터에 대해서도 가공을 하였고, 이 과정을 통해서 ChatGPT로 부터 원하는 작업을 시키기 위한 프롬프트 엔지니어링에 대해 경험해볼 수 있었다. 구체적으로 명령을 내려야 하며, JSON 형식과 같이 답변 형식을 지정해주는 것이 중요하다. 

 

4분기 (10월 ~ 12월)

끊임없이 부딪히고 깨지고 성장하기

우선 10월의 추석연휴를 활용해서 AWS Data Analytics Specialty 를 취득했다. 부서 자체가 Data 관련 부서이며 나 또한 AWS 기반의 데이터 엔지니어링에 필요한 서비스들에 좀 더 익숙해지고 싶어서 공부를 했다. AWS SAA를 취득한 후 곧바로 5일정도 더 투자해서 자격증을 취득했다. 이 과정에서 몸무게가 무려 3kg가 빠지게 되었는데.. 원래는 ML Specialty 도 해볼까 했으나 건강의 위협을 느껴 잠시 중단하게 되었다. 

정보처리기사와 AWS 자격증, 내가 목표로 했던 KPI 는 다 달성하게 되었다. 여유가 생겨서 진짜로 하고 싶은 공부나 개발에 투자를 할 수 있게 되었다. 사이드프로젝트에 참여하게 되었고 백엔드 개발을 담당했다. 간단한 API 개발을 하는 거였는데 오랜만에 웹개발을 하니 참 재미있었다. 그러면서 한편으로는 회사에서도 좀 더 개발을 많이 할 수 있으면 좋을텐데, 라는 아쉬움이 남았다. 

회사에서는 TF의 연장으로, 이번에는 RAG와 문서 청킹에 대해 담당하게 되었다. 기존에는 AWS Kendra 서비스를 사용하여 문서를 인덱싱했다면, 이를 OpenSearch를 기반으로 RAG를 구성하는 것이 목표였다. 개인적으로는 ChromaDB나 LlamaIndex를 테스트해보면서 Vector Database를 활용하는 것에 관심이 생겨 OpenSearch 쪽을 담당해보겠다고 손을 들었다. 잘한 선택인 것 같다. RAG만을 위해서는 OpenSearch 가 너무 무거운 서비스가 아닌가 라는 의견도 있지만, '검색 엔진' 을 활용해보는 경험을 처음으로 했고 OpenSearch의 query에 대해서도 배울 수 있었다. 또한 고도화를 위해서 직접 Docker Engine 위에서 OpenSearch Cluster를 배포해보기도 했다.  아쉽게도 나한테 PoC나 프로젝트 기회가 오지는 않았지만 개인적인 역량을 내재화할 수 있었다. RAG가 아니라 실제 서비스에서 '검색' 을 위한 용도로도 한번 써보면 좋겠다는 생각이 들었다. 

회사 밖에서는 친구의 권유로 로보틱스 스타트업의 엔지니어분과 커피챗을 하게 되었다. 실은 꽤 망설였다. 내가 ROS를 해본 것도 아니고 학부생 때 흔히 하는 라즈베리파이나 임베디드를 해본 경험도 없었다. 다만 python이나 C++을 조금 해봤다는 정도였다. 그래도 좋은 기회이고 경험이 될 것 같아서 커피챗을 용기내어 신청하게 되었다. 이 경험이 어떤 영향으로 이어가게 될지는 아직 모르겠지만, 이 모든 프로세스 자체가 다 좋은 경험이 될 거라고 믿는다. 

회사 밖에서 또 하나, 스파크 스터디를 시작했다. 직접 내가 스터디를 꾸리게 되었고 운좋게 성실하신 분들을 만나서 주 1회 진행중이다. 다들 나보다 경력자이셔서 왠지 랜선 사수분들(?) 을 만난 것 같다. 다른 회사에서는 어떻게 사용하는지 들을 수 있어서 참 값지고, 한편으로는 나는 지금 회사에서 spark 를 쓸 기회가 잘 없어서 좀 씁쓸했다. 내 포지션이 지금 데이터 엔지니어가 맞을까, 고민이 많이 되었다. 현재 최선은 이런식으로라도 내가 따로 시간내어 공부하면서 채워나가는 수 밖에 없는 것 같다. 

사이드 프로젝트를 종료했다. 건대의 양꼬치 집에서, 사이드 프로젝트 <종료> 를 선언했다. 개발이 좀 더 하고 싶고, 넥스터즈같이 개발자로 참여했던 프로젝트들이 참 재미있었던 것 같아서 그냥 재밌자고 참여한 사이드 프로젝트이다. 오랜만에 Django 로 개발도 했고 API 도 짜고 도커로 말아서 배포까지 해봤다. 오랜만에 백엔드 개발 재미있었다. 인프라에 대한 지식을 갖추고, 데이터를 어떻게 가공할지에 대한 고민도 해보고 나서 백엔드 개발을 하니까 학부생때 보다는 실력이 는 것이 체감이 되었다. 다만 사이드 프로젝트를 하면서 다시한번 느낀 점은 '사이드' 프로젝트라는게 다들 본업이 아니다보니 모든 팀원들이 100%로 몰입하는건 어려웠다. 거기에 한계를 느끼고 고도화는 더이상 하지 않고 여기서 종료. 내가 해야 할 몫은 마무리하고 배포까지 해보았으나 팀플이라는게 팀워크가 정말 중요하다.. 그리고 어떤 성향의 사람이랑 일하는지가 중요하다라는 것을 배웠다. 

마지막으로 글또에 참여하게 되었다. 예전에 구글링하면서 우연히 본 블로거가 글또에서 활동을 하는 것을 보고 꼭 해보고 싶다고 생각했다. 그래서 사전 알림도 신청했고, 새로운 기수를 뽑는다고 받자마자 바로 신청했다. 나는 IT 커뮤니티 활동을 정말 좋아하는 사람이다. '문과생'에서 IT 분야로 넘어오지 않았다면 뭘 하고 있었을지 참 상상이 잘 가지 않는다. 이전에는 넥스터즈나 솝트같은 개발 동아리 활동을 했었는데 현재는 내가 데이터 엔지니어나 클라우드 쪽 일을 하게 되면서 어떤 커뮤니티에 기여를 할 수 있을지 고민이 많았다. 그리고 글또가 내 상황에 딱이라는 생각이 들었다. 우연히 글또에서 예전에 학부생때 같이 개발을 했던 친한 언니를 재회하게 되었고, 연초에 밥도 먹고 커피챗도 할 생각이다. 올해 말에는 이런저런 준비로 글또 네트워킹을 많이 못한 것 같은데, 내년에는 좀 더 적극적으로 생활 반경을 넓히고 많은 사람들과 교류해보고 싶다 :) 

다들 행복한 연말 되세요 !