BI-Art

LLM 은 Token 생성 도구이다. 여기서의 Token은 단어 또는 낱말(정확히는 단어를 구성하는 부분, subword)이며 인간이 단어와 낱말을 조립하여 글을 만들어내듯 LLM도 동일한 방식으로 글을 만들어낸다. LLM이 Token을 생성하는 방식은 여러 가지가 있지만 이 글에서는 AutoRegressive Generating 방법에 대해 정리해본다. (줄여서 AR) ## AR의 간단 개념 AR이란 Token을 하나씩 순차적으로 만들어내는 방법이다. 가령 who are you? 라는 프롬프트에 따라 LLM이 I am nobody 가 출력된다고 했을 때 이 과정은 아래와 같다. 1 : who are you? 문장 입력2 : LLM이 I 토큰 생성3 : who are you? i 문장 입력4 : L..

Kserve는 k8s 환경 내에서 모델 서빙을 구현하도록 도와주는 플랫폼이다. 단순한 서빙 기능을 넘어 트래픽 관리, 리소스 관리, 스케일링, modeling rolling 등 실무적으로 필요한 여러 기능을 가지기에 상당히 범용적인 플랫폼이라고 할 수 있겠다. 오늘 블로그에서는 Kserve의 간단한 맛만 보는 차원에서 minikube로 로컬 k8s 환경을 구성하고 그 위에 kserve를 작동시켜보는 과정을 설명하고자 한다. kserve는 knative를 이용해서 serverless 방식으로 사용하는 것을 가정한다. 사전 작업 환경 구성에 필요한 도구들을 brew install 을 통해 간단히 설치해준다.minikubehelmkubectlminikube 환경 구성 minikube 클러스터를 시작하고 tun..

목표 👉🏻 docker를 이용하여 serverless 방식의 spark job submit을 해본다. Spark Cluster 준비 docker 정의된 호스트명을 사용할 수 있도록 host 파일을 수정해준다. 127.0.0.1 spark-master spark-worker-1 그리고 적절한 spark image를 골라서 로컬에 spark cluster를 구성해준다. cluster는 docker compose로 구성한다. version: "3.9"services: spark-master: image: spark:3.5.7-scala2.12-java11-python3-r-ubuntu container_name: spark-master hostname: spark-maste..

종속변수와 독립변수의 선형적 관계를 추정하는 회귀 분석은 실용적인 데이터 분석 기법이며, 회귀 분석의 분야에는 다양한 형태의 회귀 모델과 회귀 분석 방법이 있다. Deep Learning은 통계학 분야의 전통적인 회귀 분석 방법론과 같은듯 다른 방식으로 회귀 모델을 구성해낸다. 아래에서는 Deep Learning을 통해 간단하고 기초적인 회귀 모델링을 진행해보고자 한다. 분석 목표 확인하기 y = ax + b 은 가장 단순한 형태의 선형 함수이다. 이 함수가 나타내는 종속변수와 독립변수의 관계는 아래처럼 벡터연산(Vectorization)으로도 나타낼 수 있다. 회귀분석의 목적은 독립변수와 종속변수의 관계를 가장 잘 설명하는 변환 행렬을 구하는 작업이라고 하겠다. 이 변환 행렬을 가중치 행렬이..

MongoDB 개요 MongoDB는 대표적인 NoSQL 데이터베이스이다. 2007년에 개발되었고, 이 서비스로 무려 나스닥 상장까지 했으니 그 파워풀함은 구구절절 설명할 것은 없겠다. 창업자들은 구글의 자회사 출신 개발자들이라고 하며, 기존의 RDBMS의 저조한 확장성을 보완할 데이터베이스로서 MongoDB를 개발했다고 한다. 여기서 말하는 확장성은 두 가지로 볼 수 있다. 1️⃣ 데이터 용량이 급증하면서 더 확장된 저장 용량이 필요함. 2️⃣ 서비스가 발전하면서 데이터의 스키마가 변해감. RDBMS는 데이터 용량이 급증할 때 데이터베이스의 서버 용량을 높이는 Scale-up의 방식으로 대응해야하지만 MongoDB는 분산 저장을 하는 Scale-out의 방식으로 대응할 수 있다는 점, RDBMS는 기존..

RDB(Relational Database 관계형 데이터베이스)를 사용할 때 Join이 빠질 순 없다. Join은 서로 다른 테이블을 결합하는 과정이며, 이 결합의 과정은 Join Key라고 하는 두 테이블의 컬럼에서 매칭되는 값을 찾고, 매칭되는 row를 이어 붙이는 과정이라 할 수 있다. 두 테이블의 컬럼을 매칭시키는 방법은 아주 다양할 수 있다. 이 방법들을 조인 알고리즘이라 부른다. 아래에선 조인 알로리즘 중 가장 보편적으로 활용되는 Nested Loop Join에 대해 설명하겠다. 개념 Nested Loop Join는 Loop라는 단어를 그 속에 가진 것처럼 프로그래밍 언어의 For문과 같은 반복적(iterable) 과정을 가진다. Nested라는 단어는 '중첩된'이라는 뜻인데, 여기서 말하는..

ubuntu 20.04 (multipass)python 3.8.9pyspark 3.3wget https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgzUbuntu 가상환경 셋팅multipass launch -c 2 -m 2G --name machine focal Pyspark 다운로드spakr 바이너리 파일을 다운로드 받는다. 여기엔 pyspark를 구동하는 라이브러리들이 모두 모아져 있다. https://www.apache.org/dyn/closer.lua/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgzwget https://dlcdn.apache.org/spark/spark-3.3.1/spark-3...

작업 간에 별도의 프로세스를 만들어서 작업을 처리해야할 때가 있다. 가장 흔하게는 controller 역할을 하는 어플리케이션에서 worker 혹은 executor 등의 작업 주체를 만드는 경우가 있다. Airflow에서 Celery worker를 사용할 때가 그렇다. airflow는 worker들을 데몬으로 미리 띄워놓는게 아니라 작업이 수행되는 때에 필요에 따라 worker process를 띄워서 사용한다. 이번 포스트에서는 간략하게 python으로 child process를 띄우는 코드를 소개한다. import osprint(f'Current PID : {os.getpid()}')pid = os.fork()if pid > 0: _, ret = os.waitpid(pid, 0) print("Pare..

Java를 이용해 Parquet 파일을 쓰고 읽는 코드를 소개한다. 라이브러리 버전 정보org.apache.parquet:parquet-avro:1.12.2org.apache.hadoop:hadoop-common:3.3.4org.apache.hadoop:hadoop-mapreduce-client-core:3.3.4유의점 parquet 파일 저장 코드를 소개하는 포스트들은 대게 Path 경로만 넣어서 writer를 빌드하는 방법을 사용한다. 허나 아쉽게도 해당 코드는 Deprecated 처리되었는데 이유는 정확히 모르겠다.. 어쨌거나 Path가 아닌 org.apache.parquet.io.OutputFile (interface) 를 구현한 클래스를 넣어야 한다. https://issues.apache...

gradle 7.4https://docs.gradle.org/7.4/userguide/userguide.html Java 프로젝트를 만들 때 간혹 추가한 외부 라이브러리가 classpath에 제대로 등록되지 않는 경우가 있다. 대게 문법 오류로 인한 문제겠다. 이럴 땐 제대로 등록된 라이브러리 목록을 봐가며 점검을 할 필요가 있다. 아래엔 Gradle Task를 이용해 등록된 라이브러리 Jar 목록을 출력하는 방법을 소개한다. Gradle 버전에 따라 문법이 다를 수 있으니 주의할 것! ...configurations { testImplementation { canBeResolved(true) }}dependencies { testImplementation 'org.junit.j..