RYANSQL: Recursively Applying Sketch-based Slot Fillings for Complex Text-to-SQL in Cross-Domain Databases

시작하며 카카오엔터프라이즈 AI Lab(최동현, 신명철, 김응균)과 성균관대학교(신동렬)는 스파이더 챌린지(SPIDER Text-to-SQL Challenge) 성과를 바탕으로 한 공동 연구 논문인 ‘RYANSQL: Recursively Applying Sketch-based Slot Fillings for Complex Text-to-SQL in Cross-Domain Databases’를 아카이브(arXiv)에 공개했습니다. 미국 예일대학교(Yale University)에서 주최한 스파이더 챌린지는 기업이 각종 데이터를 정리 보관할 때 사용하는 데이터베이스가 주어졌을 때 자연어 형태의 사용자 질의 문장을 SQL(Structured Query Language)문으로 변환해주는 NLI2DB(natural..

카카오엔터프라이즈 CTO가 전하는 인공지능 이야기

지난 2019년 12월 카카오 사내 독립기업(CIC)이었던 AI LAB이 분사해 세워진 카카오엔터프라이즈의 AI Lab(이하 AI Lab)은 인공지능 기술을 집약한 플랫폼인 ‘카카오 i’를 고도화하는 데 필요한 기술의 연구·개발을 담당하고 있습니다. 그렇다면 AI Lab은 어디에 지향점을 두고 인공지능 기술을 만들어나갈까요? AI Lab의 수장이자 최고기술책임자(CTO)인 클로드를 만나 관련 이야기를 들어봤습니다. ※클로드는 네이버, 삼성전자, 카카오 등의 기업에서 기술 개발과 연구를 해왔습니다. 기술에 대한 전문 지식과 오랜 경험을 바탕으로 현재는 카카오엔터프라이즈의 CTO로서 AI Lab을 이끌고 있습니다. 클로드가 경험한 인공지능 기술 이야기 “폰 노이만 기계가 유일한 컴퓨팅 방식이라고 생각했던 저..

카카오 i 번역 성능 향상 실험 : 대규모 말뭉치를 활용한 사전학습

시작하며 사전학습(pretraining)은 데이터양이 절대적으로 적은 상황에서 적용하는 기법입니다. 문제(본 훈련)에서 제시되는 것과 유사한 형태의 데이터로 모델을 사전학습시키면 본 훈련에 효과적인 매개변수(parameter) 초기값 확보에 크게 도움이 되어서죠. 오늘날 대규모 말뭉치(corpus)를 사전학습한 언어 모델(language model)이 자연어처리(NLP)에서 주류로 자리하게 된 것은 바로 이런 효과 덕분입니다. 하지만 대용량 데이터를 사전학습해 성능을 크게 끌어올린 최신 언어 모델이 모든 NLP 태스크를 잘 풀지는 못합니다. 단적인 예로, 하나의 언어로 구성된 문장에서 특징(feature)을 추출하는 데 주안을 둔 언어 모델은 여러 언어에서의 특징 추출이 중요한 번역 태스크에는 적합하지 ..