Corpus(말뭉치) 준비와 데이터 전처리 – 한국어 AI 모델 만들기 #2
오늘은 나만의 한국어 AI 모델 만들기 두 번째 이야기로, 한국어 학습을 위한 가장 기본적인 Corpus(말뭉치)에 대해 정리하겠습니다. 최근 인공지능(AI)이 사람처럼 글을 쓰고, 질문에 답하고, 번역까지 하는 모습을 자주 보게 됩니다. …
나만의 한국어 AI 모델 만들기 #1 – SentencePiece와 GPT-2 토크나이저
오늘은 나만의 한국어 AI 모델 만들기의 첫 번째 이야기로 자연어 처리의 기본이 되는 토크나이저(tokenizer)에 대해 이야기해 보겠습니다. 영어를 기본으로 다루는 BPE와 보다 더 다양한 언어에 적합한 sentenepiece에 대해 정리해 보려 …
암호화폐의 이해 – 코인 & 토큰 NFT no.13
암호화폐를 코인(Coin)과 NFT(Non-Fungible Token)로 구분하는 이유는 블록체인 기술에 기반하여 생성되며, 각각의 특성과 용도가 다르기 때문입니다.
블록체인 Blockchain과 암호화폐 Cryptocurrency #1
블록체인 기술의 핵심은 데이터 저장 시 한 곳에만 저장하는 것이 아닌 여러 곳에 나누어서 저장하는 기술. 이 기술로 이루어진 암호화폐 …