멀티모달 모델 (1) 썸네일형 리스트형 위키피디아 벡터 데이터셋, Llama3를 활용한 멀티모달 모델 1. 위키피디아 전체를 벡터로 임베딩한 데이터셋- JVector로 벡터 인덱스 생성 후 Chronicle Map으로 기사 데이터를 저장하여 사용함- 벡터 압축을 위해 Locally-Adaptive Quantization 사용- 데이터 병렬 처리- Linux, Mac에서만 사용가능 노트북에서 Wikipedia 전체를 벡터 인덱싱하기 | GeekNewsCohere가 위키피디아 전체를 벡터로 임베딩한 데이터셋을 공개했음이 데이터셋을 사용하면 개인이 위키피디아의 의미 기반 벡터 인덱스를 만들 수 있게 됨어려운 점데이터셋 크기(영어 코퍼스만news.hada.io GitHub - jbellis/coherepedia-jvectorContribute to jbellis/coherepedia-jvector devel.. 이전 1 다음