web gpu를 이용해 인터넷 없이 LLM 모델 돌리기

잘 학습되어 있는 모델은 hugging face에서 제공해주기 때문에 모델을 구하는 것은 어려운 일이 아닙니다.

또한 요즘 같은 시대에는 이를 웹상에 올리는 것도 어려운 일이 아니죠. 유료로 사용하고 있는 claude나 gpt등의 토큰도 순식간에 다 써버리는 입장에서 하나쯤은 로컬용 LLM이 있으면 좋겠다고 생각했습니다.

이 때, web 이라는 훌륭한 클라이언트와 web gpu라는 기술이 만나 web 상에서 로컬로 LLM과 대화할 수 있게 되었습니다.

본 사이트의 아래 주소에서 사용 가능합니다.

https://www.devxdev.xyz/llm

(safari 기반 브라우저에선 web gpu 지원이 원활하지 못해 사용이 불가능합니다.)

• 원하는 모델을 선택
• 모델을 다운로드 받습니다. (약 1 ~ 3 Gb)
• 네트워크를 전부 끄고, LLM과 대화를 시작해도 대화가 이어집니다.
• 웹의 캐시를 지우면 해당 model과 데이터도 함께 소멸합니다.