Etched является одним из конкурентов NVIDIA на рынке процессоров для искусственного интеллекта. Стартап предлагает другой подход к их созданию, который похож на производство ASIC для майнинга — специализацию на конкретном типе генеративного ИИ, а именно так называемых трансформерах.
Чипы не будут работать с другими моделями, однако с конкретными будут иметь на порядки большую производительность. Представленные процессоры Sohu работают с Llama 70B и способны обрабатывать 500 тыс.
токенов в секунду. Сервер из 8x чипов Sohu при этом способен заменить 160 процессоров NVIDIA H100. Sohu — первый специализированный чип для моделей-трансформеров, утверждает Etched.