Etched является одним из конкурентов NVIDIA на рынке процессоров для искусственного интеллекта. Стартап предлагает другой подход к их созданию, который похож на производство ASIC для майнинга — специализацию на конкретном типе генеративного ИИ, а именно так называемых трансформерах. Чипы не будут работать с другими моделями, однако с конкретными будут иметь на порядки большую производительность. Представленные процессоры Sohu работают с Llama 70B и способны обрабатывать 500 тыс. токенов в секунду. Сервер из 8x чипов Sohu при этом способен заменить 160 процессоров NVIDIA H100.
Sohu — первый специализированный чип для моделей-трансформеров, утверждает Etched. Имея с ними гораздо большую производительность, чем любые существующие универсальные решения, Sohu не может запускать CNN, LSTM, SSM или любые другие модели ИИ. Он изготовлен по 4 нм техпроцессу TSMC.
Компания рассказывает, что в настоящее время каждый основной продукт ИИ на рынке (ChatGPT, Claude, Gemini, Sora) работает на основе трансформеров, и якобы через несколько лет каждая крупная модель искусственного интеллекта будет работать на специализированных чипах. Этот процесс в Etched считают неизбежным.
Процессор Sohu заявлен как более чем в 10 раз быстрее и дешевле, чем чипы NVIDIA нового поколения Blackwell (B200). Один сервер Sohu обрабатывает токены Llama 70B в 20 раз быстрее, чем сервер H100 (23 000 токенов/с), и в 10 раз больше, чем сервер B200 (~45 000 токенов/с). Показатели получены при работе в FP8 без разрежения при 8x модельном параллелизме с длиной 2048 входных/128 выходных данных. Показатели 8xH100 получены с TensorRT-LLM 0.10.08 (последняя версия), а показатели 8xB200 являются оценочными. «Это тот же бенчмарк, который используют NVIDIA и AMD», — говорят
искусственный интеллект
Nvidia