Perplexity
Perplexity's engineering team has described how it serves the embedding and ranking models behind its search engine. The stack has three parts: Ivy, Tulip and ROSE. The main finding is that on small embedding models latency tracks token count, not the number of sequences.
Perplexity
Perplexity mühendislik ekibi, arama motorunun arkasındaki gömme ve sıralama modellerini nasıl servis ettiğini yazdı. Yığın üç bileşenden oluşuyor: Ivy, Tulip ve ROSE. Ana bulgu, küçük gömme modellerinde gecikmenin dizi sayısına değil jeton sayısına bağlı olması.
Perplexity
Perplexity 工程团队撰文说明了搜索引擎背后的嵌入与排序模型是如何被服务的。整套栈由 Ivy、Tulip 与 ROSE 三个部件组成。核心结论是，小型嵌入模型的时延取决于 token 数量，而不是序列条数。
Perplexity
شرح فريق الهندسة في Perplexity كيف يخدّم نماذج التضمين والترتيب خلف محرك البحث. المنظومة من ثلاثة مكونات: Ivy وTulip وROSE. والنتيجة الأساسية أن زمن الاستجابة في نماذج التضمين الصغيرة يتبع عدد الرموز لا عدد المتتاليات.
Perplexity
Perplexity released Lily, the local engine running Qwen3.6-35B-A3B on Apple Silicon, reporting 1.23x faster prefill and 1.35x faster decode than MLX-LM.
Perplexity
Perplexity, Qwen3.6-35B-A3B modelini Apple Silicon üzerinde çalıştıran Lily motorunu açık kaynak yaptı; şirketin ölçümlerinde MLX-LM'e göre prefill 1,23x, decode 1,35x hızlı.
Perplexity
Perplexity 开源了本地推理引擎 Lily，专为 Apple Silicon 上运行 Qwen3.6-35B-A3B 而写，官方测试中预填充比 MLX-LM 快 1.23 倍，解码快 1.35 倍。
Perplexity
أعلنت Perplexity عن إتاحة Lily مفتوح المصدر، وهو المحرك المحلي الذي يشغّل Qwen3.6-35B-A3B على Apple Silicon بأداء أسرع من MLX-LM وفق قياسات الشركة.