Малко въведение

Докато вчера си разписвах поредния service, по грешка го накарах да извлече 800000 елемента (в json това са около 240MB). Доста бързо се осъзнах, че идеята да пробвам точно този клон без филтри е ... .

В крайна сметка, обаче, го бях пуснал вече и реших да го изчакам. Тъй де, какво толкова може да стане в извън работно време? Събудих се с изпълнена заявка и около 2GB заделени от mongrel (thin зарязва заявката по-рано, защото е на практика безкрайна).

Искам да изкажа дълбоко страхопочитание към хората, които са адекватни със ставането си, но аз не съм от тях. Първата реакция ми беше f5 ...

Прозрението

Интересната част от нещата е, че този път същата заявка се смъкна за 10-15 минути (на фона на >2 часа, това ми прозвуча мигновено). Разликата ме наведе на , че няколкото chained map всъщност не са основния проблем и повече време отива в заделяне на RAM за целта. Попитах чичо google какво ще каже по темата и той ми подаде това. Идеята е обяснена прилично и някъде след това е merged в основния проект. Като цяло с примера от сайта, моя use case падна на 22 минути за първо изпълнение . Със сигурност въпросните настройки имат значително по-смислени употреби от изпълнението на малоумни заявки .