Businessinsider
пишет, что в последние время подписчики Блумберга получали некоторые квартальные отчеты компаний раньше, чем они были официально опубликованы. Каким образом Блумбергу это удавалось?
Разгадка оказалась простой и гениальной как лом — вебмастера компаний выкладывали отчеты на офф.сайты заранее, но не давали на них ссылок с главных страниц/меню. А так как URL-ы подчинялись шаблонам типа:
www.disney.com/earnings/Q22010release
www.disney.com/earnings/Q32010release
то парни в Блумберге настроили систему в духе поискового робота, обходящую предсказываемые URL-ы.