Robôs são programas que vasculham a internet em busca de páginas por diversos motivos, sendo geralmente indexadores de sites como Google ou Bing. O robô da google passa aqui, anota os tópicos e links, e quando vc pesquisa no google vai achar o tópico se ele for relevante o suficiente para estar em sua pesquisa