CraigStats
Ethan Garners ha estado recopilando datos de Craigslist referente a precios y densidad de alquileres de piso por zona de San Francisco desde agosto de 2006 y la semana pasada lanzo un curioso mashup con google con la superposicion de sus datos de forma de zonas de calor, mostrando los barrios mas activos, los que evolucionan mas rapidamente y en los cuales los usuarios recurren a Craigslist de manera mas activa para encontrar piso.
Siendo craigslist una especie de monopolio de facto en varias ciudades estadounidense (por lo que vi y lo que hable en Nueva York los pasados dias, se usa tanto o mas que aqui), es mas que posible que los mapas de Ethan reflejen el estado de la economia inmobiliaria de San Francisco. Personalmente hay muchas mas datos que analizaria, como los salarios por sector y zona de San Francisco (cuando ganaba un ingeniero informatico de SOMA durante la burbuja y ahora, cuanto trabajo habia), la cacareada relacion precio de la vivienda-numero de ofertas de trabajo o las zonas cuyos residentes son mas dados a acudir a “la lista” para encontrar pareja, un desahogo rapido o donde se producen mas conexiones perdidas…. (algo asi comente en el post referente a sexualidad yanki). El sistema por su arquitectura y volumen ofrece un entorno mas o menos estandar donde se pueden realizar multitud de analisis de ese tipo, por lo que supongo (y espero) que apareceran bastantes mas analisis de este tipo.
Craigslist tiene almacenados una enorme cantidad de datos desde la fecha de su creacion, hace aproximadamente una decada y siendo un enamorado de las visualizaciones no han faltado momentos en los que he pillado borradores y he pensado la mejor forma de analizar y mostrar de la mejor forma posible los datos que tenemos almacenados. He tenido varias reuniones informales con compagneros desarrolladores (en las que caen varias botellas de vino californiano en casa de alguno mientras nos dedicamos a cocinar y a contarnos posibles formas de manejar enormes cantidades de datos) en las que ha salido el tema de la visualizacion y en analisis de datos, en muchas de ellas vienen compagneros de otras empresas similares del entorno y entre copa y copa terminanos dando forma a ideas que espero algun dia salgan a la luz. Desgraciadamente como muchos saben, siempre hay proyectos mucho mas urgentes (ya veran, no se me impacienten) que espero poder terminar de dar forma antes de cumplir mi primer agno en esta compagnia el proximo septiembre antes de que pueda decicarme a otros menesteres, pero la idea ahi queda…
Macho, escribe en otro idioma y deja el español o estudia, me parece que el traductor es automático o no funciona muy bien, por lo demás estupendo.
Esto… iojanan… si te refieres a “agno en esta compagnia” (por ejemplo) o la carencia de acentos. Es normal!!!! escribe desde un teclado ingles.. donde no hay acentos ni ñ…
cuanto tontorron hay en el mundo!!!
molóm.
me encanta que te encanten los mapas :-)
Alguna vez le´algo como que la cantidad de datos que estamos generando iba acabar aplastando la información. Proyectos como éste contradicen esa afirmación. El potencial creativo del personal le sabe sacar jugo a todo, especialmente si se acompaña de vino (me da igual la denominación siempre que sea de calidad).
De todas formas, lo mejor de Craiglist son las píldoras antropológicas, como este post en el que se pone en cuestión la primacia de Nueva York y SF (macho, aquí se te tiene que dividir el corazoncito geográfico). Lo curioso es que mientras que en España, en Italia y quizás en Francia, las diferencias se dan entre el norte y el sur, en EE.UU. se dan entre este y oeste.
El post es http://sfbay.craigslist.org/sfc/rnr/383870269.html
Bueno, gracias por los comentarios, pero lo de los acentos es algo en lo qu etengo que currar mas… una cosa es acomodarse al usar un teclado estadounidense y otra suponer que todo el mundo va a entender como pongo las egnes (o las enyes)… muchas veces tecleo desde sistemas que no permiten en cambio de mapa de teclado y ponerse a copipegar acentos y caracteres especiales es un trabajito :)
juanra, te equivocas! las diferencias en EEUU se dan entre las costas y el centro (lo sabes de todos modos, son los “flyover states” como los llaman aqui). Mira que NY y SF son las dos ciudades mas “europeas” del pais (personalmente pienso que NY es mucho mas europea y SF mas “cosa rara”) y ademas de la cultura y la politica, tienen estadisticas muy interesantes, como ser las ciudades en las que mas personas intercambian la residencia (ese anuncio en Craigslist es mas normal de lo que piensas)o mas personas viajan de una ciudad a otra, lo cual es curioso cuando SF tiene menos de 800.000 personas y vive cercas de monstruos de varios millones como LA. Las diferencias entre las dos costas se dan mas por la historia de las mismas, NY fue colonizado al principio de la historia del pais (y fue la primera capital del mismo) y California fue uno de los ultimos, haciendolo menos denso urbanisticamente, mas verde y mas joven culturalmente.
yo tambien escribo sin acentos y sin enges.
vuestro odiado windows, como sabeis, soluciona el problema en 4 minutos. o menos. seguro que linux tambien os permite cambiar el idioma del teclado en 2 minutos, o menos.
Hola! Pues me parece un proyecto muy interesante, y de hecho conozco a varia gente que esta haciendo cosas parecidas con datos del mercado inmobiliario de San Francisco, aunque no con datos de craigslist y utilizando GIS (que es lo que se lleva en geografia, pero la visualizacion es mucho mas penca).
Ews, podrías hablarnos un día sobre la postura de Craigslists y los Mashups (por ejemplo: http://blog.programmableweb.com/2007/06/18/craigslist-blocks-mashup-listpic/)
Se supone que Craigslist va “de buen rollo” y ¿Qué mayor buen rollo que el de los Mashups en que uno toma lo de los demás “por el bien común”?
Desde luego entiendo la postura de este caso con el abuso de consumo de recursos, pero me imagino que hay algo más y tiene un poco que ver con alguna política general u opinión sobre la viabilidad de sitios parasitarios.
Al fin y al cabo todas las grandes empresas han tenido que pasar por el aro de abrir sus sistemas a interacciones y sin embargo una de las empresas más libres se niega a seguir esta línea de trabajo. Creo que se algo muy interesante aunque tal vez no puedas hablar de esto “abiertamente”.
Gracias.
Ojala fuera cierto lo que dices Marmolillo. Listpic era (es) un sitio bastante mal diseñado, cada acceso a su pagina pilla las fotos a tamaño real (sean los megas que sean) de nuestro sitio y los presenta redimensionado con tags al usuario. Cada acceso a cada una de sus paginas cargaba 100 fotos enormes de nuestros servidores y a veces el sitio llegaba a comerse aproximadamente el 94% de nuestro ancho de banda ayudando a menos del 0.01% de los usuarios de CL, por lo que tras varios toques (incluso intentamos comunicarnos con el dueño del sitio por tlf) se le puso en la lista negra. Si simplemente hubiera diseñado un crawler y hubiera servido y cacheado las imágenes de su servidor no hubiera pasado nada.
Sobre los mashups, sabras que estoy mas que de acuerdo y me encantan y de hecho hay mashups de craigslist muy conocidos y buenos que pululan sin problemas. Si vas a delicious y buscas las paginas mas populares con el tag craigslist, nuestro sitio no es el primero, sino un mashup bastante llamado housingmaps que sirve contenido de Craigslist y que tiene muchisimo mas trafico que listpic, pero al contrario, no sacuden nuestros servidores hasta reventarlos (si vieras la factura de ancho de banda antes y despues de listpic lo flipas) , dan un servicio estupendo a la comunidad que por ahora con los programadores que somos y enfocados en otra cosa no podemos dar (somos solo siete programadores en toda la empresa) y lo mejor es que ayuda a mucha gente que necesita de ese sistema de visualización ya que o bien no conoce la zona o bien necesita estar alrededor de un punto especifico (trabajo, colegio)
Espero que haya sido suficientementa abierto y te haya solucionado la duda :)
Muchas gracias por la respuesta, muy completa e informativa.