Escribiendo el Grafo de Materias de mi Carrera

Fecha: December 14th, 2009 | Categoría: Informatica | 4 Comments »

Bueno, como paso previo a lanzar mi aplicación para navegar IOL (la plataforma para los contenidos de mi universidad) de manera decente (JIOLSucker no me cabe), me puse a investigar cómo navegar con python una página web.

Lo primero que me entretuvo fue ver cómo se hacen estas cosas en python, cómo existen dos librerías que se llaman igual y son necesarias (urllib vs urllib2), cómo armar una request; etcétera.

Revisé el código de IOL2Twitter que publicaron los capos de Zauber (muy buena empresa Argentina de software… hacen muy buenos laburos), pero era sólo para las noticias (y las mismas no necesitaban login). Así que seguí metiendo mano a ver cómo era para loguearse en IOL.

Resulta que hay que poner un número mágico como hidden value en el form… el primer WTF. También se pasa el “comando” a la página que controla todo por hidden value del form.

Con estas líneas de código ya estaba logueado en IOL:

  1. import urllib, urllib2
  2.  
  3. opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
  4. urllib2.install_opener(opener)
  5.  
  6. domain = ‘http://iol.itba.edu.ar/itbaV/’
  7.  
  8. entrada_request = urllib2.Request(domain+‘mynav.asp’, urllib.urlencode({‘txtdni’:‘34654754′, ‘txtpwd’:‘PASS’, ’secretNr’:‘894268381′, ‘cmd’:‘login’}), {‘Referer’:domain})

Empecé parseando la lista de materias activas de la navigation bar:

  1. html_data = ""
  2. entrada = urllib2.urlopen(entrada_request)
  3. for linea in entrada.readlines():
  4.     html_data += linea
  5.  
  6. lista_materias = []
  7. while html_data:
  8.     donde = html_data.find(‘mynav.asp?cmd=ChangeContext&nivel=4′)
  9.     if donde == -1:
  10.         html_data = None
  11.     else:
  12.         numero = html_data[donde+51:donde+56]
  13.         nombre = html_data[donde+77: donde+77+html_data[donde+77:].find(‘\n‘)]
  14.         lista_materias.append((numero, nombre))
  15.         html_data = html_data[donde+77+html_data[donde+77].find(‘\n‘):]

Después, entrando en el analítico de notas, saqué la lista de materias de la carrera e info acerca de en qué cuatrimestre se hace cada materia:

  1. materias = []
  2. descriptor = ""
  3. while html_data:
  4.     donde = html_data.find(‘CodMat">’)
  5.     if donde == -1:
  6.         html_data = None
  7.     else:
  8.         descarte = html_data[:donde]
  9.         if descarte.find(‘class="cuatrimestre"’) != -1:
  10.             descarte = descarte[descarte.find(‘class="cuatrimestre"’)+21:]
  11.             descriptor = descarte[:descarte.find(‘<’)]
  12.         numero = html_data[donde+8:donde+13]
  13.         donde = html_data.find(‘MatDesc">’)
  14.         nombre = html_data[donde+9:donde+9+html_data[donde+9:].find(‘<’)]
  15.         materias.append((numero, nombre, descriptor))
  16.         html_data = html_data[donde+20:]

Funcioncita para ver cuales son las correlatividades de cada materia:

  1. def correlativas(codigo):
  2.     urllib2.urlopen(domain + "mynav.asp?cmd=ChangeContext&nivel=4&snivel=" + codigo)
  3.     pagina = urllib2.urlopen(domain+‘materias/materia2.asp?nivel=4&snivel=’+codigo)
  4.     html = ""
  5.     for line in pagina.readlines():
  6.         html += line
  7.     lista = []
  8.     while html:
  9.         donde = html.find(‘ChangeContext&nivel=4′)
  10.         if donde == -1:
  11.             html = None
  12.         else:
  13.             lista.append(html[donde+29:donde+34])
  14.             html = html[donde+35:]
  15.     return list(set(lista))

Por último, me escribí un “.dot” para dibujar el grafo de correlatividades

  1. C = {}
  2. for ma in materias:
  3.     C[ma[0]] = correlativas(ma[0])
  4. out = "digraph materias {\n"
  5. cuatris = list(set([e[2] for e in materias]))
  6. for a in cuatris:
  7.     cosas = list(set([b[1] for b in materias if b[2] == a]))
  8.     out += "\t{rank=same; "
  9.     for c in cosas:
  10.         out += " \"" + c + "\"; "
  11.     out += "}\n"
  12.  
  13. corr = ""
  14.  
  15. for ma in materias:
  16.     desde = C[ma[0]]
  17.     desde = [ a[1] for a in materias if a[0] in desde ]
  18.     for a in desde:
  19.         corr += "\t\"" + a + "\" -> \"" + ma[1] + "\";\n"
  20.  
  21. archivo = open("output.txt", ‘w’)
  22. archivo.write(out)
  23. archivo.write(corr)
  24. archivo.write("}\n")
  25. archivo.close()

Acá hay un png exportado de cómo quedó (no me gustó, es todo feo…)

Código para descargar: iolparser.py (zipeado)

4 Comments on “Escribiendo el Grafo de Materias de mi Carrera”

  1. 1 Manu said at 2:08 am on December 15th, 2009:

    te recomiendo que uses Beautiful Soup, un parser de HTML/XML en python:
    http://www.crummy.com/software/BeautifulSoup/

    en vez de esos horribles find y numeros mágicos, que dependen de que no cambie ni un sólo caracter del HTML…
    (si es que querés pasar de la etapa experimental)
    (a lo cual te insto, a ver si logramos algo usable de IOL)
    (es más si hacés un svn de un proyecto en python para hacer eso te ayudo codeando)

    abrazo
    Manu

  2. 2 Darín said at 8:10 am on December 15th, 2009:

    Que raro. Justamente anoche se me ocurrió hacer un árbol de correlatividades.

  3. 3 Pablo Alejandro Costesich said at 5:14 pm on December 15th, 2009:

    Me ahorraste el laburo. ¡Gracias! Ahora puedo ver en que me anoto. :P

  4. 4 Juan F. Codagnone said at 1:00 pm on December 29th, 2009:

    El numero magico aparecio como “challenge” para intentar romper el login de jiol (que tambien era usado desde apuntesitba para autenticar a sus usuarios).
    http://juan.zauber.com.ar/2008/5/26/iolsucker-3-15

    Me imagino que son mas pythonero que javeros; pero desde hace rato jiol provee un API para las acciones que si requieren login (obtener archivos; etc; ej: https://svn.leak.com.ar/jiol/trunk/api/src/main/java/ar/com/leak/iolsucker/model/IolDAO.java)

    Un poco de background en:
    http://juan.zauber.com.ar/2009/8/15/release-jiolsucker-3-16 No tiene tanto movimiento el proyecto (porque no uso tanto iol); pero siempre alguien que lo use para algo es bienvenido.

    iol2twitter es trabajo en progreso relacionado con el proyecto http://labs.zauber.com.ar/twitterbots/ y un poco de http://www.slideshare.net/zaubersoftware/barcamp-buenos-aires-linkeddata-mashups-30)

Leave a Reply