miércoles, mayo 18, 2011

Python, Genshi, fechas y UnicodeDecodeError

Hace unas semanas agregué el locale es_MX.UTF-8 para publicar fechas en español. Me llevó poco más de una hora descubrir un error en una aplicación que había funcionado perfectamente ayer. Los errores de python no siempre son los más claros.

La causa, 'UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 2: ordinal not in range(128)', yo creo el error más odiado para los hispano parlantes de python. La función que uso para publicar la fecha de hoy en Genshi es:
...
<link rel="stylesheet" type="text/css" media="screen" href="${tg.url('/css/tables.css')}" />
</head>
<?python
import locale
locale.setlocale(locale.LC_ALL, 'es_MX.utf8')
import datetime
?>
<body>
 <div id="wrap">
  <h2>
  Cotizaci&oacute;n
   <span>${datetime.datetime.now().strftime("%a %d de %B del %Y").upper()}</span>
  </h2>
  <div id="navcontainer">
...

Nunca se me ocurrió que tenía que preocuparme por días como hoy, Miércoles.
La función queda así:
...
<link rel="stylesheet" type="text/css" media="screen" href="${tg.url('/css/tables.css')}" />
</head>
<?python
import locale
locale.setlocale(locale.LC_ALL, 'es_MX.utf8')
import datetime
?>
<body>
 <div id="wrap">
  <h2>
  Cotizaci&oacute;n
   <span>${datetime.datetime.now().strftime("%a %d de %B del %Y").decode('utf-8').upper()}</span>
  </h2>
  <div id="navcontainer">
...


Agregar .decode('utf-8') funciona la mayoría de las veces que se presenta el UnicodeDecodeError.

miércoles, mayo 11, 2011

Importando desde CSV con Python

Siendo Excel la herramienta más común en todas las pequeñas y medianas empresas, es casi ley que los proyectos inicien con datos ya capturados en tablas. Estas tablas las exporto y las ordeno de acuerdo a mis necesidades.
Comúnmente las exporto a CSV, delimitado por coma con doble comilla como separador.
Creo mi modelo en forma declarativa.
class CoberturaCame(DeclarativeBase):
    """ Beneficios Adicionales """
    __tablename__ = "came"
    
    #{ Columns
    
    id = Column(Integer, autoincrement=True, primary_key=True)    
    tipo = Column(Integer)
    vendedor = Column(Unicode(32))
    edad_inf = Column(u'edad_inf', Integer, nullable=True)
    edad_sup = Column(u'edad_sup', Integer, nullable=True)
    hombre = Column(Float(precision=2), default=0.0)
    mujer = Column(Float(precision=2), default=0.0)
    
    #}
    
    #{ Helpers

    def from_csv_row(self, row):
        self.tipo = row[1]
        self.vendedor = row[2]
        self.edad_inf = row[3]
        self.edad_sup = row[4]
        self.hombre = row[5]
        self.mujer = row[5]
            
    
    @classmethod
    def by_edad_tipo(cls, edad, tipo):
        """Return the BenAdicionales object whose edad is between``edad``."""
        return DBSession.query(cls).filter(
            and_(cls.edad_inf <= edad, 
                cls.edad_sup >= edad,
                cls.tipo==tipo)).first()
        
    #}

y agrego una simple rutina de importación.

from miproyecto import model
import cvs

csvreader = csv.reader(open('res/janem_cobertura_came.csv'))
# skip first row
csvreader.next()
for row in csvreader:
    if len(row) == 0:
        continue
    d = model.CoberturaCame()
    
    d.from_csv_row(row)
    
    model.DBSession.add(d)

model.DBSession.flush()

La función miembro from_csv_row(row) definida en el modelo, es una ayuda visual y no tiene otro propósito mas que copiar los valores de la fila a un objeto nuevo. En algunos casos pudiera servir para realizar alguna transformación como fechas, minúsculas y mayúsculas o alguna operación aritmética antes de entrar. Aunque yo aconsejo realizar todas esas transformaciones desde la tabla de Excel y exportar el CSV ya listo para importar.

Cabe mencionar que las cantidades numéricas deben de estar sin formato, por que los caractéres '$' o las ',' dentro de las cifras confunden el lector de python.

martes, mayo 03, 2011

Forzando phpmyadmin sobre SSL en Ubuntu Lucid (10.04)

Un día me quedé sin conexión a Internet así que decidí tomar prestada la de algún vecino.  Después de algunas horas de trabajo, me vino un extraño pensamiento ... '¿y si mi vecino captura todos los passwords que pasan por su red como lo hago yo?' He entrado a los phpmyadmins de tres servidores haciendo modificaciones, fácilmente pudo capturar tres credenciales de root.

Resulta que no está bien documentado en la red cómo asegurar phpmyadmin en un Ubuntu Lucid.

Tengo que crear las llaves de seguridad
# apt-get update
# apt-get upgrade
# apt-get install openssl
# mkdir /etc/ssl/localcerts
# openssl req -new -x509 -days 365 -nodes -out /etc/ssl/localcerts/apache.pem -keyout /etc/ssl/localcerts/apache.key
# chmod 600 /etc/ssl/localcerts/apache*

Habilitar el módulo SSL del Apache
# cd /etc/apache2/mods-enabled
# ln -s ../mods-available/ssl.* .

Habilitar el sitio por default SSL de Apache
# cd /etc/apache2/sites-enabled
# ln -s ../sites-available/default-ssl .

Modificar default-ssl
<IfModule mod_ssl.c>
- <VirtualHost _default_:443>
------
  <IfModule mod_ssl.c>
+ <VirtualHost *:443>

Modificar /etc/apache2/ports.conf
<IfModule mod_ssl.c>
    # If you add NameVirtualHost *:443 here, you will also have to change
    # the VirtualHost statement in /etc/apache2/sites-available/default-ssl
    # to <VirtualHost *:443>
    # Server Name Indication for SSL named virtual hosts is currently not
    # supported by MSIE on Windows XP.
+   NameVirtualHost *:443
    Listen 443
</IfModule>

Adaptar /etc/apache2/conf.d/phpmyadmin.conf, aquí yo envuelvo la configuración dentro de un VirtualHost con el nombre de mi servidor, en este ejemplo my.servername.com
+<VirtualHost *:443>
+       ServerName my.servername.com
+       ServerAdmin webmaster@servername.com
+
+ DocumentRoot /var/www
  Alias /phpmyadmin /usr/share/phpmyadmin
al inicio y
+   #   SSL Engine Switch:
+   #   Enable/Disable SSL for this virtual host.
+   SSLEngine on
+
+   #   A self-signed (snakeoil) certificate can be created by installing
+   #   the ssl-cert package. See
+   #   /usr/share/doc/apache2.2-common/README.Debian.gz for more info.
+   #   If both key and certificate are stored in the same file, only the
+   #   SSLCertificateFile directive is needed.
+   SSLCertificateFile    /etc/ssl/localcerts/apache.pem
+   SSLCertificateKeyFile /etc/ssl/localcerts/apache.key
+</VirtualHost>
al final. Reiniciamos el servidor y probamos.

Parece mucho trabajo para algo que debería de ser aún más simple, sin embargo, los beneficios en seguridad valen la pena.

Mas info en: Creating a Self-Signed Certificate, phpmyadmin Documentation, Configure Apache to support multiple SSL sites on a single IP address

Actualizado 20 enero 2013 me faltó incluir una forma para obligar a phpmyadmin editando config.inc.php

// poner esto hasta abajo
$cfg['ForceSSL'] = true;

miércoles, abril 20, 2011

Subversion. Creando un patch y aplicándolo en otro branch

Cuando manejo dos branches o ramas de un mismo proyecto, me encuentro con bugfixes que deben de quedar en los dos, para ello creo un patch en la versión que arreglé para aplicarlo en la otra versión.
$ svn diff -c 372 > bugfix_patch
372 es la revisión que contiene el bugfix, el archivo creado contiene la información del patch

Index: update_script.py
===================================================================
--- update_script.py (revision 371)
+++ update_script.py (revision 372)
@@ -20,7 +20,7 @@
     ids = model.Product.getAll_filtered()
     
     for i in ids:
-        l.append(i.model)
+        l.append(i.model.strip() if i.model != None else '')
     
     rpc.updateList(l)
 

luego copio el archivo bugfix_patch al working directory de mi otro branch y aplico el patch.
$ patch -p0 < patch2
-p0 hace que los nombres de los archivos contenidos en el patch mantengan completo su path

Mas info en patch manpage

viernes, abril 15, 2011

Subversion. Moviendo un repositorio svn

Necesito mover un repositorio de un servidor a otro. En este caso es un viejo proyecto que no quiero perder que está alojado en un viejo servidor. Parece que en svn la mejor opción es hacer un dump, y luego un load.

$ svnadmin dump /home/svn/crmdev > crmdev.dump
* Dumped revision 0.
* Dumped revision 1.
* Dumped revision 2.
* Dumped revision 3.
* Dumped revision 4.
...

* Notar que svnadmin dump sólo funciona para paths y no urls.
Se crea un archivo de 184M
...
184M -rw-r--r-- 1 lukesw lukesw 184M 2011-04-15 11:04 crmdev.dump
...
Lo comprimo...
$ bzip2 crmdev.dump
... y queda en unos 141M
141M -rw-r--r-- 1 pablito pablito 141M 2011-04-15 11:04 crmdev.dump.bz2
Me ahorré 40M de transferencia entre servers, que con la tasa de transferencia de Infinitum son bastante considerables.
$ scp crmdev.dump.bz2 svn@super.newserver.com:/home/svn
En el nuevo servidor creo el repositorio y lo cargo con el dump
$ svnadmin create crmdev
$ svnadmin load crmdev < crmdev.dump
...
<<< Started new transaction, based on original revision 1
     * adding path : trunk/umlconcepts ... done.
     * adding path : trunk/umlconcepts/.classpath ... done.
     * adding path : trunk/umlconcepts/.myumldata ... done.
     * adding path : trunk/umlconcepts/.project ... done.
     * adding path : trunk/umlconcepts/.settings ... done.
     * adding path : trunk/umlconcepts/.settings/com.genuitec.eclipse.core.prefs ... done.
     * adding path : trunk/umlconcepts/uml.umr ... done.
...
<<< Started new transaction, based on original revision 63
     * editing path : trunk/productsweb/WebRoot/WEB-INF/jsp/footer.jsp ... done.

------- Committed revision 63 >>>
Listo, el repositorio ha sido copiado/movido

martes, abril 12, 2011

.hgignore para proyectos Turbogears 2+

Subversion es mi VCS favorito, sin embargo uso mucho Mercurial para cambios pequeños, pruebas de código y parches. Tengo repositorios híbridos (SVN/HG) que me funcionan muy bien. Copio mi archivo .hgignore para futura referencia.
# use glob syntax.
syntax: glob
*.svn   # repositorio híbrido
*.pyc   # compilados
*~      # temporales

syntax: regexp
^lib$   # librería específica del proyecto
* Tengo que hacer una referencia rápida para Mercurial

lunes, abril 04, 2011

Multiple relación a la misma tabla con Declarative SQLAlchemy 0.6

En el manual de SQLAlchemy la solución no es muy clara para la forma declarative, me arrojaba el siguiente error
sqlalchemy.exc.ArgumentError: Column-based expression object expected for argument 'primaryjoin'; got: 'False'
Al ver Column-based expression supuse que era el mismo tipo que en los filtros y así fué. La solución es simple como siempre, la pongo aquí para referencia.
class Registro(DeclarativeBase):
    __tablename__ = 'registro'
    
    #{ Columns    
    id = Column(Integer, primary_key=True)
    # folio único
    folio = Column(Integer, nullable=True)
    medic_id = Column(u'medic_id', Integer, ForeignKey('medic.id'))
    nursea_id = Column(u'nursea_id', Integer, ForeignKey('nurse.id'), nullable=True)
    nurseb_id = Column(u'nurseb_id', Integer, ForeignKey('nurse.id'), nullable=True)
    room_id = Column(u'room_id', Integer, ForeignKey('room.id'))
    status_id = Column(u'status_id', Integer, ForeignKey('status.id'))
    fecha = Column(u'fecha', Date(timezone=False), primary_key=False, nullable=True)
    patient = Column(u'patient', Unicode(255), nullable=False)
    patient_age = Column(u'patient_age', Integer, nullable=True)
    mat = Column(u'mat', Unicode(255), nullable=False)
    kit_id = Column(u'kit_id', Integer, ForeignKey('kit.id'))
    hour_in = Column(u'hour_in', Unicode(16), nullable=False)
    hour_out = Column(u'hour_out', Unicode(16), nullable=False)
    diagnosis = Column(u'diagnosis', Text(length=None, convert_unicode=True, \
        assert_unicode=None), primary_key=False)
    procedure = Column(u'procedure', Unicode(255), nullable=False)
    notes = Column(u'notes', Text(length=None, convert_unicode=True, \
        assert_unicode=None), primary_key=False)
la relación dentro la misma clase queraría así
    #{ Relations
    
    medic = relation(Medic)
    kit = relation(Kit)
    status = relation(Status)
    room = relation(Room)
    nursea = relation(Nurse, primaryjoin=nursea_id == Nurse.id)
    nurseb = relation(Nurse, primaryjoin=nurseb_id == Nurse.id)
    
    #}

viernes, abril 01, 2011

Python y locale.setlocale

Quiero desplegar las fechas de mis páginas hechas con Turbogears2.0 en español.  Ahora tengo esta salida.

In [5]: datetime.datetime.now().strftime("%a %d de %B del %Y")
Out[5]: 'Fri 01 de April del 2011'

Reviso los locale que tengo instalados en mi servidor, en este caso un Ubuntu Lucid (10.04)

root@kirk:~# locale -a
C
POSIX
en_AG
en_AU.utf8
en_BW.utf8
en_CA.utf8
en_DK.utf8
en_GB.utf8
en_HK.utf8
en_IE.utf8
en_IN
en_NG
en_NZ.utf8
en_PH.utf8
en_SG.utf8
en_US.utf8
en_ZA.utf8
en_ZW.utf8
root@kirk:~#

Si no está el locale que requiero, lo genero, en este caso es: es_MX.UTF-8

root@kirk:~# /usr/sbin/locale-gen es_MX.UTF-8
Generating locales...
es_MX.UTF-8... done
Generation complete.
root@kirk:~#
La generación de locales en Lucid difiere un poco de como lo hacía en Intrepid
Confirmo la generación del locale

root@kirk:~# locale -a
C
POSIX
en_AG
en_AU.utf8
en_BW.utf8
en_CA.utf8
en_DK.utf8
en_GB.utf8
en_HK.utf8
en_IE.utf8
en_IN
en_NG
en_NZ.utf8
en_PH.utf8
en_SG.utf8
en_US.utf8
en_ZA.utf8
en_ZW.utf8
es_MX.utf8
root@kirk:~#

Bien, ya tengo un locale en español que puedo utilizar. Lo activo dentro de mi ambiente python y compruebo.

In [6]: import locale

In [7]: locale.setlocale(locale.LC_ALL, 'es_MX.utf8')
Out[7]: 'es_MX.utf8'

In [8]: datetime.datetime.now().strftime("%a %d de %B del %Y")
Out[8]: 'vie 01 de abril del 2011'


Algo realmente simple me entretuvo mucho tiempo, ya que obtenía errores como:

In [9]: locale.setlocale(locale.LC_ALL, 'es_MX')
---------------------------------------------------------------------------
Error Traceback (most recent call last)

/usr/lib/python2.6/locale.pyc in setlocale(category, locale)
511 # convert to string

512 locale = normalize(_build_localename(locale))
--> 513 return _setlocale(category, locale)
514
515 def resetlocale(category=LC_ALL):

Error: unsupported locale setting

... y encontré poca documentación al respecto, lo pongo aquí para futuras referencias.