Sobre la red neuronal auto-generativa WaveNet (ideada por Google DeepMind)

[Z]

Este trabajo que he desarrollado no estoy tan seguro de que vaya a poder ser seguido por demasiado de los lectores de este foro (porque trata un asunto bastante técnico sobre programación y redes neuronales), pero de todas formas os lo dejo por aquí por si alguien le puede sacar provecho:http://quevidaesta2010.blogspot.com.es/2016/10/implementacion-en-tensorflow-de-la-red.html

Pongo un pequeño resumen para daros una idea de lo tratado:

"Enfocado en el reciente trabajo teórico de Google DeepMind (WaveNet), he desarrollado e implementado una versión en TensorFlow de dicha arquitectura, pero realizando modificaciones para enfocar el diseño en la generación automática de textos (el paper original es: http://arxiv.org/pdf/1609.03499.pdf).

El modelo, ideado originalmente por DeepMind, fue divulgado con detalle por los miembros del mismo equipo en este artículo: http://deepmind.com/blog/wavenet-generative-model-raw-audio/, y mi implementación del mismo (con las modificaciones necesarias para enfocarlo todo en la generación de texto), se encuentra en el siguiente repositorio de mi cuenta personal en GitHub: http://github.com/Zeta36/tensorflow-tex-wavenet. Se trata como podéis ver, de un desarrollo Python usando el framework de Google, TensorFlow.

Os dejo a continuación toda la información técnica sobre este trabajo, aunque siento no tener tiempo para traducirlo y simplemente copiaré a continuación la introducción que hice del mismo en inglés (prometo más adelante escribir una entrada dedicada a divulgar de manera más sencilla el potencial de esta red neuronal, y el indicio que puede contener sobre el modo en que nuestro propio cerebro biológico realiza ciertas tareas relacionadas con la memorización)[...]"

Un saludo a todos!!

[Beamspot]

¿Alguien decía no se qué de estar bien documentado?



¿Sirve esto para crear documentación?



¿Podríamos hacer una variante que hablase de ciertos temas en tono 'se ha inventado un panel PV' que genera electricidad con la luz de la luna' y tal?

[Beamspot]

PD: ¿Ya he dicho que me escapé del frenopático?

[Z]

Jajajjajaj...xDDD

Pero de hecho sí, se podría entrenar por ejemplo para que escriba eco-artículos de esos tan bonitos que nos venden en los diarios que salvarán el mundo :P.

[Beamspot]

No he podido resistir la tentación. Estoy empantanado con documentación varia justamente estos días, así que las malas ideas venían pre cosechadas...

Respecto del artículo, no estoy puesto al día ni por asomo con estos temas, aunque algo sí que me suenan las campanas puesto que hay bastante de esto detrás del asunto del coche 'autónomo', pero me pilla muy muy lejos.

De hecho, tu blog parece ser una buena fuente de información al respecto de algunos puntos.

Ah, y la entrada de la sondita esa de 1Kg a Próxima B... imperdible. Justo cuando Elon Musk anunciaba colonias en Marte para 2020... Vamos, que ni al pelo...

Claro que alguien que sabe de físicas que niegue a San Musk, está abusando de la (falaz) falacia de la autoridad (que es doble), para decir algo que es evidentemente mentira (que Musk se equivoca).

[Dario Ruarte]

Zeta:

Te escribo este mensaje aquí porque es uno de los últimos post que has abierto así que supongo lo leerás de tanto en tanto.

Te había dicho -en el tema del "Universo Computado"- que, tenía que encontrar un libro muy particular para recomendarte y, tras buscarlo un poco finalmente di con él y procedo a la invitación.

Empezando por lo concreto el libro se titula "Un Valor Imaginario" y es de un autor bastante particular que se llama Stanislaw Lem.

Está en los formatos de "ebook" en todas las librerías "de gratis" que andan por ahí (esto por si tienes un libro electrónico y te resulta más sencillo leerlo en formato epub o el de Kindle) pero, en caso que no tengas aquí va la versión en PDF:

http://solaas.com.ar/generativos/files/Lem_Stanislaw-Un_valor_imaginario.pdf

No es un libro demasiado extenso (170 páginas), está escrito en 1973, supuestamente está catalogado dentro de la "Ciencia Ficción" (es el género más corriente del autor) aunque también -y con más acierto- suelen colocarlo en la categoría de "Ensayos" pero, tengo que avisarte que, si te lo sugiero no es porque sea "ciencia ficción" sino porque el hijo de puta de Lem -como Borges- "saben" cosas pero, las cuentan, explican o dicen "escondidas" en un contexto de varias capas.

Y mientras que Borges, por su calidad literaria y por escribir desde el género fantástico se deja leer como agua que fluye por el arroyo -lo disfrutas aunque no tengas las claves para entender el mensaje subyacente-, en el caso de Lem, mucho más rígido para escribir, la cosa es un poco más dificultosa. Y más en esta obra.

Es tanto o más directo que Borges en las cosas que cuenta pero, al mismo tiempo, si no sabes lo que estás buscando puedes huir de la lectura porque se hace más ríspida.

Siempre pongo este ejemplo: Un libro de ajedrez que relata partidas, para alguien que entiende la notación del ajedrez y tiene un cierto nivel, opera como una película... estás "viendo" partidas en tu mente.

Para el que no tiene esas claves el libro es una sucesión de D4Pr, P4R-5R, DxP, CxD, etc.

Obviamente el ajedrecista leerá el libro y, más de una vez ante la belleza o genialidad de una jugada le correrán lágrimas por sus mejillas y, para cualquiera que no participe del código es algo ilegible y que se abandona a la primera página.

Un músico lee una partitura y "la escucha" en su mente. Casi no hay diferencia entre estar escuchando la obra en un teatro o leyéndola en una hoja de papel. Para los que no somos músicos es como ver hormigas corriendo en un papel.

Bueno, con Lem pasa lo mismo -y más en esta particular obra-. El está "diciendo" cosas que, si no conoces o tratas de deducir la notación del ajedrez o las notas musicales a duras penas quedan como un cuento simpático (y a veces ni eso).

Este es un libro para leer con el modo "el universo computable" o "la inteligencia artificial" puesta en MODO ON (y es por eso que te lo recomiendo -y muy enfáticamente dicho sea de paso-).

Hasta acá la explicación más "formal", doy un paso adicional ahora.

===

No he encontrado a nadie -es bastante lógico- que comente la obra desde su clave más profunda, sin embargo -y al menos- hay una crítica que avanza hasta el segundo nivel de profundidad del libro y puede ser una buena síntesis inicial antes de leerlo. Es la nota de Raúl Alejandro López Nevado y está aquí:

https://www.ciencia-ficcion.com/limites/lm0187.htm

Vale como introducción aunque, la explicación de algo complejo a veces es más complejo que la obra misma . En todo caso sirve leerlo ANTES y DESPUES de leer el libro y contiene varias observaciones valiosas -algunas se entienden ANTES de leerlo, otras se advierten DESPUES de haberlo leído-.

Hay que avisar que el libro incluye diferentes capítulos o secciones que, si bien están todas relacionadas a un nivel más profundo, en lo externo son relativamente autónomas y, más que todo la primera (que habla de los prefacios y que es casi un juego por parte del autor).

La parte "densa" del libro es la que sigue. Primero donde explica la "bitica" y luego donde habla con el súper-ordenador GOLEM XIV.

Alejandro López en su comentario tiene un "atisbo" de que en la obra hay "algo más" debajo cuando comenta con sorpresa que Lem, en esta obra, adelanta la conclusión de muchos genetistas modernos (la diferencia es que Lem NO ES GENETISTA y que, en 1973 la genética era una ciencia en pañales).

Y esto se debe -es mi agregado- a que Lem en realidad está hablando desde el LOGOS y percibiendo desde la sensibilidad los alcances que el mismo tiene para entender el Universo.

Cuando leas las cosas que dice GOLEM XIV (la mega-máquina inteligente) y si llevas encendidas las luces de "universo computable" e "inteligencia artificial" puede -literalmente- que te vuele la cabeza.

NOTA = Si por esas cosas arrancas "mal" con el libro y no te convence, al menos avanza hasta el capítulo dedicado a las charlas con GOLEM XIV. Lo ideal es leerlo completo. En todo caso la segunda mitad.

Para darte una leve perspectiva: ¿ Recuerdas ese famoso ejemplo de un mono escribiendo al azar en una máquina de escribir a lo largo de toda la eternidad ?. Supuestamente -y por mera "fuerza bruta" de la repetición al infinito- ese Mono habría reescrito todas las obras que existen, desde El Quijote a Crítica de la Razón Pura... y en varias versiones... y con varios finales alternativos... y con personajes mezclados... y en todos los idiomas.

Hasta aquí, todo bien. Eso es lo que tiene la probabilidad de repetir algo hasta el infinito.

Lo que nos olvidamos de decir es que es mono, además, habría escrito todas las obras de OTRAS CIVILIZACIONES EXTRATERRESTRES... y en sus lenguajes originales (que no entenderíamos) pero hasta en sus traducciones a lenguajes terrestres (que quizás tampoco entenderíamos).

La mera combinación azarosa durante un tiempo infinito podría producir todos los resultados posibles de todo lo que existe.

Pues bien... como sabiamente percibes en tu trabajo ese esfuerzo es demasiado agotador y, ordenando un poco las reglas y usando algunos algoritmos de estructura podrían lograrse el mismo resultado (o uno más específico) en menos tiempo y con menos recursos.

¿ Existen esas reglas y algoritmos "ahorradores" y "estructuradores" o el Universo es una versión funcional de las tantas que el mono del teclado infinito puede lograr por mera fuera bruta ?

Sé que para un "físico" o un "matemático" pasar al lenguaje tradicional para interpretar el Universo y sus claves le resulta tan extraño como caer en la carpeta de partituras o el libro de ajedrez... pero es apenas cuestión de abrirse un poco al código para entenderlo.

Lem, nos pone de cara al "logos" con sus juegos y malabares verbales... a ver si te doy una pista con este texto que cita Alejandro López en su crítica y luego pongo una de mi cosecha.

Y así, como quien no quiere la cosa, introduce el concepto de metalango, una lengua de lenguas, algo que se acerca a nuestro concepto de metalenguaje, pero sin llegar a serlo propiamente.

Intentemos una definición rápida, si nos encontramos con que la realidad podría considerarse un lenguaje de orden cero, el primer metalango sería la lengua que condensa los elementos de la realidad para poder hablar de ellos. Decimos simplemente montaña y ya no necesitamos el viento, la altura, los árboles, el frío, el olor de tierra mojada, los mil ruidos del bosque y la humedad del ambiente para saber a qué nos estamos refiriendo, y sin embargo, todos estos elementos están contenidos en la palabra montaña.

Ahora bien, un lenguaje capaz de condensar expresivamente en una palabra toda una serie significativa de esta primera lengua, sería un metalango de orden dos, uno que fuera capaz de condensar las oraciones de este metalango, sería a su vez un metalango de orden tres, y así hasta el infinito, tal vez, o hasta que encontráramos un metalango cuya única palabra condensara en sí absolutamente todas las palabras del resto de lenguas, y con ellas, todos los objetos de la realidad.

Guau... una UNICA PALABRA que encierra -como metalango de nivel superior- TODA LA REALIDAD a la que, a medida que se va "desenrrollando" en sus significados -en metalangos inferiores- explica o crea todo lo que existe.

¿ Te suena "al principio fue el verbo -la palabra-"  de algún lado ? 


Y esta es de mi cosecha, apenas un párrafo pero que te va a dejar picando (está presentando un libro y este es uno de sus capítulos):

__________________________

El fruto más extravagante, y tal vez más aleccionador de la terafísica es la hipótesis llamada Poliverso.

Dicha teoría afirma que el Cosmos se divide en dos partes. Nosotros, junto con la materia de los soles, estrellas, planetas y nuestros cuerpos, habitamos en su mitad "lenta", es decir, el bradiverso. La llaman lenta porque el movimiento desarrolla aquí varias velocidades, desde la del reposo, hasta la más alta (localmente): la de la luz.

A la otra (rápida) mitad del Cosmos-el taquiverso-se llega a través de la barrera de luz. Para penetrar en el taquiverso hay que rebasar la velocidad de la luz. Ella constituye, en nuestro mundo, la frontera omnipresente con todos los puntos de la "segunda región de la existencia".
Hace algunas décadas los físicos propusieron la hipótesis de los taquiones, partículas que sólo se mueven a una velocidad superior a la de la luz. Nadie consiguió encontrarlos, a pesar de ser ellos, según la terafísica, los que forman el taquiverso. Mejor dicho, el taquiverso está formado por un solo taquión.

Cuando esa partícula se mueve a una velocidad inferior a la de la luz, adquiere una energía infinitamente grande; cuando acelera, pierde la energía, que despide en forma de radiaciones; si su velocidad llega a ser infinitamente acelerada, la energía se reduce a cero. Al moverse a una velocidad infinitamente acelerada, el taquión se encuentra, evidentemente, en todas partes a la vez: ¡él solo, siendo una partícula omnipresente, forma el taquiverso! 

Además, su ubicuidad crece en la proporción directa al aumento de su velocidad. El mundo, creado por una omnipresencia tan particular, contiene también la radiación que el taquión despide continuamente al acelerar y al perder energía. Ese mundo es el reverso del nuestro: mientras que aquí el movimiento de la luz es el más veloz, allí, en el taquiverso, es el más lento. Al lograr la omnipresencia, el taquión hace del taquiverso un cuerpo cada vez más denso y rígido. Hasta que, al fin, está ya tan "en todas partes", que presiona sobre los cuanta de la luz y los absorbe de nuevo; en consecuencia, sufre un "frenazo" y reduce su velocidad, adquiriendo energía. Cuando la primera se aproxima al cero y la segunda al infinito, el taquión estalla y crea el bradiverso…

Así pues, desde el punto de vista de nuestro universo, esa explosión tuvo lugar alguna vez y creó, primero las estrellas y, luego, a nosotros; pero, desde el del taquiverso, nunca ha pasado nada, ya que no existe un tiempo absoluto en el cual pudieran registrarse los acontecimientos de ambos universos.

Las matemáticas "naturales" de los dos mundos son casi contrarias: en el nuestro, el lento, 1+1 es casi igual a 2 [1+1]@ 2; tan sólo en el mismo límite, cuando se llega a la velocidad de la luz, 1 + 1 se iguala a 1. En el taquiverso, en cambio, 1 es casi igual a infinito [1@ ¥].

Sin embargo, este problema-lo reconocen los mismos "doctores monstruosos"- no está todavía del todo claro, por cuanto la lógica de un determinado universo (¡o poliverso!) es un concepto falto del sentido si el mundo en cuestión no la cultiva, y de momento no consta que en el taquiverso existan sistemas racionales (ni tan siquiera vida).
De acuerdo con este parecer, la matemática tiene unos límites constituidos por las infranqueables barreras de la existencia material: si hablamos de nuestra matemática en un mundo regido por leyes distintas de las del nuestro, diremos cosas absurdas.

__________________________


Este libro -repito- NO ES SENCILLO DE LEER y no porque tenga fórmulas matemáticas o frases difíciles... simplemente porque, para un lector desprevenido no termina de "cuajar" (¿ de qué carajo habla este tipo ?) y, para un lector que "busca el metalango superior" se le cruza mucha hojarasca en el camino que lo distrae.

Pero, teniendo las claves (estoy buscando la explicación subyacente y puedo dejar de lado la hojarasca) se llega a un nivel que sorprende, maravilla y excita.

===

Y termino:

Obviamente Lem no es un físico, ni un biólogo, ni un informático (en 1973 la informática estaba en sus albores), tampoco es un religioso... sin embargo las "cosas que dice" son tan particulares y sorprendentes que tengo dos explicaciones posibles:

1) Es un "sensible", al nivel de Platón o Aristóteles... alguien que con su lenguaje y herramientas atisba la naturaleza "del todo" a un nivel más amplio.

2) O bien, no es tan sensible sino que "ha leído" "ciertos libros" que contienen "ciertas explicaciones" y, lo que hace es introducir esos conceptos en un marco literario y disfrazado bajo otro ropaje (que este sería el caso de Borges a mi entender, un gran estudioso de la Cábala y los filósofos y teólogos).

===

Obviamente dirijo mi invitación a Zeta porque es el autor del "Universo Computado" y creo que encontrará muchas cosas interesantes aquí pero, si lo hago en un post en el Foro es porque dejo abierta la invitación (y la información) para cualquiera que pase por aquí y le interese el tema.

[Z]

Muchísimas gracias por tu extensa referencia, Dario. Te prometo que bajaré el libro y lo leeré en cuanto saque algo de tiempo :).

Un abrazo.

[Beamspot]

He leído bastante a Lem. Es ciertamente muy particular.

Una de las peculiaridades, es la de dejar un sabor de lo más agridulce que he podido encontrar. Reír a carcajadas mientras lo leo, a la vez que lo que dice me deja triste y abatido. Sus obras tienen mucha más profundidad de lo que asoma, y hay que leerlas varias veces para ser conscientes de ello, si es que se consigue llegar a ese nivel de profundidad.

Algunas de sus obras son retratos muy atinados, sutiles y directos a la vez, que reflejan muy bien la condición humana y nuestra sociedad. Algo muy diferente de autores como Asimov (la caída del imperio romano en un teatro redecorado) o Brin (opera espacial 'a la Verdi', puro virtuosismo).

[Dario Ruarte]

Bueno, tal como dices Beamspot con Lem tenemos, ni más ni menos que:

- Solaris
- Ciberiada
- Congreso de Futurología
- La Fiebre del Heno

Ya con eso tienes para "hacer dulce".

Es un autor de lo más profundo y extraño pero, en la obra que menciono creo que hay datos y enfoques que a Zeta lo van a sorprender, sea porque se de cuenta que, sin saberlo, estaba "plagiando" a Lem o, porque va a encontrarse con enfoques que le van a aclarar dudas y preguntas que todavía ni se había formulado.

[Beamspot]

Un par de notas:

//enlenguapropia.wordpress.com/2016/03/08/la-ley-de-lem-o-el-fracaso-de-la-lectura/
http://elpais.com/diario/2001/12/20/ciberpais/1008817346_850215.html

Comentarios de Lem muy acertados para todo el tema del Peak Oil.

Viajes a las estrellas es una colección sencillita y corta que también va bien para 'abrir boca'. Su sentido del humor es muy particular.

[Kanbei]

Dario Ruarte escribió

- Solaris

Vaya! no lo sabía, no se pierdan la peli de Tarkovsky (1972), no el remake de mierda del Sorderberg, o como se diga.