www.rtve.es /pages/rtve-player-app/2.17.1/js/
4433718
Millennium - Alma de robot - ver ahora
Transcripción completa

de la Fundación Telefónica. Bueno, la anterior revista reconformada,

(Música)

La verdad es que las pantallas nos aportan casi todo hoy en día.

Tengo aquí, en el teléfono, una imagen de la nueva revista

de la Fundación Telefónica. Bueno, la anterior revista reconformada,

que se llama "TELOS". En la portada, está Amber Case,

que dice "los robots nos harán más humanos".

La ciborgantropóloga que transforma nuestra relación con las máquinas.

La verdad es que esa relación es una relación ambigua.

Por un lado, nos atraen; por otro lado, nos dan miedo.

¿Por qué? Porque siempre, detrás de un robot, pensamos

que hay alguien que puede acabar con nosotros físicamente

o laboralmente. Hoy, en nuestro programa,

hablaremos sobre la relación nuestra con los robots.

Bienvenidos a "Millennium".

(Música cabecera)

Se lo voy a confesar nada más comenzar el programa.

Me cuesta mucho... aclarar la idea que yo tengo de los robots

porque... el cine, la literatura...

nos han propuesto muchos modelos y hace que tengamos

una imagen determinada. Yo, concretamente,

que he visto más de 10 veces el "2001", de Stanley Kubrick,

me cuesta mucho pensar que un robot no vaya a ser como el HAL 2000

que hay en esa película. Por tanto, al empezar este programa,

prefiero confesar que hay cosas que son algo complejas para mí.

Podríamos hablar de los robots asesinos de "Terminator"

a los robots con emociones de "Blade Runner",

a los robots simpáticos de las películas de niños...

Quizás lo más difícil sea dejarlos de ver...

con ojos de ficción para pasar a verlos con ojos de realidad.

Les presento a los cuatro invitados que son, espero,

los que nos harán ver esos robots tal cual son.

En primer lugar, doña Concha Monje. Doctora, ingeniera industrial,

investigadora en robótica humanoide en el Robotics Lab

de la Universidad Carlos III de Madrid.

Estudia el desarrollo de robots blancos y sus aplicaciones

en la sociedad robótica del futuro. Ha sido asesora científica

de la película "Autómata", de Antonio Banderas,

sobre la evolución de los robots y sus consecuencias

en el futuro cercano.

A ver, ¿el Robotics Lab trabaja en robótica humanoide

porque hay una que no sea humanoide?

(RÍE) Bueno, efectivamente. La robótica humanoide

viene a querer significar que el robot tiene apariencia humana,

morfológicamente es un humano. Bípedo, con brazos y piernas.

Pero se refiere básicamente a esta estructura, ¿no?

Luego, hay una robótica, si quieres, más social.

Ahí tenemos a Maggie, que es un robot diferente.

No tiene piernas, es un robot con ruedas.

Digamos que nos clasificamos un poco por temáticas.

En concreto, la robótica humanoide sí que nosotros la concebimos

como morfológicamente con presencia o con esencia humana en ese sentido.

¿Por qué tiene esa importancia tan grande en la concepción

de los robots el cine? Porque yo he dicho lo de HAL,

pero podríamos hablar de cualquier robot de los que salen

en total la saga de "La guerra de las galaxias"...

Bueno, evidentemente, para mí, el cine es un gran referente

y es un gran inyector de ideas a los científicos, en primer lugar.

¿Sí? Sí.

Yo lo considero totalmente así. En el fondo refleja anhelos,

anhelos que tenemos, ¿no? Claro, al final,

la humanidad evoluciona para, de alguna manera,

conseguir cumplir y hacer realidad estos anhelos,

estas necesidades. Y creo que el cine las retrata

fantásticamente bien. Hay que hacerle más caso.

Pero el cine se habrá basado, a su vez, en algún conocimiento

de algún científico, ¿no? Cierto, cierto.

Pero el cine... Porque, por ejemplo, yo he tenido la suerte

de participar en este proceso. Pero te das cuentas de que,

pese a que tienen esta semilla de la ciencia debajo,

que sustenta rigurosamente lo que se establece en esta película,

en la película que sea, los cineastas tienen esta virtud

de ir un poquito más allá, ¿no? Y de ser más libres

en el planteamiento y proponer nuevas puertas,

pese a que esté sustentado en algo científico y sólido.

Y esto es maravilloso. Porque también, a los científicos,

se nos cuestionan una serie de preguntas...

¿Y por qué no? ¿Por qué no podríamos ir por esta vía

que se nos retrata en el cine o en la literatura?

Y que, además, se ha demostrado con el tiempo que, finalmente,

influye más en la ciencia de lo que parece.

¿El futuro con robots es más agradable que el presente sin?

Yo creo que sí, definitivamente.

Los robots, en el futuro, nos van a aliviar de muchas cosas,

ya no hablo de trabajos forzosos, como se concebía inicialmente

la idea de robot, sino que hablo de un sustento

a todos los niveles, físicos, médicos e, incluso, emocionales.

Por supuesto.

Luego me cuenta lo de los emocionales, gracias.

La señora Moon Ribas, nombre bonito...

Eh, artista cíborg, con sensores implantados en sus pies

que vibran cuando se produce un terremoto

en cualquier parte del planeta. En 2010,

cofundó la Cyborg Foundation, una organización internacional

dedicada a facilitar la implantación de tecnología en los humanos

para desarrollar... sentido.

Sentidos, en plural, sería mejor.

(ASIENTE)

Pero yo tengo que hacerle una pregunta de pura curiosidad.

Cuando hay un terremoto en algún lugar del mundo,

¿usted qué siente en sus pies? ¿Cosquillas?

(CARRASPEA) Vibraciones.

Cada vez que hay una actividad sísmica

en cualquier lugar del planeta, yo noto una vibración

dentro de mi cuerpo, así que es como...

tengo otro latido dentro de mi corazón,

el latido de la Tierra, que va a su propio ritmo.

No crea que yo soy maleducado, intento no serlo,

pero me cuesta... creerlo.

¿Por qué tiene usted esa virtud?

Ah... Para mí, empezó como un proyecto artístico.

Yo estaba estudiando Coreografía y Danza

y yo quería explorar el movimiento de una manera más profunda.

Sabía que la tecnología me podía ayudar a experimentar

el movimiento de una manera más profunda

que mis sentidos naturales no me dejan.

Hay muchas cosas que se mueven a nuestro alrededor

que no podemos percibir porque nuestros sentidos

son limitados. Así que si añades un nuevo sentido,

tu percepción de la realidad cambia. Y eso, a mí, me fascinaba.

Hice diferentes proyectos para percibir el movimiento imperceptible

hasta que me di cuenta de que la Tierra, constantemente,

se mueve, no solo gira, sino que crea terremotos.

Es un movimiento extremadamente grande y natural,

imperceptible la mayoría de veces.

Y me fascinaba la idea de estar unida a este movimiento.

¿Usted presiente más cosas además de los terremotos?

No. Cada vez que un sismógrafo nota la vibración, pues yo la noto.

No es nada de percibir. Hay gente que se piensa

que es más esotérico de lo que es, pero...

Ojalá me ayudara a percibir... Por eso, tenemos que aprender

de otras especies que viven en nuestro planeta

para entender mejor nuestro propio planeta.

¿Y usted cree que la tecnología nos permitirá ser mejores?

Ah, la tecnología... Yo espero que la tecnología

nos permita tener más empatía con nuestro planeta

y con otras especies que viven en nuestro planeta.

Crear más... Creo que nos tenemos que inspirar de otros animales

y a aprender... Creo que aún tenemos que aprender a vivir

en nuestro tiempo planeta porque nuestro estilo de vida

no está acorde con las necesidades de la Tierra.

Gracias por venir, por estar con nosotros.

Por contarnos todas esas cosas.

Ahora sí, me toca presentar al señor Antonio Orbe, psicólogo,

informático, divulgador científico. Ha trabajado 30 años

en una compañía multinacional informática.

Es presidente del Foro Futuro Próximo.

Su último libro publicado es exactamente este,

"Una mirada al futuro. Inteligencia artificial, abundancia,

empleo y sociedad", que está editado por Altaria.

Usted, en este libro, ofrece una visión muy optimista

del futuro que nos va a deparar con los robots.

Ese optimismo, ¿en qué se basa? Bueno, es curioso,

porque cuando escribí el libro pensaba que mi visión

era muy pesimista y, de hecho, me daba cosa entregarlo por ahí.

Qué pesimista soy, qué pesimista soy...

Cuando la gente lo lee, cree que es una visión muy optimista.

Bueno, es pesimista y optimista. Yo creo que es optimista

en el sentido de que, obviamente, la tecnología mejora la vida

y tenemos una vida mejor. Eso es innegable, ¿no?

Ayer leía un chiste de dos cavernícolas,

que se decían el uno al otro: "Estoy preocupado.

Nuestro aire es muy limpio, nuestra agua es muy limpia,

comemos comida orgánica, hacemos ejercicio

y solo vivimos 30 años". Y es verdad,

la vida ha cambiado gracias a la tecnología.

Entonces, esa es la parte fundamental del libro.

Cómo la tecnología ha cambiado nuestra vida

y, muy especialmente, en los últimos años la robótica

y, sobre todo, en la inteligencia artificial.

Luego, está basado en multitud de datos de esperanza de vida,

derechos de la mujer, derechos de los niños, violencia,

educación... En general, casi todos los índices son positivos.

Me gustaría que me explicase y a nuestros espectadores,

sobre todo, la computación cognitiva.

Ese concepto que usted utiliza y que, para los que somos profanos,

nos cuesta conocer. Sí.

Realmente, es una nueva forma de hablar de la inteligencia artificial,

en realidad, es inteligencia oficial. La computación cognitiva, si acaso,

tiene un componente un poquito más de humanizar el trato

con las máquinas. Porque, hasta la fecha,

estamos obligados a ponernos en el nivel de la máquina

y hablarle a la máquina como la máquina nos entiende.

Y hacemos nosotros el esfuerzo. La computación cognitiva,

de alguna manera, es subir el nivel de las máquinas

para que ellas cada vez entiendan más nuestro interfaz natural de hablar,

que es el lenguaje. Es un poco eso.

Es una mezcla de inteligencia artificial

con, digamos, poner a las máquinas a nuestro nivel

y no nosotros al nivel de las máquinas...

Por resumirlo.

Seguiremos dentro de unos momentos porque yo quiero presentar

al señor David Ríos, estadístico, doctor en Informática.

Dirige la cátedra AXA de Análisis de Riesgos Adversarios

del Instituto de Ciencias Matemáticas y el CSIC.

Numerario de la Real Academia de Ciencias Exactas,

Físicas y Naturales, director científico

de la empresa española Aisoy Robotics,

que ha diseñado un robot social capaz

de interactuar emocionalmente con los humanos.

¿Qué hace ese robot en concreto?

Bueno, se puede visualizar de varias formas.

La primera, podría convertirse en una mascota de compañía.

Podría acompañar a niños, podría acompañar...

Podría ser como un perro, por ejemplo.

Luego, también podemos utilizarla con usos específicos.

Por ejemplo, podemos utilizarlo para mejorar la educación,

podemos emplearlo para mejorar el acompañamiento

de niños con autismo, podemos utilizarlo para mejorar

el acompañamiento de personas mayores...

Tenemos un espectro de usos considerable.

Digamos, el aspecto emocional nos permite mejorar la interacción,

crear un vínculo mejor con el usuario,

con la persona que lo va a emplear o las personas que lo van a emplear.

Hasta ahora, posiblemente gracias al cine,

siempre que hablamos de robots, hablamos de unos seres

que son capaces de muchas cosas técnicas,

pero no de tener emociones. Sin embargo, ustedes hablan

de robots y de emociones. ¿Cuáles son las emociones

que puede tener un robot? Sí, lo que hacemos es construir

modelos matemáticos que nos permiten simular esas emociones.

El robot se puede poner contento, triste, puede tener miedo...

Lo que primero hacemos construir, basados en teorías psicológicas,

modelos... Por ejemplo, cuando un robot alcanza sus objetivos,

se pone contento; si no los alcanza, se pone triste...

si predice algo que va contra sus objetivos, digamos,

le va a afectar, pues se pone temeroso...

Esencialmente, lo que hacemos es simular y eso afecta

a la toma de decisiones del robot y también a la expresión del robot.

Con eso, lo que conseguimos es un vínculo mejor con el usuario.

Ese sería el objetivo.

Eh, ¿los robots son subsidiarios de los seres humanos?

¿Tienen que serlo? Bueno, hay robots autónomos,

que toman decisiones de forma autónoma;

pero son subsidiarios en el sentido de que están programados por humanos.

De manera que los objetivos vitales de esos robots, bueno,

son los que le hemos programado las personas.

Por ejemplo, un humano se deprime,

tiene que tomar decisiones, no sabe qué tomar,

está sumido en un pozo negro.

¿El robot le puede ayudar?

Le puede ayudar perfectamente. De hecho, le ayuda.

¿Cómo le ayuda? Hay ejemplos.

Bueno, digamos que habría que codificar ese problema

de toma de decisiones de forma que lo entendiese el robot.

Hay modelos matemáticos que ayudan a tomar esas decisiones

y, de alguna forma, se le comunica en el lenguaje que entiende el robot,

el robot es capaz de evaluar esas alternativas...

Y, bueno, aconsejar la mejor decisión.

Eso se hace en un montón de campos ya.

Lo único, digamos, que hay que conseguir es comunicar

de forma adecuada esos problemas de toma de decisiones.

Vamos a ver el reportaje del principio del programa,

como solemos hacer siempre, y vemos las preguntas,

las cuestiones, que se han quedado sobre la mesa

para que nuestros invitados puedan contestarlos

y también puedan iniciar el debate entre ellos mismos.

(Pitidos)

Entramos en quirófano para ser testigos de cómo el uso de robots

en salas de operaciones, como esta de un hospital público,

está marcando el comienzo de una nueva era en la salud.

Hoy, este robot de cuatro brazos, que se llama Da Vinci,

es quien va a realizar esta intervención de extracción

de próstata. No es un doctor de carne y hueso, es una máquina

y es el cirujano del siglo XXI.

El doctor Jesús Moreno maneja como pocos en España esta máquina.

¿Cuál es su función dentro del quirófano?

Eh, yo voy a dirigir al robot Da Vinci.

El robot no opera solo. Es lo que los gustaría,

pero no es así. Necesita a alguien que le dé

las órdenes para ejecutarlas. Bueno, en este paciente,

lo que vamos a hacer es hacerle una prostatectomía radical,

oncológica. Él controla las manos del robot

desde aquí, a 1 m de distancia de la mesa de operaciones.

¿Cómo es manejar esto? ¿Cómo funciona?

Como si fuera una consola de juegos. Es un panel de mandos,

donde le damos las instrucciones al robot para que nos obedezca.

Yo introduzco mis dedos aquí y, con estos pequeños movimientos,

hago que se muevan los brazos de un sitio a otro.

En este visor que tenemos en la parte central,

donde yo coloco la cabeza, pues nos permite poder ver la imagen

en tres dimensiones. La visión que se consigue

es como si el médico estuviera en el interior del paciente.

El robot Da Vinci, innovador como el genio del que toma su nombre,

es uno de los avances más ambiciosos de la medicina actual.

Nos permite acceder a campos muy chiquititos.

Hasta hace poco tiempo, para hacer este tipo de intervenciones,

teníamos que hacer una gran incisión, una gran apertura

de la cavidad abdominal. Además, su tecnología

hace casi imposible el error humano. Si mi mano tiembla,

pues corrige el temblor. Y el corte, la incisión,

es absolutamente perfecta. Un día puedes estar más estresado

por lo que sea y, a lo mejor, te puede temblar el pulso.

Te lo corrige el robot. Yo tengo una limitación en mi mano,

pero el robot no tiene ninguna limitación.

Puede dar la vuelta 360 °. El robot Da Vinci

lleva más de 1300 operaciones en este hospital

y con grandes resultados. La siguiente generación de robots

se prevé que sean robots con inteligencia artificial.

Yo no sé si lo veré, me gustaría verlo.

Pero yo creo que el avance va a venir dado más por el desarrollo

de otros robots diferentes que puedan hacer la competencia a este.

Este podría ser solo el comienzo.

¿Los robots nos ayudarán a tener una vida mejor o son una amenaza

para el empleo?

(Música)

La pregunta es obvia. ¿Van a permitirnos esa vida mejor?

Según lo que hemos visto en el quirófano,

está claro que sí. Pero... también los robots,

a lo mejor, del mismo modo que hacen cosas, digamos, buenas

o positivas, también pueden hacer cosas malas y negativas.

¿Sí o no?

Yo creo que malas...

Hay dos posibilidades para que hagan cosas malas.

Una es que funcionen mal, que estén mal hechos,

que es lo que pasa con muchas películas,

que el robot acaba funcionando mal...

Y otra es que estén hechas para hacer el mal,

pero ninguna de las dos es probable. Eh, no.

Yo creo que no hacen cosas malas. O sea, hacen cosas buenas,

están hechos para hacer cosas buenas y así será.

Otra cosa es que tengan consecuencias sociales,

un impacto social tremendo, pero eso es otra historia,

no que hagan cosas malas. -Pero sí es posible...

Quiero decir, se pueden programar para que hagan el mal

y en todos los procesos tecnológicos tenemos ejemplos de buenos usos

de tecnología y malos usos de la tecnología.

Entonces, es necesario algún tipo de regulación

porque el problema real existe. O sea, la tecnología es buena,

progresamos, pero tenemos que tener en cuenta esos posibles malos usos.

Y también es muy importante eso que, como tecnología,

digamos que hay que diseñarla tolerante a fallos.

Como tecnología informática que es, también es hackeable...

Entonces, hay unos riesgos de los que debemos ser conscientes.

Tenemos que tomar medidas para evitarlos,

pero digamos que es muy importante tenerlo en el horizonte.

El progreso es inevitable, pero hay que tener en cuenta

esos posibles problemas que se pueden dar.

Lo que es seguro es que...

los robots van a eliminar una buena parte de puestos de trabajo.

Hace unas semanas, lo tengo aquí, estuvo en el País Vasco

un investigador del MIT y...

Siempre pasa lo mismo, cuando uno intenta darle

a la tableta y buscar lo que quiere, nunca lo consigue.

Insisto, estuvo en San Sebastián, Barak Berkovich,

que dice que hay que adaptarse a los cambios.

Dio una conferencia allí entre inquietante y optimista.

O sea, está exactamente igual que estamos el resto

de ciudadanos del universo.

Entre optimistas, cómo nos gustaría que fuesen maravillosos;

pero también nos produce un poco de inquietud

por si no sabemos estar en casa sin trabajar, sin hacer

absolutamente nada. Según Berkovich,

los empleos menos cualificados acabarán desapareciendo.

Bueno, eso también es fácil más o menos de prever.

Pero ¿dónde termina la raya entre los empleos más cualificados

y los menos cualificados?

Es un tema muy, muy complejo.

Yo sí que estoy de acuerdo, en parte, con esta afirmación

de que, evidentemente, hay ciertos perfiles de trabajo

que van a desaparecer, pero esto ya es algo que llevamos viviendo

muchísimos años, desde las revoluciones industriales.

Ya hemos visto cómo ciertos trabajos, quizá menos cualificados,

más automáticos, rutinarios... se suplen con las máquinas, ¿no?

Por otro lado, se abre una vía tremenda de posibilidades

de nuevos trabajos que, hasta hace nada,

eran impensables y ahora mismo están integrados en la sociedad

como, por ejemplo, un webmaster, un desarrollador

de cualquier prototipo robótico, ¿no? Antes, que se veía en el vídeo

con Da Vinci. Da Vinci es un prototipo patentado

que ahora mismo está ejerciendo un cierto monopolio en este sector.

El otro día oí, gracias a una visita que hicimos

a un centro de simulación médica, en la Universidad Francisco de Vitoria,

que tienen este tipo de máquinas, que es impresionante...

Con ellas, aprenden los futuros médicos y tienen

una suerte tremenda de poder usar estos prototipos...

Pues oía que la patente que tiene esta empresa, en breve, caduca.

Esto significa que hay un montón de posibilidades para la gente

que desarrolla prototipos en este sector, que son cada vez más.

Esto abre muchos puestos de trabajo, ¿no?

Evidentemente, son perfiles mucho más, si quieres...,

sofisticados, no son trabajos tan rutinarios

o perfiles más básicos laborales; pero, evidentemente,

se abren muchísimas puertas de trabajo.

Entonces, yo pienso que no podemos pensar en la robótica

o en el avance negativo como algo muy negativo

frente a lo laboral, sino como una vía de generación

de nuevos trabajos que, además, para el humano van a ser

mucho más enriquecedores. Porque si preguntáramos

a todas aquellas personas que hoy en día realizan trabajos

como... Yo qué sé.

"Ticar" o abrir el paso en el metro, por ejemplo,

o darte, venderte un billete de metro.

A cuántas de estas personas... Yo entiendo que no les gustaría

estar realizando un trabajo mucho más creativo,

donde se les valorara un poco más, y gracias a estos avances

a lo mejor se nos abren las puertas a este otro tipo de trabajos.

Evidentemente, estas personas que toda su vida se han dedicado

a vender el ticket de metro se van a ver desubicados,

posiblemente perderán, como ya se han perdido, su puesto de trabajo

y ahora mismo les costará reubicarse, necesitarán refrescar su formación,

necesitarán que la sociedad les apoye desde el punto formativo,

desde el punto de vista formativo y que les ofrezca otras vías

de reubicación en otros puestos de trabajo,

en esto es en lo que hay que trabajar.

No tanto en no generar o no introducir la tecnología

por miedo a perder trabajos. -Yo creo que...

Yo no tengo esa visión, yo creo que el impacto de la automatización,

no de los robots, sobre todo de la inteligencia artificial,

del software en general,

en el empleo es devastador.

Que no va a quedar títere con cabeza y que van a desaparecer

prácticamente todos los trabajos. El señor Merkovich decía,

Berkovich, perdón, decía que la transformación será dolorosa.

Muy dolorosa, muy dolorosa, pero porque es cierto,

se crean nuevos trabajos,

pero ¿compensan la destrucción de los trabajos que se crean?

Siempre pongo el mismo ejemplo.

Cuando Facebook compró WhatsApp, todos usamos WhatsApp,

WhatsApp era una empresa que tenía 50 empleados en todo el mundo.

50 empleados, vamos a destruir miles o decenas o cientos de miles

para crear una empresa mundial absolutamente puntera

con 50 empleados, y ese es el futuro. Y no hay un límite,

no hay un límite, está pasando en todos los sectores.

Lo que ocurre es que no hay un robot que venga y te diga:

"Mira, Mariano, te presento al nuevo robot que te va a sustituir".

No, pero las tareas que hacía Mariano, hoy un día una,

luego mañana otra, luego otra, se van sustituyendo,

desapareciendo y, finalmente, Mariano se va a su casa.

Y eso es... Los bancos.

Están cerrando oficinas masivamente, ¿por qué?

Porque ninguno de los que estamos aquí...

¿Quién ha ido al banco por última vez en los últimos seis meses?

Probablemente, ninguno.

Entonces, ¿para qué están las oficinas de los bancos?

Para nada. Y ¿qué hacen? Las cierran.

Y son decenas de miles de puestos de trabajo, y así todo,

y cada vez más, y los propios abogados... Infinidad,

infinidad de puestos de trabajo. Por supuesto los taxistas,

los conductores... Montones y montones de ellos.

Quizá, quizá, los más difíciles de sustituir son precisamente,

que es un poco paradójico, los que más identificados

están con los robots, por ejemplo, camarero,

porque realmente los robots son muy torpes,

yo creo que la inteligencia artificial es muy buena

y hace cosas fantásticas, pero los robots son muy torpes.

Entonces, hacer un robot que haga este movimiento es complicadísimo.

Así que los camareros no van a desaparecer.

Pero los contables...

Todos.

-Lo que pasa es que...

A ver, yo creo que no hay que dar este planteamiento catastrofista,

siempre nos hemos adaptado y buscado soluciones,

como decía Concha, las soluciones son en los cambios en la educación.

Los niños de hoy tienen que...

Digamos que el sistema educativo actual tiene que cambiar,

tenemos que hacer... Educar niños con mentes mucho más abiertas,

que sean capaces de programar, etc., que sean capaces de influir

en ese futuro.

Va a cambiar muchísimo el panorama laboral, van a cambiar...

Van a desaparecer trabajos tradicionales,

pero van a surgir son nuevas formas de trabajo

y la forma de ello es influir en el sistema educativo,

hay que modificar el sistema educativo, y esa es la solución,

hay que preparar...

Sabemos que se va a producir un problema en 15, 20, 30 años,

pero digamos que es el momento de influir en el sistema educativo

para mejorar... Digamos que hay que hacer personas que sean

mucho más adaptables al futuro que se avecina.

-Yo, fíjate, me temo que vamos a llegar tarde.

-Respecto al cambio del sistema educativo,

sí, pero no para formar gente que esté dispuesta al trabajo,

sino para formar gente que ya no vaya a trabajar.

Entonces, ¿por qué no tenemos un sistema educativo

que se dedique a hacer personas felices, que aprendan a ser felices

sin trabajar, que es lo que vamos a tener?

En lugar de llevarles a buscar un trabajo que no van a tener.

Yo soy mucho más radical, con el sistema educativo

habría que ser totalmente radical, debería de servir

para formar personas felices, porque es lo que tú has dicho,

¿nos vamos a quedar en casa?

Y si la gente se queda en casa, ¿va a ser feliz?

Y eso son grandes problemas, gravísimos problemas.

De hecho... Que ya está pasando, que ya están pasando.

-Creo que el problema no es la tecnología

ni que los robots sustituyan a los humanos en los trabajos,

yo creo que es algo muy positivo que la gente no tenga que trabajar

en fábricas haciendo exactamente el mismo trabajo

o hacer cosas realmente pesadas.

Es una alegría que las máquinas puedan hacer este trabajo,

y los humanos podamos ser libres de lo que queremos hacer.

Creo que el problema el sistema en que vivimos,

que la gente esté obligada a hacer trabajos que no les gusta

porque necesitan tener un dinero para poder pagar una casa,

y es el sistema político en el que estamos metidos

el problema, la tecnología en sí no es lo malo, tampoco...

Antes que lo bueno y lo malo, la tecnología tampoco...

Yo creo que somos los humanos quien decidimos si esta tecnología

es para un buen uso o para un mal uso.

Yo creo que es responsabilidad de los humanos hacer esto positivo

y yo creo que en un futuro me imagino... No sé, cómo percibimos

la vida y el sistema en el que estamos metidos

tendría que cambiar, también el sistema político y todo

porque sino no va a funcionar.

Hemos encontrado unas declaraciones

del jefe del departamento de inteligencia artificial de la UNED,

el doctor Rafael Martínez Tomás,

que habla sobre las posibilidades de los robots

para ayudar a los niños con autismo, vamos a verlas

y eso nos permitirá avanzar un poquito más en nuestro análisis.

(Música)

Especialmente los humanoides tienen características

que lo hacen muy interesantes

para las intervenciones psicoterapéuticas.

En estas intervenciones es muy importante la respuesta emocional

que despierta el robot en el paciente y facilita muchísimo la terapia.

Especialmente, los humanoides, como decía,

y en eso es en lo que queremos trabajar en nuestro grupo

y en nuestro proyecto, trabajamos en colaboración con la facultad

de psicología de esta universidad, de la UNED,

en intentar hacer realidad que el humanoide sea una herramienta útil

en el tratamiento con niños, en las intervenciones psicoterapéuticas

con niños del trastorno del espectro autista.

Vamos a trabajar especialmente con Now, que es un humanoide

que tiene un aspecto más de juguete que de humano, lo que le hace

muy interesante para facilitar la empatía con el niño.

En este ejemplo se trataría de reforzar la rutina

de higiene dental del niño a través de la interactuación con robot

siguiendo un cuento apoyándose para ello en pictogramas.

Ahí tenemos la relación de ese robot con ese niño autista.

Esa relación, ¿es una relación de utilidad

o es una relación de afecto? Pregunto.

Bueno... Yo creo que serían ambas.

En primer lugar,

es de utilidad porque a través de los robots, en esta cuestión

en relación con niños con autismo,

nuestras caras son demasiado complicadas, los gestos que hacemos,

nuestra ironía, etc., es muy difícil de percibir.

Y con robots simplificados,

incluso yo diría que no es demasiado complejo para este tipo de trabajos.

Con robots simplificados,

el niño con autismo entiende mucho mejor,

quitamos lo superficial y de forma más directa

percibe la sutilidad de las emociones, la alegría,

la tristeza, etc.

Una vez que conseguimos que el niño se acerque a ese robot

es cuando empieza la relación de afecto.

Entonces, lo que conseguimos con esos robots es romper esa barrera

para crear ese vínculo emocional.

Y gracias a ello facilitar un montón de tareas

de aprendizaje que de otra manera no se producirían,

tenemos ejemplos bastante espectaculares de niños

con terapias estándar de tratamiento de autismo

que durante un montón de tiempo han sido incapaces

de articular palabras y con sesiones, con unas pocas sesiones,

con robots emocionales han conseguido empezar a hablar,

hay ejemplos muy curiosos.

La hipótesis que tenemos es que el robot es mucho más sencillo,

mucho más directo de entender, sería la hipótesis que formulamos,

que tenemos que probar.

¿Nos enamoraremos de los robots?

¿O los robots se enamorarán de nosotros?

¿O nosotras?

Yo creo que sí.

¿Sí? Sí. Pues claro que sí.

Yo pienso que además tenemos una relación con la tecnología

un tanto platónica, incluso.

Tenemos un apego bastante fuerte a todos nuestros gadgets tecnológicos

y los cuidamos en exceso.

Con que imagínate si la dotas al chisme este del que estemos hablando

de empatía con respecto a tus propias emociones, con lo que a ti te pase,

como preocupado por si estás bien, si estás mal...

Yo creo que cuando detectamos una cierta empatía

con nuestro interlocutor sobre lo que nos pasa, independientemente

de que sea un robot, de alguna forma se nos conquista un poquito.

Creo que estamos bastante necesitados de que nos cubran

o nos alimenten la parte emocional y, posiblemente,

en esta gran necesidad a lo mejor un robot pueda suplirla

y generarnos una cierta emoción, y por qué no, un enamoramiento.

Está claro. Se me hace difícil.

Pues porque posiblemente tú seas un hombre muy social

y no nos necesites o no te hayas planteado que esa necesidad

la puedas tener tú, pero imagínate, con la cantidad de gente diversa

que hay en el planeta... Gente que le cuesta muchísimo relacionarse

con humanos, con seres como ellos,

a lo mejor en este tipo de plataformas

encuentran la vía de escape

y de repente ven cubierta una necesidad tan urgente

en su personalidad que consigan realmente enamorarse del aparato

que le ha suplido.

Y que realmente les llena.

Y esto puede pasar, evidentemente, yo creo que sí.

Yo no digo que de este agua no beberé,

pero, pero...

¿Qué programación llevarán ellos en su cabeza?

Hombre, ahí lo que hablábamos antes, la inteligencia artificial

tiene una responsabilidad brutal, ya no es tanto que el robot se mueva

o no, fíjate la película de "Her" que el sistema operativo

ya enamoraba al personaje.

Si conseguimos un grado de inteligencia

como el que se refleja en esta película, evidentemente,

te puedes enamorar de él, del software.

Ni siquiera lleva un chasis y yo creo que ahí está la clave.

-Era solo una voz. -Era una voz, claro.

Cómo tú modulas esa voz...

Ya simplemente que lo que te digan te lo digan de una forma bonita

o no, sensual, incluso, pues puede conseguir que te enamores,

que reacciones a esa voz, por supuesto.

-Yo creo que hay varias cosas, una es, tú lo has mencionado,

que puedes enamorar de los robots,

no acaba de dejar de ser una ineficiencia del sistema

cuando hay personas que son el objeto del amor normal.

Por lo tanto, no estamos construyendo una sociedad y en ese sentido

sí es una parte negativa en la que para qué me voy a relacionar

con los otros cuando el robot es sumiso, hace lo que yo quiero,

no me protesta... Si además le doy un toque de tal...

Entonces, eso yo creo que realmente es un déficit, es un déficit

y habría que hacer una incidencia educativa enorme

para ser más sociales. Para todo ser más sociales.

Sea lo que sea el estado en el que estés no te quedes en casa,

si estás parado, si estás trabajando, si eres mayor o si eres joven,

o si estás deprimido... Sal ahí. Es una cosa.

Respecto de la emocionalidad de los robots

es también interesante porque es una cuestión de dinero,

al final el mundo lo mueve el dinero. Para hacer un software

que mejore la gestión de la empresa no hay que contarle nada a nadie,

es decir, vas y haces los números con la persona informática,

el contable, te lo compra, y todo el mundo lo entiende.

Pero para los robots, si un robot tuviera una forma de una caja,

pues no emociona, entonces le haces un aspecto de humanoide.

¿Por qué? No hay ninguna razón práctica, técnica, para hacerlo,

simplemente, que genera más empatía.

Y respecto de la empatía y las emociones,

así como la inteligencia artificial no cuesta nada pensar

cuáles son los beneficios prácticos, de las emociones sí.

Entonces ahora son los primeros intentos que se están haciendo

de generar emociones o de simularlas, tanto de expresarlas

como de entenderlas... ¿Por qué? Probablemente porque hay dinero.

Porque hay alguien que ha empezado a entender que eso es un mercado

porque sino no lo haces, es decir, nadie te financia una investigación,

pero probablemente hay un nicho de mercado grande,

quizá a lo mejor por esta sociedad que estamos creando

en la que prefiero que el robot me quiera a no tener que salir

a decirle a alguien que le quiero.

-Bueno, no necesariamente, quiero decir...

También gracias a las emociones conseguimos resolver una serie

de problemas sociales.

Por ejemplo, estos niños con autismo o hacer acompañamiento

a personas mayores que necesitan... Como hemos dicho están solas en casa,

etc., y la sociedad es así.

Es un elemento fundamental incluir ese tipo de elemento emocional

o toque emocional al interfaz,

para que se relacionen adecuadamente,

o consigan relacionarse con esas máquinas.

El dinero es importante,

pero también tenemos que tener una serie de objetivos sociales,

hacer una sociedad mejor, y hay una serie de problemas sociales

que se resuelven con estas cuestiones de computación emocional.

-Sí, pero una sociedad mejor,

probablemente es en la que tú cuidas a tus padres.

No es una sociedad en la que pones un robot para que cuide a tus padres.

¿No?

Hay dinero, hay dinero, yo no quiero cuidar a mis padres,

por lo tanto, compro un robot que sea amable y supla un poco... ¿No?

No está claro que el avance sea tan...

-Yo pienso que no es incompatible,

puedes tener un robot que cuide a tu padre,

pero tú estar también ahí con tu padre.

No hay que quitar al humano, pensar que el humano se reemplaza

absolutamente por el robot, ¿no?

Ustedes hablan de unas máquinas... Muy evolucionadas.

Ahora mismo, no están en el mercado. Sí, yo creía que...

Pongámosle calendarios.

Uy.

-El horizonte temporal es fundamental,

la inteligencia artificial está quitando trabajos ahora, ya,

ahora mismo, está ocurriendo.

¿Ya es ya? Fue ayer.

Sí, ayer, desde hace toda la vida,

pero sobre todo desde los últimos 15 o 20 años,

desde que el software está haciendo gestión empresarial.

La oficina se va quitando de gente.

Los humanoides que sean capaces de realizar cosas, les quedan décadas.

Un robot que sea capaz de jugar al fútbol, le quedan 50 años,

o sea, toda la vida, toda la vida, ¿no?

Y robots que más o menos hagan cosas intermedias,

los tenemos en los bolsillos, con los móviles,

que hacen un conjunto de cosas que se parecen un poco, ¿no?

Que sean capaces... Cuidar a un enfermo de alzhéimer.

¿Cómo? Cuidar a un enfermo de alzhéimer.

La parte robótica no, porque un robot no es capaz

de levantar alguien del asiento y...

No es capaz de cogerme en brazos, y sentarme ahí,

un robot no va a hacer eso en 50 años, no lo va a hacer,

no lo va a hacer.

En cuanto a lo que es un poco interacción, cosas mínimas,

del estilo de saber si se ha levantado o no,

de si se ha caído, cosas así, eso podría ser ya prácticamente.

-Nosotros lo estamos haciendo ya con nuestros robots,

ese tipo de trabajo en residencias de tercera edad:

acompañamiento, dar conversación,

ayudar a hacer los ejercicios de memoria,

recordar las noticias del día, etc...

Ese tipo de cosas se pueden hacer ya, y se están haciendo.

-Yo creo que estará... -Como dice Antonio,

la parte física de ayudar, eso es otro estado.

Podríamos verlo ahora mismo como asistentes a los terapeutas...

humanos, como si dijésemos.

¿Llevarnos las cuentas del banco? Eso lo puede hacer perfectamente.

Eso lo hace ya. -Sí, sí.

Ahorrarnos de donde nosotros solos gastamos.

(RÍEN)

-Sí, sí. -Eso lo hace.

-Sí, sí.

-Eso es así. -Sí, claro,

ya está implantado, está desarrollado.

Pero la gente sigue perdiendo dinero.

Porque el humano tiene más poder sobre las decisiones

de lo que queremos mostrar aquí, ¿no?

Ahí quería llegar. Estamos diciendo...

Porque en el fondo lo que buscamos son...

La pregunta que yo quiero hacer es:

¿el robot puede hacer las mismas funciones que puede hacer un humano

con sus potenciales?

Puede hacer algunas, algunas, podrá hacer algunas.

Creo que estamos minusvalorando el potencial humano,

porque antes comentabas que en no sé cuánto tiempo

va a ocurrir que en los colegios, que me parece fantástico,

ojalá nos enseñaran a ser feliz, como que no vamos a tener que trabajar.

Yo pienso que a lo mejor los países más industrializados

son los que menos paro tienen, ese dato habría que valorarlo.

Parece que lo que estamos proponiendo es un futuro

donde hemos llegado al máximo desarrollo,

ya no va a haber más que trabajar, porque todo lo hacen los robots.

Pero yo no creo que esto sea así, el avance va a ser infinito,

podremos evolucionar hasta situaciones impensables ahora mismo,

y vamos poco a poco, es una transición.

A lo mejor, dentro de 50 años, es verdad que el panorama laboral

no se concebirá como ahora mismo, pero habrá otros retos,

segurísimo, donde el humano siga teniendo un potencial irreemplazable,

para poderlo resolver y seguir avanzando.

No nos olvidemos de que hemos llegado a esta evolución tan tremenda

porque el humano ha sido el gestor, y del que depende todo esto.

Pensar que un robot pueda suplirnos hasta el punto de eliminarnos,

o no necesitarnos, como que ya no tuviéramos que aportar nada,

creo que es un poco exagerado.

-Una cosa que hay que precisar siempre:

en la inteligencia artificial

se habla de inteligencia artificial general.

¿Eso qué es? Un terminator, que es capaz de todo, pero eso no existe.

A eso le quedan también décadas, horizonte temporal, décadas,

para una inteligencia artificial que resuelva cualquier problema.

Lo que ocurre es que los ingenieros de software

hacen inteligencias artificiales particulares

para resolver un problema, y de eso hay infinidad.

Una vez resuelto el problema, el humano no lo vuelve a hacer.

No lo vuelve a hacer, tú ya no vuelves a casa mirando un mapa,

vuelves a casa con el GPS, es una cosa que ya se ha acabado,

nadie vuelve a hacer eso. Nadie vuelve a hacerlo, no,

hay quien la gustará, pero en general, ya no.

Entonces, las inteligencias artificiales particulares

están por todos los lados, y no paran de crecer.

¿Qué es un humano? Un conjunto de cosas,

pero hay montones de esas cosas que ya no haces,

recordar un número de teléfono, sin ir más lejos.

¿Recordar?

Un número de teléfono, sin ir más lejos.

Y luego hay cosas que además no quieres hacerlas,

como por ejemplo, lavar a mano, para eso están las lavadoras.

El invento número 1 de la historia del siglo XX fue la lavadora,

que liberó a millones de mujeres de lavar horas y horas diarias.

-Yo creo que pensar que los robots van a sustituir las...

Nosotros como elementos sociales, no.

Yo creo que no hay nada insustituible como tener a tu familia, o tu...

Salir con los amigos, creo que los robots no tienen que ser sustitución,

sino como tú decías, niños con autismo, con el problema social,

no entienden las expresiones de los seres humanos, a ellos...

Es ayudar a la gente que no tiene estas "mancanzas" sociales.

Pero no ya eso de pensar

que en el futuro estaremos exactamente igual,

y ellos nos van a sustituir, creo que no es un buen planteamiento,

sino que va eso, como tú decías, van a evolucionar,

vamos a evolucionar de manera que seremos más diversos.

-Una coexistencia... -Claro, que va...

Habrá otro tipo de diversidad, no estaremos...

Habrá más gente como yo, con más implantes y nuevas partes de...

Unas gentes con robots a casa, y gente que no.

Habrá más diversidad.

Tenemos también una noticia de un telediario,

de hace pocas semanas,

en la que nos anuncian que eminentes científicos de todo el mundo

han escrito una carta a la ONU pidiendo que regule

el peligro potencial que pueden suponer los robots asesinos.

Vamos a verla, y me cuentan ustedes qué es eso del robot asesino.

Drones diminutos que vuelan sin intervención humana,

funcionan como balas y actúan como un enjambre fuera de control.

Aparecen en un cortometraje de ficción presentado por el experto

en computación de la Universidad de Berkeley, Stuart Russell.

"La tecnología que utilizan ya existe",

advierte Russell en el vídeo, que forma parte de una campaña

coordinada por la ONG Human Rights Watch

para detener el desarrollo de los llamados robots asesinos.

Científicos de todo el mundo han enviado una carta a Naciones Unidas

pidiendo su prohibición,

uno de ellos es el investigador del CSIC Ramón López de Mántaras.

Habrá intereses por fabricar y vender estas armas, obviamente,

que hacen que sea muy difícil, seguramente,

detener completamente este desarrollo.

López de Mántaras cree que el uso de estas armas

eliminaría principios básicos de los conflictos armados,

como la proporcionalidad y el respeto a la población civil.

Incluso un combatiente, pero que puede estar herido,

o en actitud de rendirse.

Discernir y distinguir esto, es extraordinariamente difícil,

es difícil ya para personas,

es absolutamente imposible para máquinas.

Muchos investigadores descartan la idea de un futuro

donde las máquinas se rebelan contra el hombre,

pero piden un debate sobre las dimensiones éticas y legales

de dotarlas de la capacidad de matar.

(Música)

Añadirían una cosa más, hay bufetes de abogados en nuestro país

en donde ha empezado una especialidad, la jurídica-robótica.

Porque ya, en estos momentos,

tienen pleitos derivados de actuaciones de algunos robots.

¿Sí? ¿Sí?

Posiblemente esas actuaciones, no las conozco concretamente,

pero tengan que ver con lo que se apuntaba antes

de un mal funcionamiento de una máquina, que ha fallado,

y en ese fallo ha provocado un accidente,

que ha tenido consecuencias a lo mejor humanas, o similares.

Pero yo también estoy de acuerdo en que pensar que una máquina

se autorebela y se toma la justicia por su cuenta...

Esto es totalmente ciencia ficción ahora mismo.

Evidentemente, una máquina se puede programar para que haga el mal,

y ya tenemos tecnología muy sofisticada al servicio de la guerra:

misiles que se lanzan de forma automática,

y que atinan perfectamente en el objetivo, y este tipo de cosas.

No hay nada nuevo, esto es muy antiguo.

Quizás de repente vemos que hay, lo que comentabas anteriormente tú,

que hay muchos sistemas...

Ahora mismo lo que tenemos es una desintegración, yo creo,

de todas las cosas que se están haciendo.

Se están haciendo cosas puntuales muy avanzadas,

en el momento que consigamos integrarlas todas en un humanoide,

o en un robot, y se concrete ahí, a lo mejor nos da un poco de miedo.

Quizá sea esto por lo que de repente nos asusta la robótica,

porque pensamos en el robot terminator,

en el que se integran todos estos sistemas.

¿Usted no se enamoró de Terminator?

No, este no me... No. No le pone.

No, no me... (RÍE)

No me interesó.

A lo que voy es un poco a que tenemos el miedo, yo creo,

a que haya un humanoide que se rebele contra nosotros.

Esto implicaría primero que el robot tuviera conciencia de sí mismo,

y que fuera capaz de juzgar la situación y decidir cómo actuar

por su cuenta, rompiendo las leyes de la robótica famosas, y demás.

Yo creo que estamos a años-luz de tener esto en casa, o en el mercado.

Pero es cierto que hay que tomar medidas,

sobre todo para que la tecnología que está al servicio de la humanidad

se ponga en el buen servicio, y no en el mal servicio.

Aquí el principal riesgo es el humano,

el principal factor al que hay que tener miedo es al propio humano,

que programa esas máquinas y las usa para un beneficio

que pueda ser no tan bueno para el resto de la humanidad.

¿Hay que tener miedo a los ingenieros de Tesla, por ejemplo?

Yo creo que los ingenieros de Tesla

trabajan por hacer en principio proyectos...

por el bien social.

Habría que tener miedo de los ingenieros que trabajan

para ejércitos de algunos países,

y por tanto creo que es muy conveniente esta llamada de atención,

y la elaboración a tiempo de legislación internacional

que prohíba algunos usos, que penalice algunos usos.

-Justo Tesla, no, porque Elon Musk es uno de las firmantes

de las cartas contra la proliferación de las armas autónomas.

Lo sé, por eso lo he dicho.

Él debería de ser justamente...

Él esta poniendo dinero para esto.

Hay mucha gente, hay un movimiento donde estaba Stuart Mill,

no me acuerdo cómo se llama este hombre.

Es interesante desde el punto de vista de pensar,

y de cosas que se te ocurren.

Pero también había uno que se llama Andrew Ng,

no sé cómo se pronuncia,

que fue el creador del Google chino,

que decía que hablar de la rebelión de la inteligencia artificial hoy

es como hablar de la superpoblación en Marte.

No, los peligros de la inteligencia artificial están en el empleo,

pero en la rebelión, para nada, no hay una inteligencia artificial

que vea hacer nada de todo eso.

Sin embargo, el informe del Parlamento Europeo a la Comisión

para legislar tiene que ver con lo que tú decías,

con el mal funcionamiento de las máquinas.

Si ahora mismo una máquina hace un destrozo, ¿quién lo paga?

Si vamos a tener coches autónomos, tenemos el dinero,

la industria quiere tener coches autónomos,

¿cómo lo legislamos? ¿Utilizamos la misma legislación,

incorporamos una nueva legislación...?

Es el avance de la industria, y el dinero que tienen

los que quieren legislar para tener un marco en el que moverse.

Así, la inteligencia artificial malvada...

Es entretenido hablar de ella, pero no está ahí.

-Estamos haciendo proyectos ya de defensa frente a malos usos

de inteligencia artificial, drones y cuestiones similares.

Es un problema que hay que plantearse seriamente.

Creo que...

Vamos, yo estaría preocupado. -A ver, a ver.

No es tan 50 años, como estábamos diciendo antes,

hay ya una serie proyectos en marcha de seguridad y defensa,

no necesariamente aquí, en España, para protección frente a...

por ejemplo, drones utilizados como armas, etc., etc.

Es una realidad.

Es más, es muy importante un manifiesto como este.

-El informe del Parlamento es interesante,

porque uno piensa que los parlamentarios no hacen nada.

No, es entretenido, tiene cosas, digamos, muchas, muy interesantes.

Una de ellas es la explicación:

tú, si un coche autónomo causa un desastre,

tendrías que ser capaz de preguntarle al coche por qué ha hecho eso

para ser capaz de corregirlo, una cosa que no está siempre clara.

¿Quién es el responsable? ¿Cómo saber cómo se han tomado las decisiones?

Realmente hay muchos aspectos a considerar,

y muchos interesantes.

Y luego, la parte de la ciencia-ficción,

tendría que decirle a la máquina cómo implemento las leyes de la robótica,

cómo implemento el sentido común,

si tiene que tomar ejemplo de los humanos...

Eso da para un debate muy entretenido,

todavía hoy poco práctico.

Vamos a dejarlo aquí.

Yo les voy a invitar dentro de algunas semanas, o algunos meses,

deberíamos completar esta conversación que hemos tenido

con la de inteligencia artificial,

porque una de mis conclusiones es que están absolutamente conectadas.

Hemos hablado de unas cosas, pero hemos hablado muy poco de otras.

Yo no sé si la creatividad de la música, el cine, la televisión

habrá que dejárselo a los robots. ¿Sí?

Ya lo hacen.

Bueno, hacen...

(RÍE) Yo creo que no.

Hacen los algoritmos... Yo creo que pueden coexistir.

-Coexistiremos con...

-Coexistir, una cosa no quita la otra.

Habrá el arte robot, y el arte de los humanos.

Se puede complementar, ¿no? Sí.

Bueno, lo dejamos así.

Gracias a los cuatro, gracias también a los espectadores,

y ya les diremos cuándo vamos a hacer ese programa

sobre inteligencia artificial. Por ahora nos despedimos,

y les esperamos la próxima semana.

(Música créditos)

  • A mi lista
  • A mis favoritos
  • Alma de robot

Millennium - Alma de robot

22 ene 2018

Programa de debate presentado por Ramón Colom sobre logros y usos de la robótica con Concepción Alicia Monje, Antonio Orbe, David Ríos y Moon Ribas.

ver más sobre "Millennium - Alma de robot" ver menos sobre "Millennium - Alma de robot"
Programas completos (153)
Clips

Los últimos 365 programas de Millennium

  • Ver Miniaturas Ver Miniaturas
  • Ver Listado Ver Listado
Buscar por:
Por fechas
Por tipo
Todos los vídeos y audios