+- Viejóvenes foro (https://viejovenes.club)
+-- Forum: Foros temáticos (https://viejovenes.club/forumdisplay.php?fid=1)
+--- Forum: Ciencia / Academia (https://viejovenes.club/forumdisplay.php?fid=6)
+--- Thread: Programas para trabajar con datos (Análisis, transformación, etc) (/showthread.php?tid=244)
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 17-03-2018
(17-03-2018, 02:05 PM)Hijitus Wrote: Yo hice una prueba de conceptos de algo parecido usando K-means y n-grams y funcionó más o menos bien. En mi caso eran blog posts. Y me pasé la mayor parte del tiempo probando distintos hiperparámetros.
¿Por qué te salió weirdo?
No sé, ayer mire un par de horas, pero tampoco toqué mucho la verdad.
No sé si controlas de seo, pero básicamente intento automatizar un pipeline de canibalizacion de palabras clave.
Básicamente es detectar qué articulos posicionan por palabras clave de la misma temática y juntarlos en uno solo, 301 mediante.
Para eso haria grupos de palabras clave y los cotejaria con las urls que posicionan por esas palabras.
Por cierto, mas que palabras son frases, casi todo es long tail.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Frank Zappa - 18-03-2018
(17-03-2018, 02:21 PM)CulitoDeRana Wrote:(17-03-2018, 02:05 PM)Hijitus Wrote: Yo hice una prueba de conceptos de algo parecido usando K-means y n-grams y funcionó más o menos bien. En mi caso eran blog posts. Y me pasé la mayor parte del tiempo probando distintos hiperparámetros.
¿Por qué te salió weirdo?
No sé, ayer mire un par de horas, pero tampoco toqué mucho la verdad.
No sé si controlas de seo, pero básicamente intento automatizar un pipeline de canibalizacion de palabras clave.
Básicamente es detectar qué articulos posicionan por palabras clave de la misma temática y juntarlos en uno solo, 301 mediante.
Para eso haria grupos de palabras clave y los cotejaria con las urls que posicionan por esas palabras.
Por cierto, mas que palabras son frases, casi todo es long tail.
Y es parecido a lo que yo hice. Fue hace mucho, así que no me acuerdo de los detalles, pero era básicamente agrupar blog posts por categoría, intentando extraer la categoría del post en sí mismo.
Ya teniedno las palabras claves, lo que hicimos fue:
- Quitas stop words.
- Agrupás en n-grams (nosotros usamos trigrams, pero ésa es una de las variables que te va a tocar probar).
- Aplicar k-means.
Al principio nos funcionó bien, pero más o menos raro (raro en el sentido de que agrupaba por frases clave que eran poco intuitivas). Luego de tocásemos los hiperparámetros un poco, al principio de manera automática y luego de manera manual, ya funcionó mejor.
Implementar eso en Spark no lleva mucho, por cierto.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 18-03-2018
(18-03-2018, 12:26 PM)Hijitus Wrote:Si no entiendo mal tu usaste el propio texto de los articulos para sacar los topics, no? Yo es que estoy usando las keywords por las que posicionan, no sé si al ser corpus tan cortos influye.(17-03-2018, 02:21 PM)CulitoDeRana Wrote: No sé, ayer mire un par de horas, pero tampoco toqué mucho la verdad.
No sé si controlas de seo, pero básicamente intento automatizar un pipeline de canibalizacion de palabras clave.
Básicamente es detectar qué articulos posicionan por palabras clave de la misma temática y juntarlos en uno solo, 301 mediante.
Para eso haria grupos de palabras clave y los cotejaria con las urls que posicionan por esas palabras.
Por cierto, mas que palabras son frases, casi todo es long tail.
Y es parecido a lo que yo hice. Fue hace mucho, así que no me acuerdo de los detalles, pero era básicamente agrupar blog posts por categoría, intentando extraer la categoría del post en sí mismo.
Ya teniedno las palabras claves, lo que hicimos fue:
- Quitas stop words.
- Agrupás en n-grams (nosotros usamos trigrams, pero ésa es una de las variables que te va a tocar probar).
- Aplicar k-means.
Al principio nos funcionó bien, pero más o menos raro (raro en el sentido de que agrupaba por frases clave que eran poco intuitivas). Luego de tocásemos los hiperparámetros un poco, al principio de manera automática y luego de manera manual, ya funcionó mejor.
Implementar eso en Spark no lleva mucho, por cierto.
No sé, a ver si me animo hoy a probar, porque si lo consigo es tela de horas de curro que ahorro.
Yo no lo estoy haciendo en spark sino con un etl, básicamente porque es para mí, automtizar el deploy y review de nichos.
El problema del text mining es que es una liada con todo.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Frank Zappa - 18-03-2018
Text mining es un dolor de huevos. Entiendo tu sufrir.
¿Tienes ya la posición de los artículos en cada uno de los keyword? ¿O tienes su posición solo en algunos keywords y muchos de esos keywords se pueden agrupar en una temática? ¿U otra cosa?
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 18-03-2018
(18-03-2018, 12:50 PM)Hijitus Wrote: Text mining es un dolor de huevos. Entiendo tu sufrir.
¿Tienes ya la posición de los artículos en cada uno de los keyword? ¿O tienes su posición solo en algunos keywords y muchos de esos keywords se pueden agrupar en una temática? ¿U otra cosa?
Tengo los datos de search console, básicamente estaba probando con keyword ! Posición.
Me interesaba agrupar las keywords realmente, pero tampoco estoy convencido de que sea lo mejor.
La idea es agrupar articulos que posicionen por temas similares para no dispersar el pagerank, los junto en uno solo y luego posicionan mejor.
Lo que suelo hacer a mano es mirar que keywords posiciono, las agrupo por similitud, y luego en excel con un vlookup miro si me coinciden urls.
El problema es cómo detectar esa similitud y agruparlas automáticamente, que es realmente lo que lleva horas.
He probado tanto con las tools de orange y de knime pero voy bastante perdido.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Frank Zappa - 18-03-2018
Agrupar las keywords puede funcionar, sí. Si te vas por ese lado: Búscate por internet algún diccionario de word embeddings en español, pasa tus keywords por el diccionario y usa esos vectores para aplicar k-mean.
Otra cosa que yo intentaría es aplicar k-mean sin tus keywords (es decir, tal y como lo implementé yo para los blog posts) y luego buscar los keywords más frequentes en cada bin para comprobar que tienen sentido. Ahí ya debería tener las que son similares.
La primera debería funcionar bien y rápido, asumiendo que encuentras un buen diccionario.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 18-03-2018
(18-03-2018, 02:33 PM)Hijitus Wrote: Agrupar las keywords puede funcionar, sí. Si te vas por ese lado: Búscate por internet algún diccionario de word embeddings en español, pasa tus keywords por el diccionario y usa esos vectores para aplicar k-mean.
Otra cosa que yo intentaría es aplicar k-mean sin tus keywords (es decir, tal y como lo implementé yo para los blog posts) y luego buscar los keywords más frequentes en cada bin para comprobar que tienen sentido. Ahí ya debería tener las que son similares.
La primera debería funcionar bien y rápido, asumiendo que encuentras un buen diccionario.
Ojalá alguien invente algo que que haga el nlp mas sencillo macho, cada vez que lo toco menudo coñazo xd
Hoy por la tarde probaré a ver.
Oye y cambiando de tema, viste la movida que sacaron los de h2o que te saca movidas automáticamente? Desde el móvil no lo encuentro pero tenía buena pinta
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Frank Zappa - 18-03-2018
No, no lo vi. Si lo encuentras pasa link!
A mí NPL me hace sentir muy tonto. Todo el mundo me dice que es muy fácil y yo siempre parezco necesitar muchísimo tiempo para conseguir hacerlo funcionar bien (hacerlo funcionar mal es soberanamente fácil).
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 18-03-2018
Creo que es esto
https://www.h2o.ai/driverless-ai/
Mira que flipaos con el dashboard
@hijitus
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 20-04-2018
Alguien ha probado gnu octave? Creéis que puede ser útil para tratar con datos?
Por lo visto es una copia de matlab.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Fluido - 20-04-2018
Yo lo usé en algún laboratorio, como dices es como MatLab. Yo usaría Python o R mucho antes que Octave/Matlab.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Frank Zappa - 20-04-2018
(20-04-2018, 01:25 PM)CulitoDeRana Wrote: Alguien ha probado gnu octave? Creéis que puede ser útil para tratar con datos?
Por lo visto es una copia de matlab.
Mismo que fluido. Dame Python o Julia antes que matlab/octave siempre.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 24-04-2018
Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knime
http://r.analyticflow.com/en/
@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Frank Zappa - 24-04-2018
(24-04-2018, 06:20 PM)CulitoDeRana Wrote: Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knime
http://r.analyticflow.com/en/
@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.
Yo es que pa esas cosas soy muy old school: Análisis estático y dot files. Pero sí te concedo que pinta bien. Le voy a echar un ojo.
Y ta bien, ahora me cambio el nick. Así aprovecho a recordarle a Fara que yo pueod hacerlo.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Jaime - 28-04-2018
(24-04-2018, 06:20 PM)CulitoDeRana Wrote: Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knimeMe lo bajo en el curro YA.
http://r.analyticflow.com/en/
@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.
Enviado desde mi HTC U Ultra mediante Tapatalk
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 28-04-2018
(28-04-2018, 03:52 PM)Jaime Wrote:(24-04-2018, 06:20 PM)CulitoDeRana Wrote: Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knimeMe lo bajo en el curro YA.
http://r.analyticflow.com/en/
@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.
Enviado desde mi HTC U Ultra mediante Tapatalk
Ya me contarás qué tal, pero si te mola apuesto a que Knime es mejor xD
Yo pensaba probarlo porque la peña está muy fan de R y si hago los workflows ahí luego paso el código y tal.
Por cierto, qué puto coñazo es andar a cuestas con python 3 y 4, que si pip y pip3, que si tal y pascual, ahora se me ha quedado pillado pip3 y no rula.
Qué aburrimiento la virgen bendita, luego dicen de windows.
RE: Programas para trabajar con datos (Análisis, transformación, etc) - Batsa - 28-04-2018
¿Hay un Python 4? :O
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 28-04-2018
(28-04-2018, 06:46 PM)Batsa Wrote: ¿Hay un Python 4? :O
2 y 3 xd que me colé
Programas para trabajar con datos (Análisis, transformación, etc) - Jaime - 28-04-2018
KNime ya lo usé en su día y me parece una castaña.
Enviado desde mi HTC U Ultra mediante Tapatalk
RE: Programas para trabajar con datos (Análisis, transformación, etc) - CulitoDeRana - 28-04-2018
(28-04-2018, 07:50 PM)Jaime Wrote: KNime ya lo usé en su día y me parece una castaña.
Enviado desde mi HTC U Ultra mediante Tapatalk
Pues ya me dirás por qué xD