Actualidad y sociedad
117 meneos
545 clics
Los desarrolladores obtienen poco (o nada) de los asistentes de codificación de IA (eng)

Los desarrolladores obtienen poco (o nada) de los asistentes de codificación de IA (eng)

Muchos desarrolladores dicen que los asistentes de codificación de IA los hacen más productivos, pero un estudio reciente se propuso medir su rendimiento y no encontró ganancias significativas. El uso de GitHub Copilot también introdujo un 41% más de errores, según el estudio de Uplevel, una empresa que proporciona información a partir de datos de codificación y colaboración.

| etiquetas: programación , inteligencia artificial
46 71 0 K 369
46 71 0 K 369
Comentarios destacados:                      
#6 #4 En el 2000, se sabía que internet sería el futuro. Pero las expectativas en aquella época eran demasiado optimistas y súpervaloraron muchísimas empresas relacionadas con dicha tecnología, generando así la burbuja puntocom, que acabó pinchando en 2001, y muchas de las empresas sobrevaloradas de aquella época, aún no han llegado a cotizar a los valores a los que lo hicieron entonces, después de 23 años.

¿Se puede decir que por hablar de la realidad de la "burbuja puntocom" estabas negando la importancia de internet y su futuro? No, solamente constatabas la realidad de que había un burbujón fraguándose que acabaría por estallar, como así sucedió.

Bueno, pues ahora se está dando un fenómeno similar con las IAs, que ha elevado a techos impensables tan solo hace unos años a empresas como Nvidia (adjunto gráfica de su cotización), con unos niveles de cotización que no obedecen a las cuentas actuales de la empresa, sino a sus…...
#4 En el 2000, se sabía que internet sería el futuro. Pero las expectativas en aquella época eran demasiado optimistas y súpervaloraron muchísimas empresas relacionadas con dicha tecnología, generando así la burbuja puntocom, que acabó pinchando en 2001, y muchas de las empresas sobrevaloradas de aquella época, aún no han llegado a cotizar a los valores a los que lo hicieron entonces, después de 23 años.

¿Se puede decir que por hablar de la…  media   » ver todo el comentario
#6 Qué gran comentario, y cuántas verdades y aciertos juntos {0x1f44c}
#16 Hay varias de las empresas que sobrevivieron a los 2,000 que ahora son absolutamente dominantes en Internet, como Amazon. Y las que serán dominantes en IA casi seguro que ya existen, pero no sabemos seguro cuales serán.
#36 Pero es que las que sobrevivieron al crash de las puntocom fueron aquellas que realmente tenían un negocio detrás para darle soporte al "hype", como Amazon, Ebay y otras.

Las que se fueron a la mierda fueron aquellas que vendieron humo. ¿Qué había detrás de Terra?
#40 pues eso. Y ahora hay muchas que también tienen un negocio detrás y sobrevivirán
#42 Creo que no va a ser tan fácil ahora distinguir entre las que van a sobrevivir y las que no.

Antes del crash de las puntocom, yo mismo me lo vi venir y no es porque me las dé de gurú ni especialista ni nada por el estilo, es que cualquiera con dos dedos de frentes se podía preguntar qué coño había detrás para sostener los precios que se pagaban por acción en aquel momento. No recuerdo exactamente cuánto fue, pero me parece que las acciones de Terra se llegaron a multiplicar en precio por…   » ver todo el comentario
#44 sobrevivirán las rentables y morirán las que viven de inversores, como siempre. Nvidia, Meta, etc, no van a desaparecer.
#40 ¿Qué había detrás de Terra?

EL MEJOR CHAT DEL MUNDO
#55 Para eso estaba irc-hispano.
#36 Pero aquellas empresas no eran simples "puntocom". Como siempre, sobreviven las empresas con valor real y las miles que estaban ahí al calor de la burbuja aparentando que eran superdisruptivas y supernecesarias cuando en realidad no añadían demasiado o no añadían nada, desaparecen.
#6 No es lo mismo, Nvidia a pasado a facturar una burrada de dinero contante y sonante: 27.014 millones de dólares en 2022. En 2023 los ingresos se ubicaron en 55.268 millones de dólares ... En los primeros 6 meses de 2024 casi a igualado todo lo facturado en 2023.
#27 claro que no es lo mismo, son cosas distintas, pero similares.

Se crea un hype*, se infla la burbuja, estalla, se sigue optimizando y se consigue la verdadera rentabilidad.
#6 Correcto, opino lo mismo, excepto si cabe para algunas aplicaciones de la IA para tareas algo más "repetitivas y aburridas" que no requieran de "creatividad" como es la programación.

Por ejemplo, en la atención al cliente hay unas IA generativas por ahí que te hacen unos resúmenes de tus historiales y te ayudan a resolver problemas "básicos" que no están nada mal. Claro que si te vas un poco fuera de los casos habituales empieza a cojear, pero desde el punto de vista empresarial eso implica, por mal que suene, poder reducir personal.
#39, pocas tareas hay menos creativas que la de programador. Es infinitamente más creativo el trabajo de un camarero, un lampista, que el de programador.

Cuidado, hablo del que desarrolla el software en base a unas especificaciones, no el que diseña estas especificaciones.
#78 Perdona, pero el que "diseña estas especificaciones", en la mayoría de ocasiones suele no diseñarlas tan bien, y al final acaba el programador teniendo que tirar de muchísima creatividad.
#88, entonces es un mal diseñador de especificaciones.
#78 Estaba comparando programar con cosas más tediosas como hacer resúmenes, historiales y resolución de problemas "genéricos".

Dicho esto, discrepo acerca de la falta de creatividad en la programación. Si eso fuese así no habría apenas diferencia entre programadores mejores y peores.

Para cumplir un mismo objetivo es frecuente (las variables son múltiples) poder encontrar distintas soluciones incluso de rendimiento parecido.

Obviamente no se puede comparar con la creatividad de empleos puramente artísticos, pero sí que puedes y sueles tener que tirar de imaginación para resolver según qué retos.
#6 toda nueva tecnología se sobrevalora en un inicios, crea una burbuja, explota y tarda un tiempo en hacerse útil de verdad. Está estudiadísimo, se llama la curva de Gardner.

Ya puse la imagen aquí hace un año, pero la traigo de nuevo.  media
#41 Pero es que englobar todas las aplicacones de la IA en la misma curva tampoco tiene sentido, en generar imágenes y tal a lo mejor ya no tira tanto, pero en vídeo está mejorando y en cosas menos famosas como en usos farmaceúticos o en la creación de asistentes de lectura de documentación de empresa (donde veo mayores opciones de negocio generalista).
#6 O sea que primero dices "burbuja", como si fuera una sola, pero luego intentas reducirlo a algunas de las muchas...
Qué "burbujas"? cuáles?
Las que se inventan los que no tienen ni puta idea? las que se inventan los que sólo quieren pasta de inversores?
Cuáles?
#6 Pero es como siempre, cuando buscas una solucion en google, pillas la primera que ves? no, miras comparas y evaluas, lo que pasa que mucha gente gandula hace un c&p de manual y luego falla... normal, chatgpt a parte de no ser siempre exacto, si le pegas tu cogido para que digamos te haga un loop, no solo va a hacer el loop sino que te va a cambiar cosas que no interesan del codigo por sus cojones...
Es una herramienta no un asistente que te hace todo
#6, buena respuesta, pero entiendo la contestación de #4, el problema es que en el comentario #2, no se sabía si lo decías porque eres de los que tienen tan pocas luces que a estas alturas todavía creen que todo lo de la IA es un pufo, que los hay, o porque hablabas de la burbuja alrededor de la IA que la hay como en todas las tecnologías que aparecen con tanto potencial.
#6 Sí, pero no, las compañías que no vendían humo se recuperaron hace mucho de la burbuja de las puntocom, no tardaron 23 años como dices:
es.finance.yahoo.com/quote/MSFT/
es.finance.yahoo.com/quote/AMD/
es.finance.yahoo.com/quote/IBM/
No me gusta cómo programa pero desde que lo uso soy mucho más productivo porque me facilita empezar la tarea. Antes podía pasarme horas o días procrastinando por pereza y ahora abro el Intellij le pego la descripción del ticket que tengo que hacer, me ofrece una solución de mierda pero al menos ya me pongo a funcionar.
#3 yo me lo tomo así, como un consejero/maestro.
#3 Si sólo le pegas el contenido del tiquet sin decirle nada... claro que te va a ofrecer una mierda...

El prompt lo es casi todo. Por eso "prompt engineering" es casi una carrera ya.

Es como usar un martillo para clavar un clavo, del lado del saca clavos...
#50 uy si, un carreron
#50 lo que cambia el resultado simplemente indicándole al prompt cosas como ""eres un programador experto en x que aplica tales patrones y tal arquitectura" y tienes que resolver el siguiente ticket:

Ya solo con eso la diferencia suele ser brutal, darle contexto. Ya con herramientas como el IDE cursor no digamos
#3 Jajajjaja literalmente yo
Cuenta atrás para el pinchazo de la burbuja IA... 3, 2,...
#2 Y después viene el pinchazo de la máquina de vapor xD
#2 Del nivel de Google+ en su tiempo.
#2 solo es un bebé, está automatizando muchos procesos que eran farragosos, y aunque todavía requiere mucha calibración va avanzando. En una década quizá si nos sorprendamos, veremos incluso, si como dice ibm a finales de esta década sus ordenadores cuánticos permiten empezar a ser algo menos que humo y todo combinado puede ser una nueva revolución.

Pero por ahora es solo una semilla muy prometedora con ciertos usos muy jugosos
#2 Como le ocurre a todas las nuevas tecnologías. Expectativas, hostión, realidad, asentamiento
#2 Increíble que todavía haya gente que piense que la (mal llamada) AI es una burbuja... de verdad no os enteráis de nada...

Hace décadas que la "AI" está presente en muchos campos. Y muchísimo más desde hace 2-3 años.
Sorpresa
#1 ninguna sorpresa, lo pasa es que el tiempo que nos ahorra la IA a los programadores no lo estamos dedicando a producir más para la empresa, sino a tocarnos más los cojones, ¡faltaría!
#17 Como debe ser
#17 Como si los desarrolladores estuvieran para construir algo eficiente, racional y productivo, están para hacer realidad las flipadas de algún tipo escaso de conocimiento pero sobrado de verborrea.
#32 Eso es. De hecho, yo hasta le pido disculpas al chatGPT por las cosas que le tengo que pedir.
#17 No nos delates estos artículos nos benefician.
#17 o a leer varias veces lo que ha escrito la IA para confirmar que realmente hace lo que queremos y de forma eficiente
#1 Ninguna. La IA en programación solo vale si no tienes ni idea de lo que estás haciendo.

Cuando comienzas algo nuevo, o para aprender, está muy bien. Pero la mayoría de entre hace cosas sobre un sistema que ya conoce
#33 Te equivocas, compañero.
No tienes ni idea de la cantidad de horas que te ahorra. Le pides lo que quieres hacer y luego solo tienes revisarlo. No escribes prácticamente nada, y si algo no te gusta le puedes dar una nueva indicación.
Y tiene todos los beneficios del pair programing.
#33 Para las tareas repetitivas está muy bien. Yo le paso varios scripts de cómo trabajo y luego le digo hazme otro basándote en esa estructura pero que haga esto y tenga esto otro...y pum lo tienes hecho.

Otra cosa para la que me suele funcionar es para hacer algunas consultas a BBDD complejillas. Le pasas las tablas que utilizas, le dices lo que quieres y si no lo clava te da una primera aproximación bastante acertada.
Es una herramienta más, no es la panacea que nos vendieron pero si te…   » ver todo el comentario
#54 De acuerdo. Yo lo solía tener activo en el IDE, pero al final molesta más que ayuda. Si lo uso para escribir tests sencillos o regex.
#60 para test unitarios es ideal, revisando siempre los casos de uso, por supuesto.

¿Pero para regex? No se me ocurre un peor uso de la IA que para obtener expresiones regulares.

Yo soy de los que piensa que las expresiones regulares hay que evitarlas. Básicamente porque el 90% de los desarrolladores no las entienden y simplemente las copian y las pegan, y en las revisiones a lo sumo las prueban con un par de casos de uso básico.

Usar IA para obtenerlas es todavía peor, porque ni siquiera…   » ver todo el comentario
#33 el ahorro de tiempo precisamente crece cuando sabes muy bien lo que quieres hacer e incluso como implementarlo.

Si yo tengo en la cabeza una arquitectura de clases , relaciones y casos de uso y soy capaz de explicársela correctamente, la IA ella solita puede generarme cientos de archivos y líneas de código a partir de los cueles puedo empezar a refinar o aplicar tdd por ejemplo. Y eso en un proyecto grande pueden ser un ahorro enorme en cada funcionalidad
#1 Para mí bastante, no sé si es un estudio antiguo o es que la peña es muy gañana :-) El ahorro de tiempo es salvaje.
#1 No soy desarrollador pero me ahorra bastante tiempo en la parte más mecanica de escribir scripts y corregir errores. Y tienes q tener muy claro como se tiene q hacer, para darle instrucciones precisas si no si que pierdes el tiempo
#1 depende muchio, yo que me paso la mayor parte del tiempo bregando con código mierdoso no gano mucho y cuando le pido que me haga los test de un bloque de código de verdad que tampoco...
La productividad aumenta, lo cual nos permite pasar más tiempo en redit o meneame. xD

Por lo general, los retrasos en software o más bien, la capacidad de entregar valor,el está más limitada por la gente de producto o negocio que por los desarrolladores.
#14 Yo gran parte de mi horario laboral lo paso bloqueado. Y no por el código precisamente.
Yo uso copilot, y la predicción ahorra bastante tiempo si tienes a hacer las cosas siempre más o menos parecido, y el chat para dudas o cosas que no sueles hacer está genial.

Ahora lo que piensan los jefes de que vas a mejorar un 70% es bastante complicado.
#12 ellos lo ven costes.

Paga x al mes por la licencia, y lo quieren ver en una reducción de tiempo en las tareas al menos proporcional.

Como si antes no emplearas tiempo en buscar en foros o documetación.
#26 La capa gratuita de chatgpt sirve, y copilot Cuesta una docena de euros al mes.

Si hacen cálculos sale rentable seguro
#26 un programador que cobre cerca de 50k al año sale a la empresa por unos 65k. Entre 1800 horas, unos 36 euros la hora.

Copilot vale 10 dólares al mes.

Con que le ahorre al programador de arriba 20 minutos al mes, ya es rentable.
#12 Mejoras el tiempo de desarrollo. Pero como no andes vivo, la calidad del resultado peligra
Yo uso mucho chatgpt. Principalmente para refactorizar algunas cosas sencillas o para generarme el esqueleto de algún flujo. En cuanto le pides algo con algo de complejidad, pierde toda utilidad. Y si no sabes interpretar que el código que te propone es correcto, estás vendido.
#10 muy cierto. Pero si eres capaz de describir una arquitectura top-down a chatgpt o copilot, y vas por partes, la IA te va a escribir lo que quieras, con test de unidad/integracion, etc. Obviamente vas a tener que revisarlo, pero te ahorra un trabajo del copon.
#13 Bueno, mi experiencia con los tests y chatgp es bastante decepcionante. Para tests unitarios PUEDE servir. Para tests de integración no he conseguido que me genere uno usable. No digo bueno. Usable.
Le paso todas las clases que pueda necesitar de contexto y nada, me hace churros inservibles.
Copilot no lo he probado así que no puedo opinar.
#15 ídem con copilot, lo tenemos en mi empresa y siempre lo uso para ahorrarme tiempo generando los unitarios. Los de integración lo que hago es hacer el happy path y decirle a copilot que basado en ese me haga los diferentes casos que fallan, y me da un resultado que al 70% puedo usar
#15 chatgpt en ese tipo de trabajos pierde utilidad porque le tienes que estar pasando constantemente tu código, cualquier modificación que hagas...etc.

La gracia para eso son las IA plenamente integradas en el IDE como cursor o la de los ides de jetbrains
#10 con un martillo lo mismo clavas un clavo que te revientas la mano. Las herramientas hay que saber usarlas.
#19 Y esta herramienta para chapuzas está bien. Para trabajo serio, le queda mucho.
#21 el "boilerplate", el esquema, te lo hace bien. La chicha la tiene que poner uno.
#22 Coñe, pues eso he dicho. Que para hacer el esqueleto de algo está bien...
#24 pues de acuerdo :hug:
#10 Yo para código muy muy simple y/o repetitivo...
A ver, que la "IA" lleva dos días entre nosotros
#20 La IA existe por lo menos desde 1950
#72 creo que queda bastante claro lo que quiero decir
para bash scripting me van genial. En visual studio, yo le otorgaría una precisión/ahorro de tiempo del 35% hay que cogerle demasiado el punto al prompt o si no directamente te la lian y eso para mi no deja de ser un buscador con esteroides, de momento.
Hoy he sufrido un poco de desencanto con ChatGPT 4o porque me ha generado un documento para explicar a un jefe un tema de arquitectura (bien) pero al pedirle que lo pasara a Markdown el desastre ha sido estrepitoso (mal), No importa cuantos prompts le mande es incapaz de hacer en lenguaje MD los propios gráficos que él mismo ha generado. Es fantástico y fustrante por igual. El día que cosas tan simples las domine será una herramienta sin parangón, ahora mismo ahorra "algo" de tiempo.
Claro, si al chatGPT le pasas la información de requerimientos tal cuál te llega de la gente de producto, te hará el código acorde :troll:
Yo la uso a diario y es útil.

Te ahorra tiempo en búsquedas por internet.

Luego al ir atinando es un poco más peliagudo.

Una mañana me estuve de discusión con la IA, ya que me proponía una solución que no funcionaba, aunque ella me aseguraba que si.
Al final abas yendo a la documentación para demostrarle que se equivoca.

A veces es muy útil con planteamientos vagos, en plan "¿cómo harías ...?".
Incluso la he usado para explicarme conceptos.

Pero lps jefes piensan que van a ahorrar pasta, y si no, pues puerta.
#28 Una mañana me estuve de discusión con la IA, ya que me proponía una solución que no funcionaba, aunque ella me aseguraba que si.
Al final abas yendo a la documentación para demostrarle que se equivoca.


Yo también he hecho eso alguna vez, puede ser divertido, pero es algo realmente estúpido y sin sentido....xD

Tus jefes y tú por otro lado ahorraréis tiempo. Y eso es pasta
A mi la IA si me ha resuelto un par de cosas donde una búsqueda me habría resultado muy vaga. Con la IA puedo afinar la pregunta y ser más concreto con lo que busco.
Yo los utilizo, no para que me hagan el trabajo sino para validar y ayudarme a refactorizar código, o plantear soluciones alternativas.

A menudo preguntando algo desde zero está bien, pero solo si es muy simple o tienes todo ya medio escrito. Si es algo complejo se deja cosas o aveces da soluciones que simplemente no existen.

Aún no es posible que una IA de una respuesta correcta a una pregunta muy compleja por una simple razón:

No entiende la pregunta. Parece que la entiende, pero la maquina no entiende. Lo que hace es emular que entiende y dar una respuesta en base a esa emulación.

Entendéis?
#62 Bueno, yo creo que lo que realmente sorprende de las IA actuales hasta el punto de que hay gente que dice que "ya son más inteligentes que las personas", es su capacidad de análisis de las entradas.

He probado con enunciados de problemas de programación bastante complejos de entender hechos para humanos con un corta-pega y la "comprensión" es perfect y la solución ofrecida de 9.
dadle tiempo
El problema es nuestra tendencia a humanizarlo todo. Como las IA actuales son capaces de ofrecernos en ocasiones respuestas medio decentes, nos creemos que son parecidas a las que hemos visto en películas y no.
Las IA han conseguido hitos sorprendentes, pero a base de entrenamiento intensivo llevado a cabo por cientos de miles de personas durante años y un consumo de energía descomunal. Es decir, básicamente a base de fuerza bruta. No hay más.
Y eso, en mi opinión, no es sostenible a largo plazo.
Me lo creo. Yo usaba copilot en el trabajo y desde hace una semana me han instalado cursor.

Que sí, que me autocompleta algunas cosas, pero me da que es un poco gimmick ya que eso me ahorra muy poco tiempo.

Pero cuando necesito ayuda o sugerencias, si le pregunto algo de GitHub Actions o de AWS Cloudformation templates, se pega unos inventos y unos errores escandalosos. Hasta el punto que creo que a largo plazo me vendría mejor mirarme la documentación desde 0 un día de estos.
Juas, al igual, la de horas de codigo repetitivo que me ha ahorrado codeium. A parte de casi leerme la mente a veces.
#45 lo voy a probar para ansible a ver qué tal va. Gracias 
Mi experiencia es que agilizan el trabajo, es un stackoverflow chetado, pero realmente no solucionan nada. Y como le preguntes algo con alta abstracción, yuyea y se inventa la respuesta, lo que puede inducir a que cometas errores. Más importante aún que el prompt es corroborar el resultado. 
#57 Exacto. Usar un chatGPT o similares sin suficiente conocimiento y cuidado puede ser realmente desastroso
En proyectos del paleolítico de la informática, hechos con el ojete de un mono, la IA no pinta nada. Por muchos millones de tokens que tenga no es capaz de entender el montón de mierda acumulada.
Mi experiencia como ing de soft senior es que el github copilot no es capaz ni de crearme un esqueleto de test unitario de una clase sin que meta la pata u omita métodos públicos… cosa que casi resharper te hace sin ia ni ostias, con un simple intérprete. Solo me atrevo a usarlo para testing y no da la talla en absoluto, solo sirve para ahorrarse algo de boilerplate code 
#67 Pero puede ahorrar teclerar mucho. Eso es tiempo.

Y generar entradas de prueba rápida y fácilmente.
Mi experiencia es que he refactorizado en tres días una app que tardé en hacer 3 semanas hace dos años. No hay más preguntas.

menéame