OpenAI ажурира Codex контролом рачунара и меморије

  • Кодекс се интегрише са рачунаром: контролише десктоп апликације, приказује екран и користи сопствени курсор без прекидања корисника.
  • Агент користи нову меморију, поново користи разговоре и аутоматизује дугорочне задатке са више агената који раде паралелно.
  • Укључује интегрисани прегледач, генерисање слика помоћу gpt-image-1.5 и побољшану подршку за програмерске токове рада.
  • Ажурирање прво стиже на macOS; у Европи и Великој Британији неке функције касне због регулације података.

Ажурирање Кодекса уз контролу рачунара

OpenAI је направио још један корак у интеграцији вештачка интелигенција са свакодневном употребом рачунара потпуном реорганизацијом Codex-а, свог десктоп агента за код. Алат, раније познат првенствено по својој помоћи у програмирању, сада постаје асистент способан за руковање апликацијама, памћење подешавања и управљање пројектима готово беспрекорно.

Овим ажурирањем, компанија коју предводи Сем Алтман приближава свој план стварања Десктоп „супер апликација“ која обједињује ChatGPT, Codex и ваш Atlas прегледачЦиљ овог потеза је поједностављење корисничког искуства, концентрација ресурса у једном радном простору и суочавање са ривалима попут Anthropic-а, посебно у окружењу за развој софтвера и напредној аутоматизацији.

Кодекс учи да користи рачунар као и сваки други корисник

Једна од најупечатљивијих промена је то што Кодекс сада може контролишите рачунар у позадиниАгент је у стању да види шта се налази на екрану, помера сопствени курсор, кликће, куца текст и реагује на оно што се дешава у инсталираним апликацијама, без прекидања онога што корисник ради мишем или тастатуром.

Ова могућност омогућава вишеструким Кодекс агентима да раде заједно паралелно у истом тимуОво подразумева извођење тестова, промену конфигурација или извршавање понављајућих задатака док особа наставља са својим уобичајеним активностима. Ово отвара врата аутоматизацији токова посла који су раније захтевали стални надзор, као што је тестирање апликације након сваке промене кода или понављање радњи интерфејса.

OpenAI предлаже ову функцију као начин на који асистент може да ради са алати који немају API или директне интеграције, нешто уобичајено у многим десктоп програмима. Кодекс, „видећи“ екран и контролишући курсор, може да интерагује са овим апликацијама баш као што би то чинио људски корисник, мада за сада на контролисан начин и са посебном пажњом посвећеном безбедности.

Према компанији, коришћење рачунара је у почетку доступно у macOS преко десктоп апликације Codex, повезан са ChatGPT налогом. Верзија за Windows ће стићи касније, када се тестирају перформансе и функције прилагоде Microsoft окружењу.

У случају Европе и Уједињеног Краљевства, OpenAI је потврдио да је рачунарска контрола, напредно прилагођавање, контекстуални предлози и меморија Биће активиране касније. Разлог је потреба да се ове функције прилагоде прописима о заштити података, што је посебно захтевно у Европској унији и на британском тржишту.

Кодекс са меморијом и контролом апликације

Интегрисани прегледач и директан рад на веб страницама

Ажурирање такође јача однос Кодекса са вебом захваљујући... прегледач интегрисан у саму апликацијуУместо једноставног примања генеричких текстуалних инструкција, агент може да прима команде директно на одређеним елементима странице.

На пример, у развоју фронтенда, корисник може Изаберите веб компоненту и опишите промену. Корисник жели нешто да уради (као што је промена боје, величине текста или распореда блока), а Кодекс разуме инструкције у том специфичном визуелном контексту. Ово избегава писање дугих упутстава која објашњавају који део сајта треба изменити.

Овај уграђени прегледач такође омогућава Codex Анализирајте садржај, прикупите информације и користите их као контекст За остале задатке, као што су документовање кода, преглед спецификација производа или упоређивање техничке документације, све се обавља у истом окружењу, без потребе за пребацивањем између више прозора оперативних система.

Генерисање и уређивање слика помоћу gpt-image-1.5

Још један стуб нове верзије Кодекса је интеграција модела gpt-image-1.5 за креирање и модификовање слика Из саме десктоп апликације, агент може да генерише графиконе, дијаграме, макете или визуелне скице из текста или комбиновањем инструкција са снимцима екрана и фрагментима кода.

Ова могућност је директно усмерена на тимове који раде у дизајн производа, кориснички интерфејси или прототипови видео игараНа пример, програмер може да направи снимак екрана полузавршеног интерфејса, замоли Кодекс да предложи редизајн менија или нову шему боја и добије генерисане слике које одговарају том контексту, без промене алата.

Са свим централизованим у Кодексу, агенти могу повезивање задатака кодирања и дизајнирањаНапишите логику функционалности, ажурирајте одговарајући фронтенд и генеришите визуелни модел за презентацију тиму, без напуштања радног процеса или отварања екстерних апликација за графичко уређивање.

Меморија, контекст и аутоматизација дугорочних задатака

Поред рачунарске контроле и генерисања слика, велики циљ компаније OpenAI са овом верзијом је да опреми Кодекс са... трајна меморија и много шире управљање контекстомАлат може поново да користи претходне разговоре, сачува важне информације и да их преузме када је потребно да би се наставио пројекат.

Функција меморије, која се објављује у прегледу, омогућава Кодексу памте личне преференције, честе исправке или податке које је било тешко прикупитиОво укључује све, од типичног технолошког стека тима до начина на који су организоване фасцикле, најчешће коришћених формата извештаја и ознаке која се обично користи на ГитХабу за одређене врсте проблема.

Са тим акумулираним контекстом, агент може проактивно предлагати задаткеОво се може користити за предлагање наставка недовршеног пројекта, препоруку за предстојеће рефакторисање или обавештавање корисника о дугогодишњим захтевима за преузимање (pull requests). Неке компаније га већ користе за праћење разговора у Slack-у, Gmail-у или Notion-у и реаговање када се догоде одређени догађаји.

Кодекс такође може планирајте рад за будућност и поново се активирајте самостално да заврши дугорочне задатке. На пример, може да управља редом прегледа кода данима или недељама, решавајући коментаре и ажурирајући документацију без потребе да програмер стално прати то.

Преко 90 додатака и побољшана подршка за програмере

Да би завршио промену, OpenAI је додао скоро 90 нових додатака за КодексТо укључује интеграције са Microsoft Suite-ом, GitLab Issues, Neon by Databricks, Render и Superpowers, као и подршку за MCP (Model Context Protocol) сервере. Циљ је да се агенту пружи више извора контекста и веће оперативне могућности.

Захваљујући овим додацима, Кодекс може прикупљајте информације од различитих служби и реагујте на њих Из једног радног простора можете прегледати проблеме у GitLab-у, испитивати податке у Databricks окружењу, ажурирати Office документе или комуницирати са услугама имплементације, без присиљавања корисника да прелази са платформе на платформу.

На чисто техничком нивоу, ажурирање јача типични токови рада програмераСада вам Кодекс помаже да прегледате захтеве за повлачење, управљате више картица терминала одједном, повежете се са удаљеним развојним окружењима путем SSH-а и отворите датотеке са богатим прегледима, било да су то PDF-ови, табеле, презентације или документи у другим форматима.

Све ово је концентрисано у јединственом искуству које, према самом OpenAI-у, омогућава бржи напредак у свим фазама животног циклуса софтвераОд писања почетног кода до његовог тестирања, имплементације, документовања и одржавања, са вештачком интелигенцијом која континуирано сарађује у истом десктоп окружењу.

Доступност, фокус на програмере и ситуација у Европи

Нова верзија Кодекса се већ примењује у десктоп апликација за macOS За оне који се пријављују са ChatGPT налогом. Нису све функције захтевале исту врсту претплате, а неке напредне функције могу зависити од купљеног плана, као што је случај са другим OpenAI алатима.

Тибо Сотио, директор Кодекса, објаснио је да је ово ажурирање Посебно је намењен програмеримаИако је намера да се касније прошири на ширу публику. Идеја је да ће технички тимови први искористити предности нових агената и аутоматизованих токова рада и, временом, пренети тај модел на канцеларијске задатке, управљање документима или личну продуктивност.

OpenAI наглашава да је коришћење рачунарске снаге и меморије имплементирано помоћу приступ безбедности и усклађености са прописимаОво је посебно релевантно у Европској унији и Уједињеном Краљевству. Из тог разлога, напредне функције прилагођавања, контекстуални предлози, трајна меморија и директна контрола оперативног система ће мало касније постати доступне на овим тржиштима.

У сваком случају, компанија тврди да ова еволуција Кодекса отвара врата ка десктоп супер-апликација фокусирана на интелигентну аутоматизацијугде агенти вештачке интелигенције не само да помажу у писању кода, већ и координирају задатке, прилагођавају се корисничком стилу рада и одржавају сложене пројекте у току дуже време. За програмере софтвера у Европи, порука је јасна: нове могућности долазе, али уз неопходна прилагођавања како би се уклопиле у постојећи регулаторни оквир.