Русскоязычное программирование

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.



Сбер АИ

Сообщений 1 страница 16 из 16

1

Сбербанк натренировал нейронную сетку GPT для русского языка тренировка длилась 2 недели на суперкомпьютере. Суперкомптьютер  из 8 модулей DGX2 (128 видео карт)". Для тренировки использовался подборка данных по разным темам на 170 Гб или 20 википедий.
Саму нейронную сетку можно скачать тут
https://github.com/sberbank-ai/ru-gpts

Примеры умений можно будет посмотреть здесь после окончания кокурсов.
https://github.com/sberbank-ai/ruGPT3_demos

К примеру сетка может написать за вас сочинение. В принципе на уровне 10 летнего.

Предмет: литература
Тема: Кем является Чацкий: победителем или побежденным? (по комедии А.С. Грибоедова «Горе от ума»)
Сочинение: В соответствии с теми характеристиками образа, которые дает Грибоедов Чацкому в комедии «Горе от ума», он оказывается так или иначе победителем, поскольку удаляется от людей и не видит их. У Чацкого один путь — к самоубийству. Однако при этом он не производит впечатления побежденного героя. Второй путь Чацкого (эгоцентрический) — сохранить достоинство, и он не рассматривает самоубийство как путь к бессмертию.  Поэтому, на наш взгляд, читателю важно понять, кто такой Чацкий и на каком пути он живет.
На каком пути живет Чацкий? На его взгляд, Чацкому свойственна не только всеядность: способность говорить как человек, не чуждый эгоизму и самолюбованию. В его внутренней «темнице» развиваются внутренние конфликты, связанные с его судьбой. Чацкий хотел быть «добрым помещиком». Он хотел служить обществу, но оказался неудачником. Можно ли назвать его победителем? Нам представляется, что нет. Чацкий живет в противоречии с самим собой. Будучи членом дворянского общества, он должен служить ему, но не может соответствовать его требованиям. Человек чести должен служить своей стране, но при этом не хочет быть для общества слугой. Только вера в лучшие идеалы может помочь человеку сохранить свое достоинство.

GPT славиться тем что может по словесному описанию на естественном человеческом языке создавать код web-страниц, писать SQL и Shell скрипты. Так что скоро цены на программистов могут рухнуть.

0

2

Интересно, но я в этом не разбираюсь, а времени изучать нет...

0

3

Я прошу прощения, но по-моему, это какая-то ахинея. Я честно прочитал два раза. Возможно, я слишком тупой, чтобы понять искусственный интеллект. Я дам почитать профессиональному преподавателю русского языка.

Но я уже сейчас готов проголосовать за то, чтобы даже два месяца дать этому ИИ поучиться писать программы управления бизнес-джетами, потом закачать программу, которую он сгенерирует, в конкретный самолёт, посадить туда Грефа и куда-нибудь отправить, желательно подальше отсюда.

Отредактировано БудДен (2020-10-17 13:35:42)

0

4

Преподаватель тоже сочла текст безсмысленным.

0

5

2019-12-02, OpenAI открыла доступ к полной версии нейросети GPT-2
GPT-2 - это глубокая нейронная сеть, обученная на 40 ГБ интернет-данных (около 8 миллионов веб-страниц)

спонсоры: SpaceX и генеральный директор Tesla Элон Маск.

Нейросеть GPT-2
умеет быстро и точно распознавать суть написанного, чтобы сделать выводы и продолжить текст.
ей достаточно броского заголовка, чтобы написать текст «сенсационной» новости

ИИ умеет
работать с литературными приемами,
с техническими текстами,
пишет стихи и
может поддерживать беседу, составляя развернутые ответы на вопросы.

хватает и уязвимых мест:
не под силу выстроить длинный сюжет, она работает только с небольшими по объему текстами.
может допустить грубую ошибку, неверно интерпретировав название неизвестного ей предмета.

----

«Название GPT расшифровывается как Generative Pretrained Transformer, ссылаясь на нововведение Google 2017 года под названием Transformer, которое может выяснить вероятность того, что определенное слово появится с окружающими словами.» (q) https://habitantnsk.ru/?p=4379

По сообщениям, обучение GPT-3 стоило около 12 миллионов долларов.

Отредактировано Лис (2020-10-17 14:36:39)

0

6

2017-08-31, Transformer: A Novel Neural Network Architecture for Language Understanding

«After starting with representations of individual words or even pieces of words, they aggregate information from surrounding words to determine the meaning of a given bit of language in context.»

Отредактировано Лис (2020-10-17 14:39:28)

0

7

Я прошу прощения, но по-моему, это какая-то ахинея. Я честно прочитал два раза. Возможно, я слишком тупой, чтобы понять искусственный интеллект. Я дам почитать профессиональному преподавателю русского языка.

Суть в том что ИИ выстроил семантически корректные предложения.  А вот то что, они смысла не имеют это не так. Вы сами можете убедиться посмотрите на школьные сочинения на тему "как я провел лето". Они написаны не на много лучше. 

https://www.google.com/search?q=школьные сочинения как я провел лето&client=firefox-b-d&tbm=isch&source=iu&ictx=1&fir=_RXiT34xqRTJfM%2CKvjyovhpsBaRJM%2C_&vet=1&usg=AI4_-kTRB72fuXCaCg3RLRRkAJ3JBmZK_A&sa=X&ved=2ahUKEwj30Yizx7vsAhUiNOwKHVqYDBEQ9QF6BAgKECk#imgrc=_RXiT34xqRTJfM

Преподаватель тоже сочла текст безсмысленным.

Давать текст учителю бессмысленно. Их учат повторять то, что написано в учебниках, а не думать самостоятельно. А что бы у них не возникало вольнодумие их ещё загрузили многочисленными бюрократической работой.
Поэтому любой текст отличный от методического пособия они назовут бессмысленным.

Для того чтобы повысить качество ИИ нужна тонкая настройка выкинуть мусорный  данные из базы знаний.  Когда он будет не знаком с широтой мысли и у него будут узкие взгляды как у учителя он сможет выдавать более понятные тексты. Это произойдет с течением времени.
Понятные <> осмысленные.

Отредактировано Павиа (2020-10-17 15:08:27)

0

8

Павиа написал(а):

Давать текст учителю бессмысленно. Их учат повторять то, что написано в учебниках, а не думать самостоятельно.

Смешно :) Например, внезапно, не все преподаватели русского работают в школе :)

Отредактировано БудДен (2020-10-17 16:17:06)

0

9

Павиа написал(а):

А вот то что, они смысла не имеют это не так. Вы сами можете убедиться посмотрите на школьные сочинения на тему "как я провел лето"

Если на вид кажется одинаковой глупостью, то это не значит, что оно действительно одинаковая глупость. И главное, это пишут несовершеннолетние, недееспособные люди. Они вырастут лет через 5 и станут писать лучше. А станет ли этот ИИ через 5 лет писать лучше? (к сожалению, станет. Хорошо, что я уже не так молод и бедные дети).

0

10

Объясните мне кто-нибудь, пожалуйста, понятными словами, что делает эта программа?
Общими словами я выше уже написал, вот конкретно, чтобы понятно было.

То, что она как-то перерабатывает много гигабайт текстов и составляет матрицы вероятностей попарной встречи слов я понял.
Как она смыслы-то выделяет?
Может ли она автоматизированно составить толковый словарь языка с разделением статей для одного слова по пунктам, соответствующим разным смыслам?

Отредактировано Лис (2020-10-17 17:02:20)

0

11

Лис написал(а):

Как она смыслы-то выделяет?

Никак. Это иммитатор ассоциативного бредогенератора вроде человека. :D

+1

12

«В марте 2017 года Google полностью перевела свой онлайн словарь на двигатель, построенный как нейросеть, для более качественного перевода.»

0

13

https://www.nvidia.com/ru-ru/data-center/dgx-2/

двухпетафлопсная система с 16 ускорителями NVIDIA V100 с тензорными ядрами
построена на базе ПО NVIDIA DGX и
масштабируемой архитектуре с технологией NVIDIA® NVSwitch™

«THE WORLD’S MOST POWERFUL DEEP LEARNING SYSTEM FOR THE MOST COMPLEX AI CHALLENGES»

GPUs: 16X NVIDIA ® Tesla V100
GPU Memory: 512GB total
Performance: 2 petaFLOPS
NVIDIA CUDA ® Cores: 81920
NVIDIA Tensor Cores: 10240
NVSwitches: 12
Maximum Power Usage: 10kW
CPU: Dual Intel Xeon Platinum 8168, 2.7 GHz, 24-cores
System Memory: 1.5TB

В общем, я так понял, протестили какую-то Blade-систему, хотяяя, судя по габаритам - скорее многокорпусную

Height: 17.3 in (440.0 mm)
Width: 19.0 in (482.3 mm)
Length: 31.3 in (795.4 mm)

42u – это высота шкафа, выраженная в юнитах.
Если один блок = 10 юнитов, таких там 8, то всего две стойки.

Отредактировано Лис (2020-10-17 21:44:18)

0

14

2 недели = 2 * 7 *  24 * 60 * 60 секунд
8 * 2 * 10^15 операций / секунду

всего 1.9 * 10 ^ 22 операций

150 * 10^9 * 8 бит = 1.2 * 10^12 бит

Над каждым битом было выполнено в среднем 1.6 * 10^10 операций

Хотя, там операции 64-х разрядные, неправильно посчитал...

Отредактировано Лис (2020-10-17 21:58:31)

0

15

Сколько это стоило по энергии в деньгах?

2 недели = 14 * 24  = 336 часов
Мощность 80 кВт*ч

Всего 336 * 80 * 5.66 руб / 1 кВт.ч = 152140 рублей (для них).

Если пересчитать на процессоры попроще и менее энергоэффективные,
то дома это выйдет дороже.

Но если написать p2p-приложение, то можно раскидать эту стоимость по энтузиастам (по аналогии с Folding At Home)

Пусть в процессоре 70*10^9 флопс, а мощность 95 ватт

Потребуется 3*10^11 "домашних" процессоров.
Столько людей на планете нет.
Но если бы было, это стоило бы 5 * 10^13 рублей (50 триллионов)

Отредактировано Лис (2020-10-17 22:34:59)

0

16

стоимость одного узла DGX-2 на момент анонса составляла $399 тыс.
https://www.cnews.ru/news/top/2019-11-0 … o_sozdanii

использование ресурсов суперкомпьютера повысит эффективность решения задач в широком спектре областей, к примеру,
- в обработке естественного языка,
- компьютерном зрении,
- автоматизированном принятии решений,
- оценке и управлении рисками,
- выявлении мошенничества,
- предиктивной аналитике,
- создании голосовых помощников и
- чат-ботов.

https://ru.wikipedia.org/wiki/Кристофари_(суперкомпьютер)

Предоставляется в аренду другим организациям (в составе продуктовой линейки SberCloud AI Cloud; стоимость аренды — 5750 рублей в минуту)

По этой цене стоимость 2-х недельной работы = 115 920 000 руб.

Расположен в центре обработки данных Сбербанка в инновационном центре «Сколково».
Занимает один машинный зал, был построен менее чем за год

Если бы мы были НКО, мы бы могли провести пиар-мероприятие, проведя платное какое-нибудь моделирование (СМИ бы растиражировали, наверное). Это же прямо по тематике, которая им интересна.

Отредактировано Лис (2020-10-17 23:34:30)

0