|
Робот-платформа
|
|
| lori | Дата: Четверг, 07.11.2013, 18:35 | Сообщение # 31 |
 12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Ура! - Ура! - Ура!
К нам присоединяется еще один человек, с которым совместно я буду заниматься написанием программного кода на C++ для нашего робота. Думаю, это ускорит весь процесс "опрагроммирования" нашего проекта. Главное чтобы он не "сдулся" как предыдущие 
На днях разобрались с SDK для KINECT. Скажу я вам, это ВЕСЧ !!!
Вот, к примеру, полученная от сенсора трехмерная картинка моего кабинета. Картинка получена с IR камеры с наложением текстур цветной камеры сенсора:
Или полученные мной скелетоны от KINECT-а:
1. картинка с видео-камеры сенсора -
2. картинка с картой глубины от IR-камеры сенсора -
3. ну и собственно то, что я получил на выходе - два человека стоят перед сенсором, KINECT возвращает скелетоны и мы отрисовываем их в окне. Самое главное это то, что известны координаты всех узлов (суставов), таким образом можно четко детектировать движения и жесты человека, и жестами управлять роботом. Кстати, эту функцию можно применять и не только в робототехнике. Это как SmartTV с управлением жестами! там конечно не кинект, но идея та же, можно сделать устройство которым управлять при помощи жестов.
Вот, как то так. Осталось разобраться с отслеживанием лица на KINECT и получением от него звукового потока. Когда эти задачи будут решены, то можно сказать, что половина дела по созданию программного кода робота будет сделана.
Сообщение отредактировал lori - Понедельник, 16.12.2013, 10:09 |
| |
| |
| GRACH | Дата: Пятница, 08.11.2013, 16:16 | Сообщение # 32 |
 dvrobot.ru
Группа: Администраторы
Сообщений: 111
Репутация: 16181
Статус: Offline
| lori, Наши поздравления с расширением Вашего коллектива.
По Вашему проекту можно уже диссертацию писать я думаю.
С нетерпением ждем продолжения.
|
| |
| |
| lori | Дата: Пятница, 08.11.2013, 18:06 | Сообщение # 33 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| GRACH, спасибо. Но думаю, что до диссертации не дотянем  , слишком узколобые мы:  , а для диссертации нужно быть яйцеголовыми  :, тем не менее, не хочу хвастать, но на просторах инета подобного проекта  я действительно еще не находил. Может это связано с тем, что каждый свою кашу варит и не с кем не хочет ей делиться?! Я не знаю, неужели крутых чуваков у нас мало в этой области?
Добавлено (08.11.2013, 18:06)
---------------------------------------------
Хочу еще сказать, что та девушка на кадре из видео фрейма, это не тот человек что будет писать на C++, все на много прще - это моя любимая жена! ВОТ!
Сообщение отредактировал lori - Понедельник, 25.11.2013, 18:18 |
| |
| |
| lori | Дата: Вторник, 12.11.2013, 18:20 | Сообщение # 34 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| В связи с тем, что, как я уже писал, будем делать новую голову, я попытался поэкспериментировать, и приладил сенсор на робота. Затем "подпилил" управляющую программу для ардуинки и компьютера и вот что вышло:
Теперь вместо головы стои'т KINECT, который в скором будущем и станет, собственно, новой головой робота. Кинект получает карту глубины сцены от своего IR сонара, далее поток данных передается через USB порт в компьютер, где уже программно выделяются от остальных объектов фигуры людей, отрисовываются и отслеживаются скелетоны. Следующий этап: полученные данные, а именно координаты узлов скелетона (суставы скелета), используются для расчета положения головы робота. Программа стремится позиционировать полученную фигуру человека по центру сцены. После не сложных расчетов, управляющие команды передаются на контроллер Arduino, который в свою очередь передает управляющие сигналы на серводвигатели привода шеи головы и робот поворачивает голову за перемещающейся фигурой. Что то подобное у нас уже было раньше со старой головой и библиотекой компьютерного зрения OpenCV. Но к сожалению, OpenCV работает о-о-очень медленно, соответственно, команды управления подавались на серводвигатели со значительным опозданием, и робот часто терял отслеживаемый объект из виду, особенно если тот начинал перемещаться слишком быстро, при этом движения головы были резкие и прерывистые, это не очень эстетично смотрелось. Теперь же, голова поворачивается с достаточной скоростью и робот успевает следить даже за быстро движущимся человеком, при этом резких рывков при повороте не наблюдается, а робот ведет себя на много более естественно.
Сообщение отредактировал lori - Понедельник, 25.11.2013, 18:21 |
| |
| |
| lori | Дата: Воскресенье, 17.11.2013, 19:58 | Сообщение # 35 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Новую версию головы сделали, приладили. В общем оценивайте сами:
И на второй платформе:
Это скорее всего не последний вариант, но пока как то так!
|
| |
| |
| muvey | Дата: Воскресенье, 17.11.2013, 20:09 | Сообщение # 36 |
 220 Вольт
Группа: Пользователи
Сообщений: 305
Репутация: 1
Статус: Offline
| lori, а что если разобрать KINECT и разместить "органы чувств" в ранней версии головы?По крайней мере там более симметрично всё.:)ну,или сделать как в R2D2,с вращающейся "купольной" головой?
Ex nihilo nihil fit
Сообщение отредактировал muvey - Воскресенье, 17.11.2013, 20:12 |
| |
| |
| lori | Дата: Воскресенье, 17.11.2013, 20:22 | Сообщение # 37 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Именно так мы и хотели сначала сделать, но к сожалению, Kinect не входит по габаритам в старую голову, а сам он не очень разбороспособен, плата кинекта занимает почти всю ширину самого устройства, распилить, к сожалению, плату не возможно, так что будем исходить из того что имеем. Вариант этой головки экспериментальный, скорее всего будет что то более симпотное, да и честно сказать, сделана эта голова из .........., даже не ловко сказать, она сделана из алюминиевой кастрюли и подноса  . На самом деле новую версию головы будем кроить уже под Kinect. Голова получится более плоской и немного вытянутой по сравнению со старой, которая с камерами. Но в конце концов это робот и он совсем не должен быть похож на человека, тем более что глаз у нашего LUM-а будет три штуки, а не два, как у всех нормальных людей.
Сообщение отредактировал lori - Понедельник, 18.11.2013, 06:13 |
| |
| |
| muvey | Дата: Воскресенье, 17.11.2013, 21:00 | Сообщение # 38 |
|
220 Вольт
Группа: Пользователи
Сообщений: 305
Репутация: 1
Статус: Offline
| lori, можно датчики выпаять и установить в голову,а плату разместить на платформе...мне так кажется...:)
хотя...ваше дело 
Ex nihilo nihil fit
Сообщение отредактировал muvey - Воскресенье, 17.11.2013, 21:00 |
| |
| |
| lori | Дата: Воскресенье, 17.11.2013, 23:59 | Сообщение # 39 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| На самом деле не все так легко, в кинекте нельзя вот так просто взять и выпаять датчики. Вот фото устройства со снятой крышкой:
Обе камеры и ИК прожектор не впаяны в плату, а стоят закрепленными на дюралевой раме устройства и подключены через гибкие шлейфы к плате, я думаю что и длина шлейфа тоже роль играет т.к. частота считывания данных весьма велика (хотя здесь я могу и ошибаться), тем не менее возиться с плоскими пластиковыми шлейфами и их разъемами - самое не благодарное дело.
Вот камеры кинекта со своими фирменными шлейфами:
А самое главное, что изменение расстояния между ИК прожектором и ИК приемником может негативно сказаться на точности получаемых данных или вовсе их потере, и видео камеру тоже двигать нельзя, по той же причине. Ну а как раз в старой версии головы расстояние между глазницами не совпадает с осями расположения камер кинекта. Но тем не менее, думаю, что и старая голова еще сгодится на что нибудь, есть идеи как и в нее впихнуть кинект. В общем творим, выдумываем, пробуем!
Сообщение отредактировал lori - Вторник, 19.11.2013, 18:39 |
| |
| |
| lori | Дата: Воскресенье, 24.11.2013, 08:54 | Сообщение # 40 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Вот такое у нас трехглазое чудо получилось:
  
Маленькая фото-сессия - демонстрация робо-моды! 
Думаю, здорово!
Есть еще одна проблемка - низковата платформа. Голова робота находится ниже пояса взрослого человека и роботу приходится слишком высоко задирать голову чтобы смотреть собеседнику в лицо, особенно когда человек стоит близко. Так что решено увеличить высоту платформы еще на 16-20 см. Мы как живые - обзаводимся все большим разумом и даже растем.
Добавлено (23.11.2013, 22:01)
---------------------------------------------
В понедельник, т.е. 25.11.2013, на базе политехнического университета г.Комсомольска-на-Амуре проходит первый Дальневосточный робототехнический фестиваль. Мы, к нашему великому удивлению и радости, приглашены с нашим роботом на сие мероприятие. Конечно, мы идем вне конкурса, к сожалению наш робот не может (пока) ездить по линии или бороть сумо-ботов (не та весовая категория ), но тем не менее, это приглашение весьма льстиво для нас. Надеюсь наши дальневосточные робо-строители покажут класс! Фото отчет о выставке постараюсь выложить в понедельник.
Сообщение отредактировал lori - Вторник, 26.11.2013, 06:59 |
| |
| |
| lori | Дата: Понедельник, 25.11.2013, 17:24 | Сообщение # 41 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Ниже публикую фото отчет о робототехническом фестивале состоявшемся сегодня, т.е. 25.11.2013, на базе Техноцентра действующего в политехническом университете Комсомольска-на-Амуре. В целом, хочу сказать, что мероприятие удалось, не считая мелких шероховатостей, все прошло просто замечательно.
Вот фото с фестиваля:
Это наш стенд. Мы представили роботов-пылесосов (наша компания является официальным представителем iRobot), ну и конечно, гвоздем программы был наш LUM (да, я так давно пишу как создается робот, а то что его имя LUM так и не сообщил).
И так, господа, познакомьтесь - робототехническая платформа "Light Universal Mobile" - Светлый (или лёгкий), Универсальный, Мобильный, или просто LUM (ЛЮМ).
Собственно, далее, другие представители робо-фауны которых их хозяева вывели на выставку:
  
  
 
Сообщение отредактировал lori - Четверг, 28.11.2013, 09:17 |
| |
| |
| lori | Дата: Понедельник, 25.11.2013, 17:57 | Сообщение # 42 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
|   
  
  
Вот такой получился фестиваль. На мероприятии присутствовали дяди из краевых властей и местной администрации, так что уровень достаточно высок. Планируется, что фестиваль станет постоянным, ежегодным. Следующей осенью хотят пригласить иностранцев, так что он будет еще и международным.
Добавлено (25.11.2013, 17:57)
---------------------------------------------
GRACH, тут на сайте висело объявление о том, что в Хабаровске должен был пройти подобный фестиваль в сентябре сего года, потом объявление благополучно исчезло. Был фестиваль или нет?
Может нам всем, как то в дальнейшем, поучавствовать в подобных мероприятиях со своими проектами? Ведь классно вышло в Комсомольске! И, к стати, были ребята из Хабаровска, Владивостока и других городов Дальнего Востока со своими роботами, призы получили, МОЛОДЦЫ!
Сообщение отредактировал lori - Среда, 27.11.2013, 17:38 |
| |
| |
| Serg | Дата: Понедельник, 25.11.2013, 19:29 | Сообщение # 43 |
|
Ампер
Группа: Модераторы
Сообщений: 510
Репутация: 28
Статус: Offline
| Сегодня посмотрел сюжет в вечерних новостях по ТВ. Очень понравился набор сервоприводов, который плясал в присядку
|
| |
| |
| lori | Дата: Понедельник, 25.11.2013, 20:13 | Сообщение # 44 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Такой "набор сервоприводов" стоит больше 1000 долларов. Ежели шо!
Сообщение отредактировал lori - Понедельник, 25.11.2013, 21:46 |
| |
| |
| muvey | Дата: Понедельник, 25.11.2013, 20:18 | Сообщение # 45 |
|
220 Вольт
Группа: Пользователи
Сообщений: 305
Репутация: 1
Статус: Offline
| lori, ваш device-sapiens,покорил аудиторию?
Ex nihilo nihil fit
|
| |
| |
| lori | Дата: Понедельник, 25.11.2013, 20:49 | Сообщение # 46 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Думаю что покорил. Во всяком случае детишки ему чуть голову не вскружили - прыгали перед роботом, на перебой, хотели чтобы именно его робот увидел и за ним следил. Кроме того, многие интервью отснимались на фоне нашего стенда. В общем, думаю, презентация LUM-а удалась, одна только шляпа чего стоит!!! 
|
| |
| |
| muvey | Дата: Понедельник, 25.11.2013, 20:54 | Сообщение # 47 |
|
220 Вольт
Группа: Пользователи
Сообщений: 305
Репутация: 1
Статус: Offline
| lori, ну..тогда с дебютом!
Ex nihilo nihil fit
|
| |
| |
| GRACH | Дата: Среда, 27.11.2013, 17:05 | Сообщение # 48 |
|
dvrobot.ru
Группа: Администраторы
Сообщений: 111
Репутация: 16181
Статус: Offline
| lori,Спасибо за фотографии, лично мне было очень интересно.Скажите, как можно связаться с организаторами данного мероприятия у вас в Комсомольск-на-Амуре ? Если у вас есть номер телефона
организатора или может того, кто заведует всем. Мы можем помочь в организации
приезда иностранных участников, скиньте в ЛК или на dvrobot@yandex.ru номер телефона. Заранее спасибо.
Что касательно вашего красавца в шляпе, поздравляем очень даже не плохо.
У меня появилась возможность испробовать чудо сенсор, сканер, ИК, KINECT, тот самый который вы используете в своем проекте ( по внешнему виду вроде тот же ). Вчера нашел у своих коллег, “валялся в углу” попросил и мне любезно дали.
Так что в свободное время думаю идти по вашим стопам, китайцы обещали помочь. Не могли бы вы скинуть софт для KINECT SDK, тот который вы описывали в своих
постах выше? Или может, еще что то, что необходимо знать.
P.S
Да, совершенно верно вХабаровске должен был пройти данный фестиваль, но на тот момент у организаторов была пора смены начальства ( выборы и все такое) и просто напросто организатором
стало не до этого.
|
| |
| |
| lori | Дата: Среда, 27.11.2013, 18:04 | Сообщение # 49 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Спасибо всем за поздравления и высокую оценку нашего робота.
Хочу напомнить, что это далеко еще не конеченный вариант. На сегодняшний день работа над созданием робота LUM-а выполнена примерно на 10%, а может и того меньше. А это значит, что функциональность, интеллект, конструктив, все это будет еще увеличиваться, дорабатываться, оттачиваться и расти. На фестивале мы завели хорошие знакомства в лаборатории робототехники нашего университета, надеюсь эти контакты будут полезны всем. Да и вообще хотелось бы чтобы роботостроители чаще встречались на подобных фестивалях, ведь общение в сети это великолепно, но живого разговора и обмена опытом, подобно прошедшему мероприятию, ничто не заменит. Скажу честно, на фестивале, даже мне, уже совсем далеко не мальчишке, было очень интересно, новые идеи появились, свежие мысли и вообще стимул к дальнейшей работе над своим проектом. Все это очень даже здорово!
Сообщение отредактировал lori - Пятница, 29.11.2013, 18:13 |
| |
| |
| DuZeR | Дата: Воскресенье, 01.12.2013, 12:24 | Сообщение # 50 |
 5 Вольт
Группа: Пользователи
Сообщений: 42
Репутация: 2
Статус: Offline
| сегодня опять лума по телеку показывали ) ждем старта продаж бокса в хабаре, кинект высвободится..
Добавлено (01.12.2013, 12:24)
---------------------------------------------
вопрос - вся обработка на какой машине крутится, ттх покажете ? думаю попробовать начать простые вещи завести на нетбук, вроде как с processing+opencv справляется..
Возможности машины зависят от фантазии человека...
|
| |
| |
| lori | Дата: Воскресенье, 01.12.2013, 19:24 | Сообщение # 51 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| DuZeR, готовы поделиться всеми наработками которые имеем. Спрашивайте что интересует!
По поводу нетбука скажу сразу, что процессор слабоват, да и памяти маловато будет. Хотя, если на нем opencv работает (как вы пишете), что само по себе странно, странно не то что работает, а то что вас удовлетворяет быстродействие, то возможно и KINECT вполне сносно потянет, тем более что библиотеки кинекта на много более быстрее opencv. Но, вообще, все зависит от задач которые вы собираетесь решать. В любом случае если вы будете использовать KINECT, без opencv, скорее всего, не обойтись. Сенсор даст вам сырые данные о глубине, видео поток, скелетон, все это нужно как то обрабатывать, вот здесь как раз opncv и нужен.
Расшифруйте - что такое "ттх"?
Сообщение отредактировал lori - Вторник, 10.12.2013, 13:38 |
| |
| |
| lori | Дата: Воскресенье, 22.12.2013, 19:17 | Сообщение # 52 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Доброго времени суток.
Продолжаю публиковать новости по созданию робототехнической платформы LUM.
Закончили разбираться с отслеживанием лица в KINECT. Пришлось очередной раз (скорее всего не в последний) полностью переписать программный код робота, за то, теперь все работает так как планировалось, и даже немного лучше. Теперь код устроен так, что имеется три функции при помощи которых детектируется фигура, голова или лицо человека, это делается несколькими способами: алгоритмами KINECT производится поиск фигуры или лица, а так же дополнительно была введена функция поиска лица человека методами библиотеки компьютерного зрения OpenCV. При таком функционале вероятность обнаружения человека увеличилась почти в двое, значительно уменьшились ошибки детектирования и ложные срабатывания, которые имели место быть раньше. Но все же еще программу стоит немного доработать, но это уже мелочи, которые будут доведены в процессе.
Вот скриншот работы программы:
В открытых окнах можно видеть: 1) детектированный скелетон, 2) в окне видео наложенная на детектированное лицо маска, 3) в левом верхнем углу окна с видео - координаты x, y и z лица, 4) а также методы которыми был детектирован человек (в данном случае faceKINECT и skeletonKINECT). Методы faceKINECT и skeletonKINECT являются основными методами детектирования фигуры и лица, а метод faceOpenCV дополнительный метод работающий на близких расстояниях, т.е. когда дистанция от сенсора до лица человека менее 40 см. Это расстояние является критичным для KINECT, ближе сенсор не видит объекты, но в реальности вполне возможна ситуация когда человек окажется в этой слепой зоне сенсора, вот тут то и включается метод faceOpenCV, который позволит роботу видеть нахала пытающегося заглянуть LUM-у прямо в глазки . Хотя, надо сказать, что при включенном NEAR_RANGE (ближний режим), если KINECT захватывает лицо, то держит его до совсем близкого расстояния между лицом и сенсором, когда уже и само лицо не помещается в кадр. Вот пример того как это выглядит. На фотографии ниже я приблизился к сенсору на расстояние менее 10 см. Сенсор достаточно стабильно удерживает маску на лице, более того, прорисовывает мимику.
Сообщение отредактировал lori - Вторник, 24.12.2013, 06:09 |
| |
| |
| lori | Дата: Понедельник, 23.12.2013, 17:47 | Сообщение # 53 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Выкладываю новое фото LUM-а. Как и планировалось, мы нарастили высоту платформы и модернизировали привод поворота головы (он стал еще более надежным, но все же, скорее всего, это не последний вариант). Сравните со старыми фотографиями:
Это новая, просто стройняшка!
А это старые
  
Думаю видно - прогресс в росте робота на лицо! Теперь высота платформы составляет 84 см., а с головой 105 см. В общей сложности, если считать от самого первого варианта высота робота увеличилась на пол метра.
А вот так теперь выглядит узел поворота головы:
Сообщение отредактировал lori - Суббота, 04.01.2014, 09:58 |
| |
| |
| GRACH | Дата: Среда, 01.01.2014, 18:54 | Сообщение # 54 |
|
dvrobot.ru
Группа: Администраторы
Сообщений: 111
Репутация: 16181
Статус: Offline
| lori, с Новым Годом!!! Процветания Вашему проекту!!
|
| |
| |
| lori | Дата: Понедельник, 03.02.2014, 22:02 | Сообщение # 55 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| GRACH, большое спасибо за поздравления!
Со своей стороны, от нашего небольшого коллектива конструкторов хочу поздравить хозяев, создателей, модераторов, а так же всех посетителей и пользователей сайта DVRobot с Новым Годом и Рождеством Христовым! Удачи и благополучия в наступающем году! Пусть радость сопутствует Вам в жизненном пути, а все невзгоды, если таковые случаться, станут только вехами к возрастанию у крепления душевных и физических сил.
С наилучшими пожеланиями, команда LUM-о строителей.
 Добавлено (03.02.2014, 22:02)
---------------------------------------------
Вот уже месяц назад как публиковали последние новости проекта. Все это время переписывал код робота, за одно адаптировал его под подключение второго сенсора KINEKT, кроме того оптимизирован обмен данными между Arduino и компьютером. Результаты такие: Программный код полностью переписан, теперь робот работает более стабильно, не глючит обмен по COM порту, информация с датчиков платформы передается для анализа и принятия решений в компьютер, установлен второй сенсор и приступаем к реализации SLAM. Еще начинаем работу над созданием рук-манипуляторов (как появится прототип, сразу выложу фото).
Кроме всего прочего в нашей команде снова изменения. Как не грустно, но от нас снова откололся человечек на которого были возложены надежды по программированию OpenCV. Но, как говориться не бывает худа без добра, вместо него появились новые ребята, надеемся работа с ними будет более плодотворна. Но я уже больше ничего не хочу загадывать на перед, чтобы больше не оказаться снова у "разбитого корыта".
Сообщение отредактировал lori - Понедельник, 03.02.2014, 22:01 |
| |
| |
| muvey | Дата: Вторник, 04.02.2014, 21:08 | Сообщение # 56 |
|
220 Вольт
Группа: Пользователи
Сообщений: 305
Репутация: 1
Статус: Offline
| lori, дааа..самое печальное в творчестве,когда единомышленники расходятся...:(
а с манипуляторами можно поподробнее?Есть готовые,или свое думать будете?
Ex nihilo nihil fit
|
| |
| |
| lori | Дата: Среда, 05.02.2014, 13:43 | Сообщение # 57 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Готовых манипуляторов нет. Хотели купит фабричные, но те что предлагают на робо-сайтах больше похожи на игрушки, а промышленные слишком дороги и громоздки для нашего проекта. По этой причине решили пойти своим путем. Создадим свой прототип руки и будем его отлаживать. Уже есть соображения, но пока выкладывать не стану, когда будет что показать выложу фото и если кого заинтересует описания. Добавлено (05.02.2014, 13:43)
---------------------------------------------
Тут народ предлагает попробовать другой сенсор вместо KINECT http://www.primesense.com/wp-content/up ... orsWeb.pdf
Почитаем, подумаем.
|
| |
| |
| P32L | Дата: Четверг, 06.02.2014, 02:19 | Сообщение # 58 |
 1.5 Вольт
Группа: Пользователи
Сообщений: 1
Репутация: 0
Статус: Offline
| Не подскажете по этой платформе? РБП - Бархан (ID:724-Ш) , хочу приобрести и хотелось бы узнать сколько максимальную массу эта платформа может нести и какое тяговое усилие развивают моторы.
|
| |
| |
| lori | Дата: Четверг, 20.02.2014, 20:54 | Сообщение # 59 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Боюсь, я вам помочь не смогу, обратитесь к администраторам сайта
Добавлено (11.02.2014, 07:55)
---------------------------------------------
Давеча взялся за реализацию SLAM. Нагуглил массу информации по этому вопросу. Заморочки конечно есть, и попыхтеть придется, но, как говорит моя мамочка - "головой нужно не только кушать", иногда еще и думать. Вот подумал я и решил, что все же самостоятельно справиться с реализацией SLAM вполне возможно, но сложно.
И так, начну с того, что нужно получить карту глубины сцены от сенсора KINECT, это уже имеется. Далее два варианта:
1. нужно вытащить из этой карты все точки глубины и должным образом их обработать;
2. используя OpenCV искать на карте глубины, по градациям серого, находящиеся в поле зрения сенсора объекты.
Кажется оба метода вполне приемлемы, но второй более простой. Дело в том, что в OpenCV, как вы знаете, реализовано масса нужных нам функций, в данном случае нас интересует детектирование объектов по цвету. Затем, привести данные о цвете объекта в соответствие с таблицей расстояний и получить глубину сцены с расстояниями до препятствий.
Далее на основании полученных метрических данных построим карту помещения, ну, а алгоритм A* позволит нам построить маршрут передвижения в пределах полученной карты. Вот так, с первого взгляда кажется все просто, посмотрим как будет реализовываться. Процесс буду описывать по мере получения результатов.Добавлено (20.02.2014, 20:54)
---------------------------------------------
Хочу немного подытожить проделанную работу и обозначить перспективу.
Наша команда стремится к совершенству - создаем робота способного стать start-up проектом с возможностью интеграции его компонентов в другие проекты.
Если кому интересно, то я еще раз перечислю все возможности которые мы уже смогли заложить в наш проект:
1. создана универсальная, трехколесная платформа
2. платформа оснащена IR датчиками спереди и сзади
3. платформа оснащена механическим бампером с контактными датчиками прикосновения
4. на платформу установлена голова робота в которую встроен Microsoft KINECT
5. робот обучен детектированию и трекингу фигуры человека
6. робот обучен детектированию и трекингу лица человека
7. в тело робота встроен второй KINECT для реализации SLAM
8. получена трёхмерная карта глубины сцены позволяющая построить карту помещения в 3D проекции
Сейчас ведутся подготовительные работы для реализации SLAM.
В дальнейшем планируется следующее:
1. реализовать SLAM
2. приладить к роботу манипуляторы
3. научить робота распознавать человеческую речь
4. научить робота моделировать человеческую речь
5. научить робота более-менее адекватно общаться с человеком
6. научить робота брать и переносить с помощью манипуляторов всевозможные предметы
7. научить робота узнавать людей с которыми он когда то уже общался
8. сделать возможным интеграцию робота в существующие системы (охрана, умный дом, удаленное присутствие и т.п.)
Ну и самое главное, повторюсь, робот создается как открытая платформа, это значит что любые модули, как программные так и механические, можно будет использовать в других проектах. В свою очередь, мы готовы поделиться своими наработками со всеми кому это будет интересно.
Вот, как то так!
Сообщение отредактировал lori - Четверг, 20.02.2014, 20:54 |
| |
| |
| lori | Дата: Вторник, 18.03.2014, 07:06 | Сообщение # 60 |
|
12 Вольт
Группа: Пользователи
Сообщений: 108
Репутация: 20
Статус: Offline
| Вот и сделан первый шаг в реализации SLAM.
Из полученной от сенсора KINECT карты глубины сцены (на рисунке окно справа внизу "depth_body") вдоль вертикальной "линии сканирования" глубины, что по центру окна, считываются данные о глубине и записываются в массив. Для визуализации, прочитанные данные выводятся в окно "Depth" (слева внизу). В этом окне вид по "линии сканирования" представлен сбоку, т.е можно видеть соответствие коробок в окне "depth_body" вертикальным линиям в окне "Depth" с указанием расстояния в мм. от сенсора до коробок (цифры зеленым цветом). В окне "video_body" (слева вверху) изображение видео-камеры сенсора с видом на те же коробки.
Хочу обратить внимание на преимущества и недостатки такого сканирования по сравнению с другими сканерами (к примеру со сканирующим лазерным дальномером http://roboforum.ru/forum10/topic12095.html
Лазерный дальномер сканирует сразу всю область вокруг робота на котором он установлен, т.е. мы можем мгновенно получать карту препятствий с разворотом в 360 градусов, это бесспорно преимущество, ведь при быстрой смене сцены в помещении (к примеру, зашел человек) робот сможет так же быстро отреагировать на ситуацию. Недостаток этого метода состоит в том, что лазер сканирует в одной плоскости. Нашему роботу, оснащенному сенсором KINECT для того чтобы получить общую картину помещения придется развернуться на 360 градусов самому. Но за то, значительное преимущество в том, что KINECT видит не в одной плоскости (как лазер), а сразу строит картинку в 3D проекции на высоту до 2,5 метров от пола. Конечно это не важно, если робот сам высотой 15-20 см, но если платформа имеет рост до полутора метров этот вопрос становится критичным. Ведь если лазерный сканер детектировал, к примеру, ножку стола как препятствие то робот такой высоты как наш, не оснащенный подобным устройством как KINECT, посчитает что подъехать к этому препятствию можно, но как правило столешница стола выдается дальше ножки стола и конечно, неизбежно, произойдет столкновения робота со столешницей. Возможны и другие подобные ситуации. Кроме того лазерный дальномер не в состоянии детектировать объекты, будь то человек или какой то предмет интерьера, KINECT это может.
Вот скриншот по описанию:
Добавлено (18.03.2014, 07:06)
---------------------------------------------
Наконец, есть немного новостей для публикации по нашему проекту.
Так как наша команда разработчиков увеличилась в составе, то пришлось подыскивать новое помещение для размещения проекта, прежде весь проект находился в моем рабочем кабинете (было тесно и не удобно работать). В итоге, выделили площадь, в основном офисе фирмы, не очень большую (около 18 кв.м.), но имеющую перспективу увеличения. В помещении размещены рабочие столы, приобретен ПК, измерительные приборы, блоки питания, прочая оснастка, приспособления и инструмент. Рядом имеется мастерская оснащенная слесарным инструментом, верстаком, а так же токарным, сверлильным и заточным станками, в общем проект обзавелся собственной "жилой площадью". Новое помещение назвали громко - "Лаборатория робототехники". Так что в последние три недели почти все время уходило на оснащение лаборатории. Теперь уже закончили, возвращаемся к проекту.
Нужно сказать, что параллельно с созданием лаборатории, кое какие работы по самому проекту, все же велись:
В последнее время, по большей части пытался найти подход к реализации одометрии и SLAM. Но наткнулся на грабли. Как уже отмечалось раньше, для одометрии будет использован второй KINECT. Для подключения двух сенсоров к одному компьютеру необходимо чтобы у последнего было два USB хаба. Т.е. каждый KINECT должен работать с собственным USB-контроллером 2.0 или выше. Это связано с тем, что поток данных от сенсора идет непрерывно и занимает более 50% пропускной способности протокола USB 2.0. Но оказалось, что наш новый ПК, специально приобретенный для лаборатории и на котором предполагается отлаживать софт робота имеет только один встроенный USB hub, так что можно подключить только один KINECT. Казалось бы - не проблема, в свободный слот ставим внешний USB контроллер и вперед! Да не тут то было! Оказываются не все контроллеры могут корректно работать с KINECT-ом. Перебрали три штуки, разных производителей, с разными чипами. Только третий от NEC заработал как нужно, остальные, обнаруживают сенсор и тут же его теряют, работает не стабильно, хотя, при этом другие USB устройства (флэшки, диски, принтеры, камеры) работают вполне корректно. В общем, народ, имейте в виду, что сенсор работает не со всеми внешними USB хабами.
Кроме этого, командой был написан код, с использованием OpenCV, для распознавания лиц людей. Как вы знаете, наш робот умеет детектировать и отслеживать, поворотом головы (а в перспективе и тела), фигуру и лицо человека. Теперь он научится еще и узнавать людей с которыми когда то уже встречался, или знакомиться с человеком которого робот еще не знает. Программный код по распознаванию лица пока еще сыроват, но вполне стабильно работает, безошибочно узнает знакомые лица, правда с незнакомыми трудности возникают, но работы ведутся и думаю скоро все будет в порядке.
Пока такие новости по проекту.
Сообщение отредактировал lori - Вторник, 18.03.2014, 09:03 |
| |
| |
