Набор позволяет изучать картографию и навигацию, планирование пути, отслеживание и предотвращение препятствий, автономное вождение, распознавание человеческих черт, соматосенсорное взаимодействие и голосовое взаимодействие. Робот оснащен лидаром для обнаружения окружения в реальном времени, обеспечивая одноточечную и многоточечную навигацию. Он может перепланировать маршрут, чтобы избежать препятствий и продолжить движение, а также осуществлять навигацию для нескольких транспортных средств, планирование пути и интеллектуальное предотвращение препятствий.

Возможности набора:

• NVIDIA Jetson Nano: Поддерживает основные платформы глубокого обучения, такие как TensorFlow, PyTorch, Caffe/Caffe2, Keras, MXNet.
• Распознавание изображений: Возможность реализации распознавания изображений, обнаружения и позиционирования объектов, оценки позы, семантической сегментации, интеллектуального анализа.
• Картографирование: Оснащен высокопроизводительным лидаром, поддерживающим алгоритмы Gmapping, Hector, Karto и Cartographer.
• Планирование пути: Реализация планирования пути, навигации по фиксированной точке и обхода препятствий.
• Отслеживание препятствий: В режиме реального времени, с возможностью перепланирования маршрута для избежания препятствий.
• Алгоритмы SLAM: Использование ORB-SLAM для расчета траектории камеры и реконструкции трехмерного окружения.
• Распознавание человеческого тела: На основе платформы MediaPipe выполнение распознавания человеческого тела, кончиков пальцев, лиц, 3D-обнаружения и др.
• Распознавание объектов: Использование сетевого алгоритма YOLO и библиотеки моделей глубокого обучения.
• Отслеживание цели: Алгоритм фильтрации KCF для отслеживания выбранной цели, распознавания и отслеживания назначенного цвета, одновременного распознавания нескольких QR кодов и их координат.
• Кинематическая модель: Работа с кинематической имитационной моделью URDF.
• Голосовое взаимодействие: 6-микрофонная матрица для локализации источника звука, распознавания голоса и голосового взаимодействия.
• Многомашинная связь: Обеспечение навигации для нескольких транспортных средств, планирование пути и интеллектуальное предотвращение препятствий.

Уровни обучения

• Исследовательский уровень: Знакомство со сложной кинематикой, основы тригонометрии, углубленное изучение текстовых языков программирования, изучение физических основ работы датчиков.
• Продвинутый уровень: Изучение алгоритмов поиска пути (A*, Dijkstra, RRT, PRM), развитие навыков планирования движения, распознавание графических маркеров, распознавание дорожных знаков и разметки, картография, распознавание направления источника звука. Способы использования роботов и глубокого обучения для автоматизации различных процессов. Визуализация облака точек.

Заключение

Учебный комплект автономных мобильных роботов — это мощный инструмент для изучения операционных систем реального времени, технологий машинного зрения, нейронных сетей и проектирования беспилотников. Он подойдет для студентов и исследователей, интересующихся передовыми технологиями в области робототехники и искусственного интеллекта.

Характеристики