Двс д 245: Двигатели МАЗ Зубренок | Какие двигатели ставили, проблемы

Содержание

Сервис объявлений OLX: сайт объявлений в Украине

Нетешин Сегодня 04:28

Сантехник.

Строительство / ремонт / уборка » Сантехника / коммуникации

Киев, Деснянский Сегодня 04:27

Новый Роздол Сегодня 04:27

900 грн.

Договорная

Хмельницкий Сегодня 04:26

Павлоград Сегодня 04:25

Сантехник

Строительство / ремонт / уборка » Сантехника / коммуникации

Бровары Сегодня 04:25

Краматорск Сегодня 04:25

Двигатель ММЗ 245 | ММЗ 245 технические характеристики

Меню

30. 12.2020

Разработка двигателя внутреннего сгорания ММЗ Д245 была произведена в далеком 1984-ом году на белорусском заводе. Был реализован на основе модели ММЗ Д243 и представляет для нее турбированную модификацию. Области применения мотора постепенно расширились от использования на тракторной технике к грузовым транспортным средствам и автобусам.

Последней модификацией этой марки двигателя стала модель с маркировкой Д-245.35Е5. При его разработке были соблюдены все нормы стандарта Евро-5, касающиеся сертификации в европейских странах.

Конструктивные особенности двигателя ММЗ 245

Блок цилиндров

Головка элемента выполнена из чугуна. В системе используются съемные гильзы, изготовленные на основе специального чугуна. Циркуляционные каналы для перемещения охлаждающей жидкости расположены между блоком и гильзами. Предусмотрено масляное охлаждение ряда элементов системы: подшипники коленвала, подшипники распродавала и масляные поршневые форсунки из второй и четвертой частей опор.

Головка блока цилиндров

Деталь тоже выполнена из чугуна. Впускные клапаны с полостями обладают винтовым профилем. Для обеспечения процесса циркуляции охлаждающей жидкости используются каналы. Клапанные седла клапанов изготовлены из высококачественного сплава, обладающего жаростойкостью и повышенной степенью надежности. В верхней части системы головки блока цилиндров расположен набор конструктивных элементов: ось с коромыслами, стойки, впускной коллектор и крышка головки. Чтобы уплотнить соединение головки и блока используется прокладка из безасбестового полотна с перфорированным стальным листом.

Кривошипно-шатунный механизм

Стальной коленчатый вал в конструктивном плане состоит из пяти коренных и четырех шатунных шеек, внутри которых предусмотрены полости для масляной жидкости. С целью уплотнения в передней и задней части устройства расположены манжеты. Для обеспечения компенсации инерционных процессов присутствуют противовесы, расположенные на первой, четвертой, пятой и восьмой щеках.

Поршни алюминиевые со стальными шатунами. На днище поршней слегка смещенные относительно осей камеры сгорания. В поршнях находятся три канавки: две для компрессионных колец, а третья для маслосъемного. Полые поршневые пальцы отлиты из хромоникелевой стали.

В верхнюю головку шатуна запрессована втулка. В верхней части предусмотрены каналы для смазывания поршневого пальца. Все вкладыш из биметалла. Маховик чугунный закрепленный на фланце коленвала.

Система смазки

Действует по комбинированной схеме. Часть проходит смазывание под давлением, а другая путем разбрызгивания. В системы под давлением входит набор подшипников, коромысловый привод и втулка промежуточной шестерни. Последний процесс осуществляется за счет набора деталей: гильзы, поршни, элементы распродавала, поршневые пальцы и привод топливного насоса.

Газораспределительный механизм

В конструкцию двигателя ММЗ Д245 входит распределительный вал с пятью опорами. Его вращение обеспечивается набором шестерен. Внутри полостей цилиндров располагаются чугунные втулки (подшипники). Передняя втулка выполнена из алюминия и имеет специальный упор для предотвращения перемещения распредавала. Остальные детали ГРМ отлиты из высокопрочной стали. Клапана обладают высокой жаропрочностью. Клапана закрываются при помощи верхней и нижней пружин.

Охлаждающая система

Система охлаждения относится к закрытому типу. Температура жидкости отслеживается датчиком, расположенном в блоке цилиндров. Работа водяного насоса обеспечивается вращением ремня от шкива коленвала.

Топливная система

Топливный насос высокого давления у двигателя ММЗ Д245 состоит из четырех блоков. Его привод реализуется путем передачи через шестерни в направлении от коленвала. Насос подает дозированное количество топлива в камеры сгорания. Процесс реализуется за счет золотниковой цикловой подачи.

Преимущества

  • ММЗ Д-245 является одним из лучших моторов отечественного производителя. Благодаря отличной надежности (а это более 300 тысяч километров без капремонта) транспорт с таким двс может использоваться повсеместно.
  • Чугунный блок цилиндров можно перегильзовать, что делает его долговечным.
  • В дополнение потребители отмечают высокую ремонтопригодность.
  • Несомненным плюсом двигателя является экономичность, но при этом отличная приемистость в широком диапазоне оборотов. Средний расход составляет около 20 литров на 100 километров при скорости 90 километров в час. При увеличении скорости расход топлива возрастет.
  • Последние доработки в устройстве двигателя ММЗ Д-245 позволили сделать его пригодным для запуска при низких отрицательных температурах вплоть до -25 градусов.

Недостатки

  • Качество сборки нельзя причислить к лидерам рынка. Поэтому вечной «болезнью» двигателей являются постоянные подтеки масла. Такая особенность говори о регулярной необходимости доливки масляной жидкости. Замена прокладок в данном случае не помогает.
  • Высокая шумность и сильные вибрации на кузов, которые оказывают влияние на раскручивание деталей из системы. Поэтому работать на технике с таким мотором некомфортно, особенно при длительных поездках.
  • Некоторые шоферы отмечают нехватку тяги при значительной нагрузке.
  • Ненадежная турбина от сильных вибраций может выйти из строя. Из-за чего двигатель абсолютно перестанет тянуть.
  • Некоторым потребителям цена кажется слишком завышенной.

Неисправности двигателя ММЗ Д245 и пути решения

  • Перегрев.

    При постоянном перегреве необходимо проверить: радиатор на наличие повреждений, термостат, вентилятор и его ремень, водяную помпу. В редких случаях возможно образование трещин в гильзе.

  • Глохнет.

    При постоянном самопроизвольном выключении проверить топливную систему и фильтр.

  • Стук при работе.

    Для начала проверить настройку клапанов и форсунок, если дело не в в них, то искать проблему во вкладышах шатунов.

  • Дым

    • Синий — скорее всего, масло попало внутрь камеры сгорания.
    • Черный — проблема вызвана неисправностью форсунок или воздухоочистителя.
    • Белый — попадание воды в топливо или неправильно выставлен угол зажигания, реже не отрегулированные клапана.
  • Потеря тяги.

    Как правило, потеря тяги на двигателе Д-245 говорит о выходе из строя турбины.

Итог

Линейка дизельных двигателей ММЗ Д-245 по праву признана лидером среди аналогичных отечественных изделий. К главным преимуществам мотора относят его экономичность по расходу топлива и простоте обслуживания и ремонта, а также высокой степени надежности.

Другие статьи

Возврат к списку

Обновленный кроссовер BYD Tang EV нарастил запас хода — Авторевю

Кроссовер Tang длиной 4,9 м — это самая дорогая и престижная модель компании BYD. Сейчас в строю Tang второго поколения образца 2018 года: сначала появился гибридный BYD Tang DM, а позже — электрический Tang EV. Плановому обновлению машины подверглись в таком же порядке: модернизированный гибрид дебютировал еще в прошлом году, теперь у него полностью новая последовательно-параллельная система DM-i без традиционной коробки передач. Теперь же подоспел и обновленный BYD Tang EV.

Если прежде гибридная и электрическая версии имели минимум визуальных различий, то теперь Tang EV дистанцировался от версии с двигателем внутреннего сгорания. Фальшрешетки радиатора больше нет, передняя маска теперь «глухая». Изменен дизайн бамперов, а новые колеса создают меньше аэродинамических завихрений.

Вслед за гибридом электромобилю достался новый салон — включая руль (двухспицевый вместо трехспицевого) и дверные панели. Пульты управления электроприводом кресел, которые прежде по-мерседесовски располагались на дверях, переехали на основания сидений, как у большинства автомобилей. Передняя панель архитектурно повторяет старую, но изменено расположение и размер дефлекторов вентиляции. Сохранена фирменная фишка — поворотный экран медиасистемы, который теперь имеет диагональ 15,6 дюйма. Сама мультимедийка — нового поколения DiLink 4.0. Приборный экран имеет диагональ 12,3 дюйма, есть и проекционный дисплей.

До сих пор Tang (включая гибриды) предлагался только в семиместном исполнении с тремя рядами сидений. А для обновленного электромобиля впервые предложен новый шестиместный вариант: на втором ряду установлены раздельные кресла с полноценным электроприводом, подогревом, вентиляцией и вибромассажем. Отделка стала богаче, среди опций есть аудиосистема Dynaudio и панорамная крыша.

Теперь о технике. Главная обновка — литий-железо-фосфатные тяговые аккумуляторы серии Blade. Если прежде Tang EV имел батарею емкостью 86,4 кВт∙ч, то теперь — 95 кВт∙ч у переднеприводной версии и 108,8 кВт∙ч у полноприводной. Мощность моторов не изменилась, но сами они модернизированы и потребляют меньше энергии.

Базовый BYD Tang EV с одним электромотором мощностью 245 л.с. теперь может проехать на одной зарядке до 615 км (по циклу NEDC) против 565 км у дореформенной версии. Полноприводный кроссовер имеет такой же передний двигатель, а на задней оси установлен мотор мощностью 272 л.с., в сумме — 517 л.с. У него пробег на одной зарядке вырос с 505 до 700 км по циклу NEDC, паспортное время разгона до 100 км/ч — 4,4 с. Все машины имеют тормоза Brembo и адптивный круиз-контроль DiPilot нового поколения.

На китайском рынке все это великолепие можно будет купить уже в мае. Ориентировочная вилка цен — от 47 тысяч до 55 тысяч долларов. Гибридный BYD Tang DM-i дешевле: от 31 тысячи долларов.

Новый отчет предлагает 31 предложение, чтобы попытаться исправить Миннесотский DVS

Жители Миннесоты будут платить больше за продление своих водительских прав, но будут держать их в два раза дольше в соответствии с изменениями, которые облегчат жителям получение их учетных данных, снизив при этом рабочую нагрузку и стресс для сотрудников Minnesota Driver and Vehicle Services и подрядчиков, которые обрабатывают заявки. .

Офисы заместителей регистратора получат сокращение регистрационных сборов, которые жители Миннесоты платят при продлении вкладов по почте или через Интернет, а у потенциальных водителей будет меньше мест для сдачи экзаменов, хотя меньшему количеству людей нужно будет их сдавать.Это одно из 31 предложения по улучшению обслуживания клиентов и надежности, изложенных в обязательном обзоре подразделения, опубликованном в четверг.

«Этот отчет является монументальным», — сказал член палаты представителей Джон Питерсберг, R-Waseca, который работает в транспортном комитете Палаты представителей. «Этот отчет фактически предлагает нам изменить философию и культуру обслуживания клиентов в государственных учреждениях и организациях. Это пример того, что правительство должно начать понимать, что мы должны реагировать на клиента [налогоплательщика]».

Законодательное собрание заказало отчет после того, как Управление Законодательного аудитора в 2021 году обнаружило, что долгое ожидание дорожных испытаний для получения водительских прав и ограниченное количество мест для сдачи экзаменов означают, что DVS нарушает закон штата.В приказе конкретно содержится призыв к независимой группе по проверке деятельности офисов заместителей регистратора и 92 экзаменационных пунктов штата.

Пять предложений, содержащихся в отчете «Независимая проверка водителей и транспортных услуг», направлены на поддержку заместителей ЗАГСов, многие из которых действуют как независимые подрядчики штата. В отчете предлагается расширить их возможности для обслуживания клиентов по телефону, обработки запросов на отчеты о вождении и отчеты о авариях, а также иметь возможность принимать заявки на получение прав на управление лодкой, которые в настоящее время обрабатываются Департаментом природных ресурсов.

Самым большим изменением будет то, что офисы будут получать от 25% до 50% всех регистрационных сборов, а не только сборов, взимаемых при личных транзакциях.Многие заместители регистраторов отказались от услуг по выдаче водительских прав из-за затрат, а некоторые, такие как Bloomington, вообще закрылись, поскольку многие транзакции перешли в онлайн. Округ Хеннепин тратит 2,5 миллиона долларов на субсидирование своих заместителей регистраторов, а округ Вашингтон тратит от 500 000 до 1,5 миллиона долларов в год, сказал член палаты представителей Стив Элкинс, DFL-Bloomington.

«Если мы не окажем большую финансовую помощь, офисы разлетятся как мухи», — сказал он.По его словам, офисы необходимы, особенно с учетом того, что до мая ожидается давка, чтобы получить Real ID. Эти лицензии должны быть поданы лично.

По словам Элкинса, за счет разделения сборов за подачу заявок цель состоит в том, чтобы больше регистраторов стали полноценными операторами.

В отчете комитета также предлагается увеличить срок действия водительских прав с четырех до восьми лет. В отчете говорится, что четырнадцать штатов уже делают это. Он также предлагает разрешить жителям продлевать свои лицензии, чтобы делать это онлайн, и отменить требование о том, чтобы люди в возрасте 21 года и старше, переезжающие в Миннесоту, сдавали письменный тест.

«Вы берете на себя часть работы», — сказал Рик Кинг, председатель независимой экспертной группы, состоящей из четырех человек.

В отчете также говорится, что DVS управляет только 40–50 экзаменационными пунктами и находит способы сократить количество людей, которым необходимо пересдавать экзамены, что увеличивает рабочую нагрузку и способствует длительному ожиданию вакансий.

«Теперь у нас есть отчет с конкретными рекомендациями, которые Законодательный орган и Департамент общественной безопасности могут рассмотреть и попытаться улучшить услуги для жителей штата Миннесота», — сказал сенатор Скотт Ньюман, R-Hutchinson, председатель комитета Сената по транспорту.«Это напрямую повлияет на многих людей».

Исправление: В предыдущих версиях этой истории использовалось неправильное название Minnesota Driver and Vehicle Services, которая является частью Департамента общественной безопасности.

%PDF-1.4 % 132 0 объект > эндообъект внешняя ссылка 132 119 0000000016 00000 н 0000003289 00000 н 0000003391 00000 н 0000004340 00000 н 0000004613 00000 н 0000004727 00000 н 0000004843 00000 н 0000009051 00000 н 0000012591 00000 н 0000015992 00000 н 0000019520 00000 н 0000022743 00000 н 0000026263 00000 н 0000026888 00000 н 0000027160 00000 н 0000027661 00000 н 0000030837 00000 н 0000034383 00000 н 0000034411 00000 н 0000037394 00000 н 0000037469 00000 н 0000037582 00000 н 0000037851 00000 н 0000037926 00000 н 0000038199 00000 н 0000038274 00000 н 0000038544 00000 н 0000038619 00000 н 0000038890 00000 н 0000084830 00000 н 0000087638 00000 н 00000 00000 н 00000 00000 н 0000096445 00000 н 0000096520 00000 н 0000096793 00000 н 0000096868 00000 н 0000096896 00000 н 0000097316 00000 н 0000097413 00000 н 0000097559 00000 н 0000097908 00000 н 0000097983 00000 н 0000098354 00000 н 0000098429 00000 н 0000098798 00000 н 0000098873 00000 н 0000099243 00000 н 0000099318 00000 н 0000099687 00000 н 0000099762 00000 н 0000099879 00000 н 0000100151 00000 н 0000100226 00000 н 0000100497 00000 н 0000100572 00000 н 0000100843 00000 н 0000100918 00000 н 0000101190 00000 н 0000101892 00000 н 0000102165 00000 н 0000102498 00000 н 0000107334 00000 н 0000110144 00000 н 0000112951 00000 н 0000115706 00000 н 0000118794 00000 н 0000125400 00000 н 0000125475 00000 н 0000129716 00000 н 0000130044 00000 н 0000130075 00000 н 0000130141 00000 н 0000130257 00000 н 0000130332 00000 н 0000134720 00000 н 0000135050 00000 н 0000135081 00000 н 0000135147 00000 н 0000135263 00000 н 0000135387 00000 н 0000135513 00000 н 0000135588 00000 н 0000137995 00000 н 0000138325 00000 н 0000138356 00000 н 0000138422 00000 н 0000138538 00000 н 0000138613 00000 н 0000142890 00000 н 0000143219 00000 н 0000143250 00000 н 0000143316 00000 н 0000143432 00000 н 0000143507 00000 н 0000147343 00000 н 0000147675 00000 н 0000147706 00000 н 0000147772 00000 н 0000147888 00000 н 0000147963 00000 н 0000150525 00000 н 0000150854 00000 н 0000150885 00000 н 0000150951 00000 н 0000151067 00000 н 0000151142 00000 н 0000155261 00000 н 0000155591 00000 н 0000155622 00000 н 0000155688 00000 н 0000155804 00000 н 0000155879 00000 н 0000160076 00000 н 0000160407 00000 н 0000160438 00000 н 0000160504 00000 н 0000160620 00000 н 0000002676 00000 н трейлер ]>> startxref 0 %%EOF 250 0 объект >поток xb«`b` ̀

1506 Вт.

Main, MN DVS Minnesota

Водительские права

В Штатах водительские права выдаются каждым штатом или территорией. Водитель обычно должен получить водительские права в штате своего проживания, и это разрешение действительно на всей остальной территории Соединенных Штатов. Определенная территория также может приостановить действие прав на вождение в ее пределах для водителя, нарушившего правила дорожного движения. Многие государства имеют общую систему классов с некоторыми исключениями. Например, в случае коммерческих лицензий они стандартизированы федеральными нормами.

История

По мере того, как количество моторизованных транспортных средств достигло десятков тысяч, государство и местные органы власти обрели новую власть, разрешив транспортным средствам и водителям. В 1901 году Нью-Йорк стал первым штатом, который начал разрешать и регистрировать новые транспортные средства, а примерно в 1918 году все штаты начали использовать номерные знаки. Лицензия для водителей была медленным процессом, поскольку только 39 штатов начали требовать это от водителей примерно в 1935 году, и лишь немногим из них требовался экзамен для получения лицензии, хотя опасения по поводу плохих водителей были очевидны.

Специальные лицензии и стандартные лицензии.

Неограниченные лицензии:

Это самая распространенная лицензия в Америке. Между некоторыми штатами существуют некоторые различия в классе прав, которые они используют, чтобы отличить обычные водительские права от специальных, таких как права ограниченного использования, водительские или мотоциклетные права. То есть в Теннесси стандартные водительские права называются классом D, класс M предназначен для мотоциклов, а класс H — лицензией для работы в тяжелых условиях.

Права для несовершеннолетних в трудных условиях:

Эти права предназначены для водителей в возрасте от 14 до 15 лет (иногда до 18 лет), которым приходится водить машину в связи с семейными трудностями, такими как семейные финансовые проблемы или проблемы со здоровьем; водителю нужно ехать на работу или в школу, а другого транспорта нет.

Временные права:

Назначение такое же, как у водительских прав, но они выдаются водителям в возрасте до 18 лет, в возрасте от 14 до 17 лет. Почти в каждом штате, за исключением Южной Дакоты, имеются какие-либо ступенчатые права, но время ограничения и период, в течение которого новый водитель должен иметь права, сильно различаются в зависимости от штата.

Водительское удостоверение:

Этот тип водительского удостоверения обычно называется классом E. В некоторых штатах к обычным водительским правам добавляется только подтверждение, а в других просто не требуется специального разрешения на вождение такси или лимузина.Во Флориде было очень распространено выдавать лицензии на лимузины класса D, обозначение, которое было отменено в 2006 году. Независимо от того, выдает ли штат лицензию шофера или нет, водитель всегда должен получать разрешение от штата, в котором он или она работает. от.

Мотоциклетное удостоверение:

Для этих транспортных средств иногда не требуется мотоциклетное удостоверение, в некоторых штатах — любой тип лицензии, любой вид страхования или регистрации. В отличие от ЕС, негосударственные в Америке различают мотоциклы малой и полной мощности для выдачи лицензии. В некоторых штатах требуется дополнительное разрешение на управление мотоциклом с коляской.

Улучшенные права:

Этот вид прав выдается американским гражданам в Вашингтоне, Мичигане, Калифорнии, Вермонте, Нью-Йорке и Миннесоте, а национальность водителя указывается в водительском удостоверении. EDL — это документ, совместимый с WHTI, приемлемый документ для пересечения сухопутных или морских границ, поступающих из Канады, Карибского бассейна или Мексики. Чтобы подать заявку на получение такого рода лицензии, необходимо предъявить американский паспорт и свидетельство о рождении в качестве доказательства гражданства.Коммерческая лицензия и мотоциклетная лицензия также имеют одинаковую возможность улучшения.

Разрешение для инвалидов

Разрешение для инвалидов выдается тем людям, которые соблюдают стандарты ответственного вождения и доступа к парковке. Специальный доступ выдается для улучшения их жизни при вождении. В некоторых штатах, например в Техасе, инвалид может быть вынужден сдать свои права в зависимости от его инвалидности.

Законы о водительских правах.

Федеральный закон устанавливает, что минимальный возраст для вождения коммерческого транспортного средства между штатами составляет 21 год, поэтому минимальный возраст для подачи заявления на получение полных водительских прав составляет 21 год.

Чтобы иметь возможность водить школьный автобус, необходимо иметь CDL, однако минимальный возраст для вождения школьного автобуса может быть старше, около 25 лет. В некоторых штатах выдаются некоторые ограниченные межгосударственные водительские права, действительные только для управления коммерческими транспортными средствами из этого штата, ориентированные на водителей в возрасте 18 лет и старше.

Профессиональные водители в возрасте от 18 до 21 года, как правило, не имеют права управлять прицепами, перевозить опасные грузы или школьные автобусы.

Использование лицензии для идентификации и подтверждения возраста.

В штате не существует двух одинаковых номеров лицензий. Из-за кражи личных данных номер социального страхования не указан в водительских правах. Чтобы соответствовать стандарту AAMVA, большинство штатов выдают лицензии вертикально для несовершеннолетних в возрасте 21 года и горизонтально для людей старше 21 года. Таким образом, действительно легко проверить, разрешено ли человеку покупать алкоголь для например, просто увидев ориентацию водительских прав (законный возраст для покупки алкогольных напитков в Штатах — 21 год).

Имейте в виду, что так бывает не во всех случаях, т.е. в Аризоне ориентация водительского удостоверения может быть легко изменена независимо от возраста, кроме того, в Аризоне срок действия водительского удостоверения не истекает, пока водителю не исполнится 65 лет. Большинство штатов требуют от водителей получения лицензии, выданной на их собственной территории, в течение определенного периода времени.

Real ID

Когда заинтересованное лицо подает заявление на получение Real ID, в качестве нового заявителя или для продления старого, он или она должен предоставить документ гражданина (американский паспорт, свидетельство о рождении, номер социального страхования, свидетельство об изменении имени — если применимо- и два доказательства проживания в государстве). Штат проверит документы и сохранит копию. Не разрешается иметь более одного Real ID одновременно.

Настоящий идентификатор может быть легко идентифицирован в зависимости от штата. Эти карты имеют золотую или черную звезду в правом верхнем углу карты. С октября 2011 года их также выпускал Коннектикут. С января 2013 года Огайа выдает Real ID под названием «Безопасная идентификационная карта».

Калифорния начала выдавать настоящие удостоверения личности в 2018 году.

Улучшенные водительские права

С мая 2009 года такие права выдавались только в штатах Вашингтон, Нью-Йорк, Вермонт и Мичиган.С января 2014 года к списку добавилась Миннесота; теперь у нас будет штат Огайо, который ожидает одобрения DHS, чтобы стать 6-м штатом для выдачи реальных удостоверений личности.

Министр национальной безопасности объявил в марте 2008 года, что выдача улучшенных водительских прав в Вашингтоне была первой лицензией, утвержденной «Инициативой путешествий по Западному полушарию»; Согласно сообщению для прессы Департамента национальной безопасности, они также работают с Аризоной над разработкой новых улучшенных водительских прав.

15 сентября 2008 г. штат Нью-Йорк начал выдавать улучшенные водительские права, соответствующие требованиям WHTI. Техас тоже был на пути к реализации этого, но губернатор Рик Перри остановил всю программу, несмотря на то, что речь идет о законе штата, уполномоченном Департаментом общественной безопасности Техаса выдавать EDL, и окончательном решении генерального прокурора штата. , Грег Эбботт, что производство EDL в Техасе будет соответствовать федеральным требованиям.

Цифровые водительские права.

Делавэр, Айова и Калифорния предложили использовать цифровые водительские права в качестве удостоверения личности. Лицензия будет доступна в виде приложения от MorphoTrust USA и установлена ​​на мобильный телефон владельца. Есть некоторые изменения в этом из-за политики конфиденциальности, так как если офицеру нужно проверить лицензию, он или она будет иметь доступ к мобильному телефону этого человека.

В 2016 году Луизиана одобрила проект закона 481, который затем стал Законом 625, превратив Луизиану в первый штат, в котором цифровые водительские права принимаются кошельком LA, приложением, созданным Envoc, выпущенным в июле 2018 года.

Этот закон позволяет всем жителям Луизианы предъявлять цифровой идентификатор с помощью LA Wallet по ходатайству любого полицейского, прихода или муниципалитета.


Советы для успешного сдачи экзамена на получение водительских прав:

Если вы собираетесь сдавать экзамен на вождение, есть вероятность, что если вы автомобильный энтузиаст, это один из самых захватывающих дней в вашей жизни, даже если вы им не являетесь. открывает целый мир возможностей путешествовать и делать то, что вы никогда не могли делать раньше. Если вы будете следовать этим нескольким простым советам, вы будете на верном пути и пройдете его с честью.

Проверьте зеркала

Прежде чем покинуть парковку и выйти на дорогу, важно отрегулировать зеркала, положение сиденья, положение рулевого колеса и, конечно же, пристегнуть ремень безопасности.

9 и 3 положение рук

Правильное положение рук — 9 и 3, и я гарантирую, что если вы едете одной рукой в ​​положении 12, вы провалите тест. Важно всегда держать обе руки на руле. Конечно, если у вас есть автомобиль с механической коробкой передач, вам придется убрать одну руку с корабля, но это позволит администратору теста чувствовать себя в безопасности, а вы будете полностью контролировать свой автомобиль.

Правильная смена полосы движения

При смене полосы движения важно сделать следующее: Сначала подайте сигнал, затем посмотрите в зеркало заднего вида рядом с боковым зеркалом, посмотрите через плечо и, если это безопасно, вы можете ехать. Как только вы полностью окажетесь на полосе движения, вы можете включить указатель поворота.

Всегда сигнализируйте, если вы перестраиваетесь, независимо от того, нет ли вокруг вас движения, важно смотреть в оба зеркала, смотреть через плечо и включать сигнал поворота.

При смене нескольких полос движения

Если вы пересекаете несколько полос движения, всегда переходите с одной полосы на другую, сделайте небольшую паузу, затем включите указатель поворота, посмотрите в оба зеркала через плечо, перейдите к следующую строку, сделайте паузу и перейдите к следующей. Стрельба через 4 полосы движения — хороший способ провалить тест.

Выезд на улицу с высокой скоростью

Всегда давайте себе достаточно времени, выезжая на улицу с высоким ограничением скорости.Это не будет раздражать человека, предоставляющего вам тест, если вы подождете там, пока это не станет безопасным. Если вы остановитесь перед быстро движущимся автомобилем и не оставите себе достаточно места, вы потеряете очки. Подождать, пока не станет достаточно места, больше, чем вы думаете, что вам обычно нужно, это безопасный способ сделать это.

Страх по одну сторону полосы

Часто начинающие водители склонны бояться то одной, то другой стороны полосы. На дороге с односторонним движением это означает, что вы могли оказаться слишком близко к двойной желтой полосе или слишком близко к обочине.Чтобы предотвратить это, есть техника, которую некоторые люди использовали, которая полезна, когда вы учитесь, заключается в том, чтобы смотреть дальше по дороге и пытаться представить себе центр дороги, представить линию в центре полосы, по которой вы идете. при прохождении через центр вашего автомобиля. Это помогает вам оставаться в центре своей полосы движения, что важно для успешной сдачи экзамена по вождению.

Стоп или красный свет: правильный способ сделать это

Когда вы приближаетесь к знаку остановки или остановке или красному свету, очень важно остановиться перед белой линией на дороге.Это означает, что когда вы останавливаетесь, вы все равно должны видеть белую линию перед капотом вашего автомобиля. Затем, если это поворот вслепую, как только вы дойдете до полного старта, теперь вы можете начать ползти немного дальше и дальше, чтобы вы могли видеть поток движения и повернуть направо или налево.

Всегда соблюдайте безопасную дистанцию ​​между собой и впереди идущим автомобилем. Чем выше ограничение скорости, тем больше расстояние между автомобилями. Это потому, что, если человек перед вами внезапно сломается, вы хотите дать себе достаточно времени, чтобы среагировать.

Перед тем, как разбиться

Кроме того, перед тем, как разбиться, всегда проверяйте зеркало заднего вида. Если вы резко остановитесь и прямо за вами будет машина, они могут столкнуться с вами. Очевидно, что в экстренной ситуации это не всегда возможно, но в идеальном случае всегда смотрите в зеркало перед торможением.

Всегда следите за движением

Всегда следите за дорогой в поисках пешеходов, любых препятствий или приближающихся поворотов. Это означает постоянно проверять свои зеркала: зеркало заднего вида, боковые зеркала, смотреть через плечо.Быть внимательным и показывать, что вы обращаете внимание, произведет отличное впечатление, чтобы сдать экзамен по вождению.

При выполнении поворотов

При выполнении защитных левых поворотов люди часто срезают углы. Это то, что все постоянно делают на дороге: пересечение двойной желтой или белой линии — отличный способ не сдать экзамен на вождение, поэтому убедитесь, что вы едете достаточно широко, соблюдайте правила, когда поворачиваете налево. и не срезать углы.

Делайте плавные движения

Всегда будьте максимально плавными.Это означает плавное торможение, плавные повороты руля, плавное ускорение и т. д. Дрожание не пойдет на пользу.

Не будь агрессивным

Двигайся осторожно, а не агрессивно В этот день нужно доказать, что ты безопасный водитель, а не следующая звезда F1. Докажите это на гоночной трассе.

Не превышайте скорость

Не превышайте скорость. Это очень важно. В общем, люди привыкли превышать скорость на 5 миль в час или около того при вождении в повседневной жизни, но для теста вы не можете этого сделать.Требуется ограничение скорости или ниже.

Также иметь радар-детектор в машине для пробы будет не очень хорошей идеей.

Тест перед поездкой

Департамент транспортных средств хочет убедиться, что вы владеете всеми элементами управления внутри автомобиля, прежде чем начать тест.

Вот пример контрольного списка перед поездкой:

  • DMV скажет вам завести машину, но не заводите ее.
  • Включите указатель поворота влево, а затем вправо.
  • Включение и выключение фар.
  • Включение и выключение стеклоочистителей.
  • Утром включите аварийку.
  • Экзаменатор может спросить вас, если вы вышли утром, а на лобовом стекле наледь, как разморозить лобовое стекло? Вы выбрали морозильник, включите вентилятор и выберите «Нагрев».
  • Любой другой экзаменатор попросит вас показать им ваши антиобледенители: Где они расположены?
  • Затем экзаменатор попросит вас отключить аварийный стояночный тормоз, а затем включить аварийный стояночный тормоз.
  • Они просят вас посигналить.

Удостоверения личности

Удостоверения личности выдаются Департаментом автотранспорта всем гражданам без ограничения возраста. Это удостоверение личности аналогично водительскому удостоверению, но его можно использовать только в целях идентификации.

Существует два разных типа карт: обычная, действительная в течение 6 лет, и одна, выпущенная для пожилых людей, которую можно запросить только в том случае, если человек старше 62 лет, последняя имеет срок действия 10 лет.

Если заявитель является бенефициаром государственной программы социальной помощи, есть шанс, что он или она может подать заявление на получение удостоверения личности, предоставив форму «Проверка удостоверения личности со сниженной стоимостью» в Департамент транспортных средств.

Регистрация

Существуют различные варианты восстановления водительских прав. Первый вариант — сделать это через Интернет, для этого заявитель должен иметь номерной знак и последние пять цифр идентификационного номера транспортного средства; в случае судна или лодки вам потребуется идентификационный номер корпуса и сертификат смога; наконец, вам потребуется уведомление о продлении с вашим текущим домашним адресом.

На момент продления у заявителя не должно быть никаких сомнений или нарушений. После того, как заявитель обработает продление, он или она получит наклейку в течение следующих 5 дней с обновленной табличкой.

Второй вариант — через терминал автосервиса DMV (Департамент автотранспортных средств), там можно сразу получить новую наклейку. Помимо обновления реестра, вы можете выполнить другие формальности оттуда, такие как оплата проезда restitutio за приостановку действия номерного знака транспортного средства, представление или продление аффидевита о неиспользованном транспортном средстве, среди прочего.

Эти виды терминалов помогают избежать очередей и проводить более эффективные и быстрые транзакции, вы можете использовать эти терминалы для всех видов транспортных средств, пикапов, мотоциклов, жилых прицепов и коммерческих транспортных средств, которым не нужны коммерческие номера.

Последний вариант обновления реестра — через BPA (программа автоматизации деловых партнеров). DMV позволяет деловым партнерам обрабатывать и выдавать номерные знаки, включая, среди прочего, наклейки и номерные знаки.

Право собственности

Право собственности на транспортное средство устанавливает физическое или юридическое лицо в качестве законного оператора транспортного средства, и в каждом штате США существуют различные процедуры для получения такого рода сертификации.

В случае продажи/покупки транспортного средства право собственности на него должно быть передано новому владельцу, за исключением случаев, когда покупка финансируется, и в этом случае владелец остается прежним до завершения платежа, таким образом, право собственности переходит к новому владельцу.Когда эта документация утеряна, владелец может подать заявление на получение копии в штате, где было выдано право собственности.

Данные, которые мы можем найти в этой документации: Идентификационный номер, марка транспортного средства, год выпуска, номерной знак, данные владельца и, если в данный момент есть сомнения, данные лица, которому деньги должны.

Номерные знаки

В Штатах номерные знаки или номерные знаки транспортных средств обычно содержат от 5 до 7 символов, в зависимости от штата, в котором выдается номерной знак, вы можете найти различные буквенно-цифровые комбинации.

Обычно они присваиваются в порядке возрастания, за исключением некоторых исключений, поэтому тот, кто с этим знаком, может приблизительно определить, в какой момент был выдан номер.

В некоторых штатах последние две цифры номерного знака сообщают о сроке годности.

В настоящее время стиль этих табличек может различаться в зависимости от штата, но на большинстве из них указаны название и дизайн штата, в котором они были выпущены, а также буквенно-цифровой код над отражающей табличкой.

Существуют также различные специальные дипломатические номера, выдаваемые Государственным департаментом тем, кто имеет на это право. Эти номерные знаки могут считаться буквой (которая представляет штат, в котором она выдана), еще двумя буквами (которые представляют код страны), а затем тремя или четырьмя случайными числами. Или, ну, четыре цифры, две буквы для обозначения страны и еще одна буква для обозначения штата, в котором он выдан.

Это относится к идентификации номерных знаков, выданных для транспортных средств ONU.

%PDF-1.4 % 209 0 объект > эндообъект внешняя ссылка 209 126 0000000016 00000 н 0000003543 00000 н 0000003645 00000 н 0000004607 00000 н 0000004751 00000 н 0000005376 00000 н 0000005593 00000 н 0000005707 00000 н 0000005823 00000 н 0000006095 00000 н 0000006596 00000 н 0000010886 00000 н 0000014674 00000 н 0000018079 00000 н 0000021589 00000 н 0000024899 00000 н 0000028339 00000 н 0000031638 00000 н 0000034701 00000 н 0000034729 00000 н 0000037712 00000 н 0000037787 00000 н 0000037900 00000 н 0000038169 00000 н 0000038244 00000 н 0000038517 00000 н 0000038592 00000 н 0000038862 00000 н 0000038937 00000 н 0000039208 00000 н 0000085148 00000 н 0000087956 00000 н 00000

00000 н 00000

00000 н 0000096763 00000 н 0000096838 00000 н 0000097111 00000 н 0000097186 00000 н 0000097214 00000 н 0000097634 00000 н 0000097731 00000 н 0000097877 00000 н 0000098226 00000 н 0000098301 00000 н 0000098672 00000 н 0000098747 00000 н 0000099116 00000 н 0000099191 00000 н 0000099561 00000 н 0000099636 00000 н 0000100005 00000 н 0000100080 00000 н 0000100197 00000 н 0000100468 00000 н 0000100543 00000 н 0000100812 00000 н 0000100887 00000 н 0000101158 00000 н 0000101233 00000 н 0000101505 00000 н 0000102481 00000 н 0000102753 00000 н 0000102823 00000 н 0000103034 00000 н 0000103061 00000 н 0000103409 00000 н 0000103949 00000 н 0000104222 00000 н 0000104533 00000 н 0000109369 00000 н 0000115975 00000 н 0000118785 00000 н 0000121592 00000 н 0000124347 00000 н 0000127435 00000 н 0000127510 00000 н 0000131751 00000 н 0000132079 00000 н 0000132110 00000 н 0000132176 00000 н 0000132292 00000 н 0000132367 00000 н 0000136755 00000 н 0000137085 00000 н 0000137116 00000 н 0000137182 00000 н 0000137298 00000 н 0000137422 00000 н 0000137548 00000 н 0000137623 00000 н 0000141756 00000 н 0000142086 00000 н 0000142117 00000 н 0000142183 00000 н 0000142299 00000 н 0000142374 00000 н 0000146738 00000 н 0000147067 00000 н 0000147098 00000 н 0000147164 00000 н 0000147280 00000 н 0000147355 00000 н 0000151191 00000 н 0000151523 00000 н 0000151554 00000 н 0000151620 00000 н 0000151736 00000 н 0000151811 00000 н 0000154373 00000 н 0000154702 00000 н 0000154733 00000 н 0000154799 00000 н 0000154915 00000 н 0000154990 00000 н 0000159109 00000 н 0000159439 00000 н 0000159470 00000 н 0000159536 00000 н 0000159652 00000 н 0000159727 00000 н 0000163924 00000 н 0000164255 00000 н 0000164286 00000 н 0000164352 00000 н 0000164468 00000 н 0000002816 00000 н трейлер ]>> startxref 0 %%EOF 334 0 объект >поток xڔSKHTQL3ΌzG%»zHyK6A$Eha# -qw;GnyU-*rU2Es\erbss8

ES-ImageNet: набор данных классификации миллионов потоков событий для нейронных сетей с импульсными помехами

Abstract

С алгоритмами, управляемыми событиями, особенно нейронными сетей (SNN), обеспечивающих постоянное улучшение обработки нейроморфного зрения, срочно необходим более сложный набор данных потока событий.Однако хорошо известно, что создание набора данных ES является трудоемкой и дорогостоящей задачей с нейроморфными камерами, такими как датчики динамического зрения (DVS). В этой работе мы предлагаем быстрый и эффективный алгоритм, называемый всенаправленным дискретным градиентом (ODG), для преобразования популярного набора данных компьютерного зрения ILSVRC2012 в его версию потока событий (ES), генерирующего около 1 300 000 изображений на основе кадров в ES-выборки в 1000 категорий. . Таким образом, мы предлагаем набор данных ES под названием ES-ImageNet, который в десятки раз больше, чем другие наборы данных нейроморфной классификации в настоящее время, и полностью генерируется программным обеспечением.Алгоритм ODG реализует движение изображения для генерации локальных изменений значений с дискретной информацией о градиенте в разных направлениях, предоставляя недорогой и высокоскоростной метод преобразования изображений на основе кадров в потоки событий, наряду с Edge-Integral для восстановления высококачественного изображения. изображения из потоков событий. Кроме того, мы анализируем статистику ES-ImageNet несколькими способами, а также предоставляется эталон производительности набора данных с использованием как известных алгоритмов глубокой нейронной сети, так и алгоритмов нейронной сети с пиками.Мы считаем, что эта работа предоставит новый крупномасштабный эталонный набор данных для SNN и нейроморфного зрения.

Ключевые слова: набор данных , импульсная нейронная сеть, датчик динамического зрения, вычисления, основанные на мозге, дырявая интеграция и запуск , искусственный интеллект и вычисления, основанные на мозге (Pei et al., 2019; Roy et al., 2019). Известные как третье поколение нейронных сетей (Maass, 1997), SNN обладают способностью обрабатывать пространственно-временную информацию и обладают более сильной биологической интерпретируемостью, чем искусственные нейронные сети (ИНС или глубокие нейронные сети). Они применялись в ряде задач, таких как распознавание образов (Schrauwen et al., 2008; Rouat et al., 2013; Zhang et al., 2015), высокоскоростное отслеживание объектов (Yang et al., 2019) и оптической оценки потока (Paredes-Vallés et al., 2019) с помощью нейроморфного оборудования, такого как TrueNorth (Akopyan et al., 2015), Loihi (Davies et al., 2018), DaDianNao (Tao et al., 2016) и Tianjic (Pei et al., 2019). В последние годы постоянное расширение наборов данных для классификации изображений (LeCun et al., 1998; Deng et al., 2009; Krizhevsky and Hinton, 2009), обработки естественного языка (Nguyen et al., 2016; Rajpurkar et al., 2016) и других областях ставит под сомнение возможности ИИ и способствует развитию ИИ. Исследователи надеются, что ИИ сможет превзойти людей в соответствующих задачах. Тем не менее, для SNN исследования все еще находятся на стадии роста, и постепенно появляются препятствия, одним из самых больших из которых является отсутствие подходящих наборов данных.Теперь у нас есть N-MNIST (Orchard et al., 2015), N-Caltech201 (Orchard et al., 2015), DVS-Gesture (Amir et al., 2017), CIFAR10-DVS . (Li et al., 2017) и другие наборы нейроморфных данных (или наборы данных потока событий, наборы данных ES), но существующие наборы данных, разработанные для SNN, имеют относительно небольшой масштаб. По мере того, как предлагается больше алгоритмов, масштаб SNN становится больше. Поэтому существующим наборам данных было трудно удовлетворить спрос на обучение и проверку SNN.

Компромиссное решение этой проблемы — обучать SNN напрямую на крупномасштабных традиционных статических наборах данных. Взяв, к примеру, классификацию изображений, общий метод заключается в многократном копировании изображения для формирования последовательности изображений, а затем эта последовательность передается на уровень кодирования шипов SNN, как показано. Однако есть очевидный недостаток, заключающийся в том, что избыточность данных многократно увеличивает стоимость обучения без добавления какой-либо эффективной информации. Для сравнения способ обучения SNN на наборе данных ES также показан на рис.По сравнению с обычным методом для SNN более естественно обрабатывать такие разреженные и временные данные, полностью используя временные характеристики. Таким образом, наборы данных, вдохновленные механизмом визуализации нейроморфных визуальных датчиков, по-прежнему считаются наиболее подходящими наборами данных для SNN.

(A) Подход к обучению LIF-SNN (Даян и Эбботт, 2001) на наборе данных, ориентированном на ИНС. Здесь SNN использует кодирование скорости и структуру, подобную ANN, поэтому ее можно обучать естественным образом с использованием данных кадра. (B) Обучение LIF-SNN с графическими процессорами на наборе данных DVS (наборе данных ES, записанном DVS). Здесь нам нужно накопить события за небольшой период в виде кадра событий и получить последовательность кадров событий с N кадрами для обучения. На нейроморфном процессоре данные об асинхронных событиях могут обрабатываться более эффективно.

Поскольку SNN извлекли выгоду из нейроморфных данных, усилия также направлены на переработку существующих наборов данных RGB-камер для создания наборов нейроморфных данных.В основном есть два разных метода для этой задачи. Одним из них является использование камер с датчиками динамического зрения (DVS) для записи видео, созданного из необработанных данных, на ЖК-экран (Orchard et al., 2015; Li et al., 2017). Этот метод требует много времени и средств, что невозможно для изготовления крупномасштабного набора данных. Другой — генерировать данные о событии с помощью программного обеспечения для имитации принципа работы камер DVS (Bi and Andreopoulos, 2017; Gehrig et al., 2020). Такой метод больше подходит для создания крупномасштабных наборов данных на основе событий.Однако избыточность данных, вызванная существующими алгоритмами преобразования, увеличивает объем наборов данных. В данной работе мы оптимизируем существующие алгоритмы второго метода для получения набора данных с меньшей избыточностью.

Таким образом создается набор данных ES, преобразованный из известного набора данных классификации изображений ILSVRC2012 (Russakovsky et al., 2015), который называется event-stream ImageNet или ES-ImageNet . В ES-ImageNet их около 1.3 млн образцов, преобразованных из ILSVRC2012 в 1000 различных категорий. ES-ImageNet в настоящее время является крупнейшим набором данных ES для классификации объектов. Мы отсортировали информацию репрезентативных существующих наборов данных ES и сравнили их с ES-ImageNet , результаты обобщены в . Наличие большего количества категорий и выборок также, вероятно, делает его наиболее сложным классификационным набором данных ES, предоставляя пространство для постоянного улучшения алгоритмов, управляемых событиями.

Таблица 1

Сравнение существующих наборов данных ES и ES-ImageNet.

9032 9034 32 × 32 9034 × 24.65 H, 255,781 Объекты 5 5 4 1,257 035
Имя Скорость генерации a Разрешение Количество образцов # номер # Тип
Poker-DVS (Prez-Carrasco et al., 2013) 131 4 4 Открыть
N-Mnist (Orchard et al.. / образец 30335 302 × 245 в среднем 8709 100 100 классификация
DVS-UCF-50 (HU et al., 2016) 6,800 мс / образец 240 × 180 6 676 50 Классифицировать
DVS-Caltech-256 (Hu et al.. 240 × 180 67 67 Track Track
DVS-CIFAR10 (Li et al., 2017) 300 мс / образец 512 × 512 10 000 10 классифицируют
DVS-жест (Amir et al., 2017) 6 S / Образец 128 × 128 1,342 1,342 11 Классифицируйте
PRES-18 (Moeys et al.. × 260 450 450 450 10 классификации
1mpx Detection DataSet (de Tournemire et al., 2020) 60 S / Образец 304 × 240 2 Обнаружение
SL-ANIMALS-DVS (Vasudevan et al., 2020) 128 × 128 1,102 10 классифицируют классификации
DVS-походка / ночь (Wang et al., 2021) 3-4 S / образец 128 × 128 4000 4000 классифицируют
N-Rod (Cannici et al., 2021) 6.6 S / образец 256 × 256 41,877 51 Открыть
ES-ImageNet 29.47 MS / Образец B 224 × 224 C 9035 C 9035 C 9035 C 9035 C 9035 C 9035 1000 1000 Классифицируйте

Хороший алгоритм преобразования, чтобы генерировать набор данных, который является меньше исходного.Если не требуется имитировать характеристики DVS, оптимальное преобразование двоичного кодирования способно закодировать исходную информацию с тем же объемом данных. Поэтому, когда алгоритм преобразования генерирует набор данных большего размера, чем исходный, должна быть избыточность данных. Для имитации камер DVS мы можем допустить небольшую избыточность. Однако большинство существующих методов преобразования генерируют гораздо больший набор данных [например, N-MNIST (Orchard et al., 2015), а объем хранилища Flash-MNIST составляет десятки ГБ, тогда как исходный MNIST не превышает 100 МБ] .Это далеко от первоначального намерения разреженности DVS и не способствует высокоскоростной эффективной обработке и крупномасштабным приложениям. Поэтому применяется простой биологический алгоритм под названием Всенаправленный дискретный градиент (ODG). Этот алгоритм фиксирует последовательные особенности изображений, а затем размещает их на оси времени с отметками времени для создания потоков событий. Это уменьшает избыточность информации, что обеспечивает более высокую скорость генерации и меньшую избыточность данных, чем существующие алгоритмы преобразования.Это можно рассматривать как оптимизацию случайных саккад для использования в глубоком обучении, где последнее является распространенным методом генерации, вдохновленным биотехнологиями.

Чтобы гарантировать подходящую разреженность данных и количество информации, мы также проводим подготовительные эксперименты для контроля частоты событий и количества информации сгенерированных выборок. Проводится дальнейший анализ стоимости вычислений различных алгоритмов, который подтверждает, что набор данных является набором данных, удобным для SNN.

Основные вклады этой работы в 3 раза.

(i) Мы представляем новый крупномасштабный набор данных ES под названием ES-ImageNet , который предназначен для изучения способности SNN извлекать функции из разреженных данных о событиях и стимулировать исследования нейроморфного зрения. Эта работа должна предоставить новый крупномасштабный эталонный набор данных для SNN и задач нейроморфного зрения.

(ii) Предлагается новый алгоритм под названием ODG для преобразования данных в его версию потока событий. Мы считаем, что руководящей идеологией, стоящей за этим, является парадигма преобразования статических данных в ES-данные, что позволяет избежать избыточности данных.

(iii) Предусмотрено несколько способов анализа набора данных, в том числе анализ потери информации с использованием двумерной информационной энтропии (2D-энтропия) и визуального восприятия восстановленных изображений. Также два подготовительных эксперимента предназначены для разработки алгоритма, который может вдохновить на дальнейшее совершенствование.

Сопутствующая работа

Наборы данных ES, собранные непосредственно из реальных сценариев

Камеры DVS могут напрямую генерировать немаркированные данные ES (Brandli et al., 2014). Данные ЭС часто организуют в виде четырехугольника ( x, y, t, p ), где ( x, y ) — топологические координаты пикселя, t — время генерации спайков, а p — это полярность шипа. Такие наборы данных легко создавать и они близки к практическим сценариям применения, например, наборы данных, которые можно использовать для отслеживания и обнаружения (Bardow et al., 2016; Moeys et al., 2018; de Tournemire et al., 2020), наборы данных для 3D реконструкция сцены (Carneiro et al., 2013; Kim et al., 2016), наборы данных нейронной морфологии для оценки оптического потока (Benosman et al., 2013; Bardow et al., 2016) и наборы данных для распознавания жестов (Amir et al., 2017). Благодаря высокой частоте дискретизации и достоверности такие наборы данных очень помогают при разработке приложений в высокоскоростных сценах. Но из-за огромной рабочей нагрузки по созданию наборов данных для записи реальных сценариев их размеры часто малы, что трудно удовлетворить потребность в изучении алгоритмов глубоких SNN.

Преобразованные наборы данных ES с помощью нейроморфных датчиков

Эти наборы данных в основном генерируются наборами данных статических изображений с помощью нейроморфных датчиков. В отличие от первых, эти типы наборов данных в основном получены из наборов данных, которые были широко изучены и используются для традиционных задач ИНС, таких как N-MNIST (Orchard et al., 2015), DVS-UCF-50. , DVS-Caltech-256 (Hu et al., 2016) и CIFAR10-DVS (Li et al., 2017). Одним из способов создания таких наборов данных является использование экрана для отображения статического изображения, затем наведение камеры DVS на экран и перемещение камеры по заданной траектории для генерации событий. Из-за схожести между преобразованным набором данных и исходным, такой набор данных можно легко использовать и оценивать. Следовательно, они также являются наиболее широко используемыми наборами данных в исследованиях SNN. Однако в процессе записи появляются шумы, особенно вызванные миганием ЖК-экрана.

Полностью сгенерированные программным обеспечением наборы данных ES без нейроморфных датчиков

Алгоритмы используются для моделирования характеристик камер DVS с размеченными данными. Динамические датчики могут собирать динамическую информацию из видеопотоков или последовательностей изображений, при этом этот процесс также может выполняться с помощью специальных алгоритмов (Bi and Andreopoulos, 2017; Yang et al., 2019; Gehrig et al., 2020). Эти методы позволяют избежать большого количества экспериментов, необходимых для сбора данных.Однако существующие алгоритмы, используемые для преобразования статических данных в данные о событиях, всегда извлекают информацию со слишком большой избыточностью, вызванной случайностью или повторяемостью алгоритмов генерации.

Материалы и методы

В этом разделе мы представим метод создания ES-ImageNet с соответствующим методом реконструкции, включая преобразование цветового пространства, обработку ODG, выбор гиперпараметров и разреженное хранение.

Преобразование цветового пространства

Традиционные наборы данных ES используют камеры DVS для асинхронной записи изменений интенсивности в формате ES, который кодирует изменения яркости для каждого пикселя.В цветовых моделях RGB (красно-зелено-синий) цвет пикселя может быть описан как триплет ( красный, зеленый, синий ) или ( R, G, B ), который не указывает информацию о яркости напрямую. При использовании цветовой модели HSV (оттенок-насыщенность-значение) она описывается как (оттенок , насыщенность, значение ) или ( H, S, V ). Как правило, изображения в наборе данных ILSVRC2012 хранятся в цветовом пространстве RGB, поэтому изображения необходимо преобразовать в цветовое пространство HSV, как показано на рисунке

. H={0°, если M=m60×G−BM−m+0°, если M=R и G>B 60°×G−BM−m+360°, если M=R и G≤B60°×B−RM −m+120°, если M=G60°×R−GM−m+240°, если M=B

(1)

S={0if max=0M−mM=1−mВ противном случае

(2)

, где M = max{ R, G, B } и m = min{ R, G, B } .В этом алгоритме мы используем V в качестве эталона интенсивности света. В модели с шестигранным конусом HSV значение указывает на яркость цвета. А для источника света значение также связано с яркостью источника света, поэтому его можно использовать в качестве ориентира для интенсивности света.

Генератор событий

Чтобы стимулировать изменения интенсивности, мы используем здесь ODG. Основываясь на том факте, что такие животные, как жабы или лягушки, могут реагировать только на движущиеся объекты (Ewert, 1974), мы полагаем, что можем получить необходимую информацию для распознавания объектов, имитируя нервы сетчатки лягушки, в частности, ганглиозные клетки, которые генерируют признаки.Три важных типа ганглиозных клеток действуют как детекторы краев, детекторы выпуклых краев и детекторы контраста, генерируя разреженную информацию о локальных краях. Это вдохновляет основную идею ODG, которая заключается в искусственном изменении интенсивности света и обнаружении необходимой локальной информации о границах в нескольких направлениях.

В отличие от широко используемой генерации случайных саккад (Hu et al., 2016), мы выбираем только необходимые направления в фиксированном порядке и необходимое количество кадров, чтобы минимизировать избыточность данных, мы объясним это позже.Этот алгоритм генерирует поток событий для каждого изображения в ILSVRC2012 с определенным путем перемещения, показанным на , а алгоритм кратко описан на . Условия срабатывания событий описаны в

Траектория движения изображений, используемых для генерации событий. Цифры в маленьких синих квадратах — это метка времени, когда изображение достигает соответствующей позиции. Конвейер показывает полный процесс создания потока событий.

алгоритм 1: 9003

1:

Добавить ((Ex, Ey, T))
Требуется: изображение
Убедитесь, что поток
Xtrace = [1,0,2,1,0,2,1,1 ,2], yTrace = [0,2,1,0,1,2,0,1,1],
    Порог = 0.18, T = 8
Функция Генератор (изображение)
W = = image.size [0], h = image.size [1]
Image = Zeropadding (APSAMPLING (изображение, (254, 254)), 2)
V = RGB2HSV (Image) .v
для T = 0 → T DO
x = xtrace [t], y = yrace [T]
newimage = v [x: x + w, y: y + h]
, если T> 0 , затем
Oldx = Xtrace [T-1], Oldy = YTRACE [T-1]
IMGDIFF = NewImage — Lastimage
POSEVENT = IMGDIFF (IMGDIFF ≥ Thresh), Negevent = IMGDIFF (IMGDIFF ≤ -thrish)
для I = 0 → Лен (posEvent) до
Ex = POSEVENT [0], Ey = POSEVENT [1]
, если (EX, Ey) находится в допустимом диапазоне , затем
POSSTREAM.Приложение (ex, ey, t))
End для
для I = 0 → Лен (Негевент) DO
Ex = Negevent [0], ye = negevent [1]
Lastimage = NewImage
End для
окончание функции

p(x,y,t)={−1if V(x,y,t)−V(x,y,t−1)<−Thresh 1if V(x,y,t)−V(x,y, t−1)>Thresh,

(4)

где p ( x, y, t ) обозначает полярность события при ( x, y, t ), V значение пикселя, а Thresh — порог разницы.Этот алгоритм включает только линейные операции с временной сложностью O(W2T), где W обозначает ширину изображения, а T — продолжительность времени. ES-ImageNet генерируется без случайности, поэтому пользователи могут реконструировать исходную информацию, используя информацию о пути и свободное увеличение проектных данных.

В , необходимо выбрать четыре гиперпараметра: последовательность координаты x ( xTrace ), последовательность координаты y ( yTrace ), порог разницы ( Thresh ) в уравнении (4 ) и количество временных шагов ( T ).Мы разработали два подготовительных эксперимента для определения этих гиперпараметров.

Выберите гиперпараметры

Траектория

Выбор пути важен, он включает проектирование xTrace и yTrace наряду с выбором T . Большинство существующих методов преобразования выбирают быстрые случайные саккады или повторяющиеся фиксированные пути. Первый выбирает восемь направлений для имитации быстрого движения глаз (случайные саккады), а второй использует только четыре направления [повторяющееся сглаживание с обратной связью (RCLS)], как показано на рис.

Сравнение трех различных видов движения изображения. (A) Направления движения-кандидаты, используемые при генерации случайных саккад DVS-Caltech-256 и DVS-UCF-50 (Hu et al., 2016). (B) Путь, используемый в RCLS DVS-CIFAR-10 (Li et al., 2017). (C) Траектория, используемая в ES-ImageNet. (D) Иллюстрация, объясняющая, почему противоположные направления на пути генерации генерируют только противоположные события. (E) Сравнение двухмерной энтропии между тремя генерирующими путями с разными шагами ( T ).ODG превосходит два других метода в смысле двумерной энтропии на основе реконструированных серых изображений.

Чтобы проверить информацию, полученную этими различными методами, мы оцениваем ее, сравнивая их двухмерную информационную энтропию (2D-энтропию), которая положительно коррелирует с количеством информации в изображении. Среднее соседнее значение серого цвета изображения выбирается для представления пространственных характеристик, и обычно используется поле 3 × 3. Пара признаков ( i,j ) используется для вычисления 2D-энтропии, где i — это значение серого пикселя, а j — это округление среднего значения серого соседства в меньшую сторону.Двумерная энтропия серого изображения определяется уравнением (5), где p ( i,j ) обозначает частоту пары признаков ( i, j ), а g представляет собой серый цвет. уровень.

H=∑i=0g∑j=0g−p(i,j)log2(p(i,j)).

(5)

Поскольку эти алгоритмы используют разность кадров для генерации событий, а соседние кадры фактически представляют собой одно и то же изображение, движение в противоположном направлении всегда будет генерировать события с противоположной полярностью.Следовательно, новый шаг с направлением, противоположным существующему движению, не добавляет в выборку более эффективной информации, и именно так можно оптимизировать существующие алгоритмы. Как показано на рисунке, число в ячейке обозначает значение пикселя. Ряд пикселей перемещается влево или вправо, и вычисление разницы при одном и том же пороге даст только серию событий с точно противоположной полярностью.

Основываясь на этом наблюдении, мы избегаем повторяющихся или противоположных путей в ODG .Кроме того, чтобы количественно проиллюстрировать преимущества, мы случайным образом выбираем 100 изображений из ImageNet-1K, извлекаем события в разных T тремя разными методами, а затем реконструируем их в серые изображения для расчета 2D-энтропии. Таким образом, мы получаем , и более высокая кривая ODG может поддерживать нашу модификацию.

Анализируя информационные кривые (2D-энтропия), рассчитанные для каждого метода на нескольких временных шагах в , мы обнаруживаем, что 2D-энтропия медленно увеличивается после T ≥ 6, но размер набора данных по-прежнему линейно увеличивается с Т становится крупнее.Чтобы сбалансировать временные характеристики, количество информации и размер набора данных, мы установили T = 8.

Порог

Важным показателем для набора данных ES является частота событий, которая определяется как доля пикселей, вызвавших событие. Наиболее влиятельным параметром для частоты событий является порог 90 260 Порог 90 261 (когда траектория движения фиксирована). Из-за высокой корреляции яркости между соседними пикселями сложно оценить распределение разницы между соседними пикселями статическим методом, поэтому необходим подготовительный эксперимент.Мы случайным образом выбираем 5 картинок из каждой категории и получаем 5000 картинок. Порог в эксперименте варьируется от 0,1 до 0,4. Результаты показаны в . После многих тестов мы выбрали 0,18 в качестве порогового значения для расчетной частоты событий 5,186%, при этом частота событий большинства выборок находится в диапазоне от 1 до 10%. Этот результат будет проверен на всем наборе данных. Следует отметить, что многие события могут быть сгенерированы движением края изображения, и они были стерты.

Подготовительный эксперимент по определению порога в ОДГ.Мы заметили, что частота событий показывает тенденцию к экспоненциальному снижению порога. Принимая во внимание частоту событий сгенерированных выборок и чтобы избежать создания слишком большого количества недействительных выборок с чрезвычайно низкой частотой событий, мы выбираем пороговое значение = 0,18.

Кроме того, самые длинные стороны исходных изображений нормализуются до 255 с помощью алгоритма ближайшей интерполяции. Ближайшая интерполяция — это отображение по нормализованным координатам после масштабирования до целочисленных координат сетки.Сгенерированный обучающий набор версии потока событий составляет 99 ГБ, а тестовый набор — 4,2 ГБ, которые хранятся в формате quad ( x, y, t, p ). При преобразовании в кадровую версию, такую ​​как короткое видео, размер всего набора данных может быть дополнительно уменьшен до 37,4 ГБ без потери информации. Для простоты использования мы храним все эти тензоры в виде файла в формате .npz, используя пакет научных вычислений «Numpy» Python. Версия формата event-frame больше подходит для глубокого обучения, и мы также предоставим эту версию, в то время как версия формата quad является классическим ES-набором данных.

Анализ данных

Частота событий

Чтобы проверить качество данных, мы вычисляем частоты событий для всего сгенерированного набора данных и суммируем их в формате . Можно видеть, что пиксели, запускающие события, составляют примерно одну двадцатую всех пикселей. И с этой точки зрения предсказание, полученное в результате подготовительного эксперимента, является точным. Поскольку наши события генерируются из изображений, обработанных с помощью интерполяции ближайшего соседа, наша статистика частоты событий также рассчитывается в этом диапазоне.Когда мы используем обучающие данные, мы часто размещаем положительные и отрицательные события в разных каналах и организуем их в унифицированном формате кадра 2 × 224 × 224 ( C × W × H ). Поэтому мы пересчитываем частоту событий в процессе обучения в , которая ниже, чем у генерирующего процесса, и более значима для процесса обучения.

Таблица 2

Частота событий ES-ImageNet.

Процесс генерации Тренировочный набор Набор для тестирования
Среднее σ Среднее σ
События 5.215% 3,776% 5,385% 3,837%
ПО 5,211% 3,777% 5,385% 3,838%
OFF 5,22% 3,78% 5,38% 3,84%
Формат кадра события Тренировочный набор Набор для тестирования
Среднее о Среднее σ
События 4.461% 3,560% 5,231% 3,770%
ПО 4,458% 3,570% 5,229% 3,770%
OFF 4,460% 3,560% 5,230% 3,770%

Кроме того, мы рассчитываем гистограмму распределения положительных и отрицательных событий и показываем ее в . Результаты на рисунке показывают, что распределение положительных и отрицательных событий очень близко, что может быть связано с тем, что большинство сущностей на исходных изображениях представлены в виде замкнутой графики.

Подробная проверка скорострельности. Большинство образцов имеют частоту событий от 5 до 6%, и этот рисунок показывает значительную асимметрию распределения. Выборка с частотой событий 5% также находится на относительно разреженном уровне при записи камерами событий.

Визуализация

Чтобы наглядно показать качество данных, мы реконструируем исходные картинки из потоков событий. Сначала мы накапливаем события в кадры и получаем восемь ( T = 8) кадров событий. В отличие от традиционного набора данных DVS, наш набор данных генерируется по фиксированному пути с несколькими направлениями, поэтому, когда мы пытаемся реконструировать исходные изображения, нам необходимо накапливать разностные кадры (так называемый Edge-Integral, используемый в Le Moigne и Tilton, 1995) в направлении, противоположном порождающему пути.Результаты показаны в , а псевдокод Edge-Integral можно найти в . Демонстрацию визуализации можно найти в дополнительных материалах.

(A) Визуализация ES-ImageNet. Мы показываем несколько выборок, реконструированных из потоков событий и кадров событий на последних трех временных шагах для каждой выборки. Эти примеры относятся к четырем различным категориям и могут быть четко идентифицированы. (B) Сравнение качества реконструкции результатов прямого суммирования и Edge-Integral.Здесь I ( x, y, t ) означает интенсивность в (x, y) в кадре события в момент времени = t .

алгоритм 2:

5
Imagealist ImageList
Убедитесь: Убедитесь:
Функция Генератор (изображение)
xtrace = [1,0, 2,1,0,2,1,1,2]
         Ytrace = [0,2,1,0,1,2,0,1,1]
         imSize = size(imageList[0 ])
h = imsize [0], w = imsize [1]
Sum = Zeros (H + 4, W + 4)
T = Длина (ImageList)
для т = 0 → т
dx = xtrace [j]
dy = Ytrace [j]
Рамка = ImageList [T]
Sum [2-DX: 2-DX + H, 2 -dy:2-dy+W] += кадр[0]
             SUM[2-dx:2-dx+H,2-dy:2-dy+W] -= кадр[1]
     конец для
     серый _ изображение = СУММ
окончание функции

Анализируя процесс конвертации, мы знаем, что есть три операции, потенциально приводящие к потере информации.Во-первых, используется только информация в V-канале цветового пространства HSV, во-вторых, полученная информация о градиенте также является приблизительной, а в-третьих, информация хранится в низком разряде. Согласно методу в , мы можем реконструировать серые изображения, которые также могут быть непосредственно получены из исходных цветных изображений с помощью взвешенной суммы ( R, G, B ).

Информация

Для дальнейшего анализа потери информации во время преобразования мы по-прежнему обратимся к 2D-энтропии серых изображений, определенной в уравнении (5).Мы случайным образом собираем 5000 RGB-изображений в ILSVRC2012 (по 5 на класс) и конвертируем их в серые изображения с 256 уровнями серого, 17 уровнями серого и 5 уровнями серого соответственно. А затем мы находим преобразованные образцы этих RGB-изображений в ES-ImageNet и реконструируем соответствующие серые изображения. Поскольку по умолчанию T = 8 в ES-ImageNet и значение каждого пикселя может быть 0, 1 или −1, реконструированные образцы будут иметь в общей сложности 17 уровней серого (от 0 до 16).

Порядковое значение 2D-Энтропии может сказать нам, на каком уровне находится количество информации ES-ImageNet , которое не меньше, чем у 5-градусного сжатого RGB-изображения и почти такое же, как у 17-градусного Сжатые RGB-изображения уровня, как показано. Следует отметить, что процесс реконструкции также приводит к потере информации, поэтому исходный ES-ImageNet может иметь более эффективную информацию, чем мы предполагаем. Учитывая, что для применения нейронных морфологических данных не требуется много функций высокого уровня, мы считаем, что объем информации может сделать этот набор данных хорошим инструментом проверки SNN.

Двумерная энтропийная гистограмма различных уровней сжатия групп образцов ILSGRC2012 и реконструированной группы образцов ES-ImageNet. Здесь мы сравниваем 2D-энтропию четырех групп образцов. Реконструированная группа указывает на то, что образцы в ES-ImageNet потенциально содержат эффективную информацию для классификации объектов.

Результаты

Обучающие эксперименты

Поскольку размер этого набора данных очень велик, на нем сложно обучить классический классификатор (например, K-ближайшего соседа) по сравнению с другими наборами данных DVS (Li et al., 2017). Статистические методы обучения, такие как метод опорных векторов (SVM), плохо работают с крупномасштабными наборами данных со многими категориями, и может потребоваться несколько дней, чтобы обучить простой нелинейный метод SVM на наборе данных всего с 500 тыс. выборок (Rahimi and Recht, 2007). . Чтобы проверить качество этого набора данных, мы обратимся к четырем различным типам глубоких нейронных сетей, два из которых являются ANN, а другие — SNN. В экспериментах применяются структуры ResNet-18 и ResNet-34 (He et al., 2016). Результаты этих экспериментов служат эталоном для этого набора данных.Отмечается, что вся точность, упомянутая здесь, является первой точностью теста.

Для ИНС обычным инструментом для классификации изображений стала двумерная сверточная нейронная сеть (2D-CNN) (Крижевский и др., 2012). Чтобы обучить 2D-CNN на наборе данных ES, общий подход заключается в накоплении событий в кадры событий в соответствии с временным измерением, а затем реконструкции серых изображений (Wu et al., 2020) для обучения. Здесь мы используем алгоритм Edge-Integral, описанный в для реконструкции.Сетевые структуры, которые мы здесь используем, такие же, как и в исходной статье (He et al., 2016).

Между тем, рассматривая измерение времени как глубину, этот набор данных также можно рассматривать как набор видеоданных, поэтому также можно использовать классические методы классификации видео, такие как 3D-CNN (Ji et al., 2013; Hara et al. , 2018). Вводя свертку измерения глубины, 3D-CNN имеет возможность обрабатывать информацию во временной области. Мы использовали структуры 3D-ResNet-18 и 3D-ResNet-34, а ядро ​​свертки выбрано равным 3 × 3 × 3, что гарантирует, что самое большое рецептивное поле сети может охватывать все измерение времени (глубины). .

Для SNN мы выбираем SNN на основе нейронов с утечкой интеграции и активации (LIF) (Dayan and Abbott, 2001) и SNN на основе нейронов с утечкой интеграции и аналоговой активации (LIAF) (Wu et al., 2020) нейроны. Кодирование скорости (Adrian and Zotterman, 1926) используется для декодирования информации о событии, потому что значимость конкретного времени, когда пики появляются в этом наборе данных, слабее, чем количество пиков. Обе модели SNN обучаются с использованием метода STBP (Wu et al., 2019) и нормализации синхронно-пакетной обработки (Ioffe and Szegedy, 2015), а сетевые структуры, аналогичные ResNet-18 и ResNet-34, строятся, как показано на рис. .Базовая модель LIF (Dayan and Abbott, 2001) описана в уравнении (6),

структура SNN, используемая в экспериментах. Справа мы показываем внутреннюю структуру нейронов LIAF. Изменяя синаптические связи, мы можем получить различные структуры слоев, где CN обозначает сверточный слой, а BN обозначает слой 3D-BatchNorm. Используя эти слои, мы можем построить масштабируемую остаточную сетевую структуру LIAF.

U={τmdUdt=−U+EL+RmIeif U

(6)

, где U — мембранный потенциал, E L регулируется таким образом, чтобы потенциал покоя соответствовал потенциалу покоя клетки L моделируется. I e — входной ток, а R m — сопротивление мембраны. U сброс — параметр, скорректированный по данным эксперимента, а τ m — коэффициент мембранного времени. Нейрон LIF вызовет спайк, когда U достигнет U порога , и спайк может быть {0,1} в LIF или аналоговым значением в LIAF.Решив модель, мы получим U ( t ), как показано в уравнении (7).

U(t)=EL+RmIe+(U(0)−EL−RmIe)e−t/τm.

(7)

В этом уравнении действие сброса не учитывается. Для крупномасштабного компьютерного моделирования необходимо упростить эту модель и использовать дискретную модель LIAF/LIF. Используя l для представления индекса слоя и t для времени, модель LIAF можно описать следующими уравнениями

u0t,l=ut−1,l+h(ot,l−1)+bl

(8)

где h – функция взвешенной суммы входного вектора o t,l − 1 , что связано со специфическим режимом соединения синапсов и эквивалентно R m I e . s — спайк, используемый для сброса мембранного потенциала до U сброс и o t, l — выход нейронов на следующий слой. Мы часто используем d ( x ) = τ(1 − x ) для упрощения в этой модели, где d ( x ) описывает обработку с утечками, а τ является константой относительно τ m . f обычно представляет собой пиковую функцию, связанную с порогом, а g выбирается как часто используемая функция непрерывной активации.Если g выбрано как та же функция, что и f , то приведенная выше модель упрощается до модели LIF как

. u0t,l=ut−1,l+h(ot,l−1)+bl

(12)

ut,l=u0tk,lτ(1−st,l)

(14)

Для построения модели Spiking-ResNet мы предложили Spiking сверточный слой и Spiking-ResBlock структуру. Только h в уравнении (8) и уравнении (12) необходимо изменить, чтобы они стали разными типами слоев SNN. Для слоя полного соединения (или Dense) мы выбираем h(ot,l-1)=Wl*ot,l-1, где W l — весовая матрица слоя l .В сверточном слое h(ot,l-1)=Wl⊗ot,l-1, где ⊗ — операция свертки.

Структура остаточных блоков, которую мы использовали в SNN, немного отличается. Для лучшей производительности при глубоком обучении SNN мы добавляем слой 3D-BatchNorm к мембранному потенциалу, где мы рассматриваем временное измерение в SNN как глубину общих 3D-данных. В CN обозначает сверточный слой, а BN обозначает слой 3D-BatchNorm, слои mem_update описываются уравнениями (9)–(11) в LIAF-ResNet и уравнениями (13)–(14) в LIF-ResNet. .Чтобы сохранить согласованность кодирования, перед каждым выводом остаточного блока мы добавляем слой mem_update .

Наилучшие результаты теста получаются на основе одного и того же набора гиперпараметров и различных случайных начальных значений, которые показаны на , а результаты перечислены на . Во время обучения начальная скорость обучения составляет 0,03, оптимизатором является ADAM (Kingma and Ba, 2014), а скорость обучения оптимизируется по расписанию обучения StepLR. NVIDIA-RTX2080T используются для обучения, а Pytorch (Paszke et al., 2019) для программирования всех этих экспериментов используется среда глубокого обучения.

Таблица 3

Имена Значение
Сеть Т 8
Трэш 0,5
Распад 0,5
Оптимизатор ADAM () Lr 3e-2
β 1 , β 2 , λ 0.9,0.999,1e-8
Активация объектива 0,5
StepLR Nepoch 10
α 0,2
Другие BATCHSIZE 224 a /160 b
Max Epoch 50

Таблица 4

Результаты тестов и контрольные показатели.

28.56M 11.69M
Структура Тип Тест Acc/% № пункта
ResNet18 2D-CNN 41.030 11,68M
3D-CNN 43.140
LIF (базовый уровень) 39,894 11.69M
LIAF 42,544
ResNet34 2D-CNN 42,736 21.79M 43424 21,80 м
ЛИАФ 47.466 21.80M

Результаты испытаний

Как видно, наибольшая точность испытаний на основе структуры ResNet-18 достигается с помощью 3D-CNN, что составляет 43,140%. А лучший результат на ResNet-34 достигает 47,466%, полученный LIAF-SNN. Чтобы более наглядно показать взаимосвязь между количеством параметров и точностью, мы предоставляем и используем область диска для отображения количества параметров, подчеркивая эффективность SNN.Экспериментальные результаты LIF-SNN, которая является традиционной моделью SNN, послужат основой для этого набора данных, и мы ожидаем, что на этом наборе данных будут протестированы более продвинутые и крупномасштабные SNN или другие нейроморфные алгоритмы.

Проверка точности со структурой ResNet-18 и ResNet-34. Радиус точек данных представляет относительный размер параметров сетей.

Обсуждение

Производительность

Наблюдая за результатами, мы обнаружим, что модели SNN могут обеспечить относительно высокую точность классификации с меньшим количеством параметров.Разреженность данных в ES-ImageNet может привести к этому явлению, поскольку SNN может эффективно обрабатывать пространственно-временную информацию, а также большое количество параметров в алгоритме классификации видео на основе ANN (например, 3D-CNN, проверенном в этой статье). может привести к переобучению этого набора данных.

Находим две другие причины потери точности. Неправильно маркированные образцы также могут серьезно помешать процессу обучения. Эта проблема очевидна в ImageNet (Northcutt et al., 2019), и мы также обнаружили эту проблему, когда проводили ручную проверку, но в настоящее время нет хорошего метода для эффективного и точного скрининга. Еще одна проблема — потеря информации. Учитывая эту проблему, мы предлагаем несколько возможных способов ее оптимизации. Один из них заключается в отфильтровывании большего количества выборок с самой высокой и самой низкой информационной энтропией (представляющих наибольшую скорость шума и наименьшее количество информации соответственно) в обучающей выборке. Другой — увеличить количество временных шагов преобразования, но это увеличит стоимость хранения.

Следует отметить, что в экспериментах мы не используем какой-либо метод аугментации данных. На самом деле размещение кадров событий в случайном порядке, использование динамической продолжительности времени или обработка каждого кадра со случайным отсечением допустимы в этом наборе данных и могут значительно повысить производительность. В настоящее время ведутся исследования таких технологий увеличения данных и предварительного обучения, и мы надеемся, что этот набор данных можно будет использовать в других связанных исследованиях.

Стоимость вычислений

Чтобы сделать сравнение более объективным, мы также подсчитали и сравнили теоретически минимальное количество операндов FP32, необходимое для процесса прямой связи в этих сетях, путем измерения энергопотребления в программируемой пользователем вентильной матрице (FPGA). .

Здесь мы сравниваем количество необходимых вычислительных операндов, необходимых для процесса прямой связи восьми различных сетей, использованных в основной статье. Следует отметить, что количество операндов умножения с плавающей запятой и операндов сложения с плавающей запятой мы вычисляем отдельно (не MAC), а операнды слоев нормализации в расчет не включаются.

2D-CNN используют структуры ResNet с 18/34 слоями, и большинство операндов поддерживается слоями свертки.В этой работе мы сжимаем и реконструируем 4-мерные данные о событиях в ES-ImageNet в 2-мерные серые изображения, а затем передаем их в 2D-CNN. Затем процесс аналогичен тому, как мы обучаем ResNet на ImageNet . В сети размеры признаков изменяются в следующем порядке: [1( канал )×224( ширина )×224( высота )] → ( maxpooling )[64×110×110] → [64 × 55 × 55] → [128 × 28 × 28] → [256 × 14 × 14] → [512 × 7 × 7] → [512] → [1000].

3D-CNN учитывают измерение глубины (Ji et al., 2013) и обрабатывают этот набор данных как набор видеоданных (Hara et al., 2018), поэтому функция сохраняется в четырех измерениях в ResBlocks. В сети размеры признаков изменяются в следующем порядке: [2( канал ) × 8( глубина ) × 224( ширина ) × 224( высота )] → ( maxpooling ) [64 × 8 × 110 × 110] → [64 × 4 × 55 × 55] → [128 × 2 × 28 × 28] → [256 × 1 × 14 × 14] → [512 × 1 × 7 × 7] → [512] → [1000].

Процедура обучения LIF-SNN аналогична запуску восьми 2D-CNN вместе с обработкой информации о мембранном потенциале в последний момент и вводом спайков для каждого слоя, а затем усреднением последовательностей спайков во временном измерении в последний линейный слой для декодирования скорости всплесков. Эти сети сохраняют данные в четырех измерениях с T = 8 неизменными до уровня декодирования, поэтому размеры признаков изменяются в следующем порядке: ширина ) × 224( ​​ высота )] → ( maxpooling )[64 × 8 × 110 × 110] → [64 × 8 × 55 × 55] → [128 × 8 × 28 × 28] → [256 × 8 × 14 × 14] → [512 × 8 × 7 × 7] → [8( глубина ) × 512]( скорость декодирования ) → [512] → [1000].

Процедура обучения LIAF-SNN почти такая же, как и LIF-SNN , единственная разница с LIF-SNN заключается в том, что они не используют двоичные пики для передачи информации между слоями, вместо этого они используют аналог шип. Размеры признаков такие же, как в LIF-SNN .

Стоит отметить, что поскольку на вход LIF-SNN поступают только 0 и 1, свертка не требует вычисления умножения с плавающей запятой, но требует вычисления сложения при ограниченной комбинации.Поскольку на входе каждого слоя LIF-SNN появляется большое количество нулей, оптимизация разреженного ввода для LIF-SNN стала формулой в ускорителях SNN. Следовательно, чтобы сделать справедливое сравнение, мы можем использовать среднюю скорострельность, полученную в эксперименте, умноженную на вход SNN как долю числа чисел с плавающей запятой, которые должны участвовать в вычислении сложения (FP32 + ), чтобы оценить фактический объем вычислений SNN и CNN.Мы наблюдаем, что скорострельность всегда имеет тенденцию к снижению с увеличением тренировочных эпох, что означает уменьшение бессмысленных всплесков.

В этом эксперименте начальная скорострельность SNN не превышает 30%, а с увеличением тренировочных эпох скорострельность будет постепенно снижаться до менее 10%. Чтобы сравнить результаты SNN в худшем случае, мы принимаем 30% в качестве коэффициента разреженности. Исходя из этих условий, мы можем получить .

Сравнение операций сложения FP32 (FP32 +) и умножения FP32 (FP32 x) в процессе прямой связи между моделями, которые мы использовали в экспериментах.Следует отметить, что количество операндов FP32+ LIF было умножено на коэффициент разреженности (30%) для корректного сравнения.

Одним из преимуществ SNN по сравнению с ANN является энергопотребление (особенно в ускорителях SNN). На FPGA SNN могут иметь значительное преимущество в мощности, если алгоритм обучения хорошо разработан. Данные Wu et al. (2019) о энергопотреблении основных операндов может дать оценку энергопотребления сетей в экспериментах.Каждая операция FP32+ требует 1,273 пДж энергии, а каждая операция FP32 требует 3,483 пДж энергии. Тогда мы можем получить результат в формате . Кроме того, мы также даем сравнение мощности, обычно используемое для SNN (Deng et al., 2020) в , где мы вычисляем энергию для каждого процесса прямой связи (поэтому мы называем это мощностью). Следует отметить, что для SNN требуется T кадров, чтобы дать одно предсказание, и как 3D-CNN, так и 2D-CNN дают одно предсказание на основе одного кадра.

Потребление энергии и мощности в экспериментах. (A) Сравнение стоимости энергии. LIF-SNN продемонстрировали значительное преимущество в энергопотреблении, стоимость энергии которых составляет половину от стоимости CNN. (B) Мощность каждой модели в единице времени Frame также равна энергии, необходимой для одного процесса прямой связи.

Эти результаты также подтверждают энергетические преимущества SNN в этой задаче. По этим причинам мы считаем, что набор данных ES-ImageNet будет удобным для SNN. Мы по-прежнему надеемся, что будет предложено больше алгоритмов ИНС для элегантного и эффективного решения этих проблем, что также может послужить руководством для разработки SNN.

Ограничения

Для алгоритма преобразования мы генерируем временные характеристики, применяя искусственное движение к статическим изображениям, как и большинство методов преобразования, которые все еще отличаются от реальной сцены. Это ограничение для динамических наборов данных, полученных из статических данных. Кроме того, чтобы сжать объем набора данных и извлечь больше информации, мы уменьшаем случайность данных во время генерации, тем самым теряя определенную особенность записи камеры DVS, но делая ее более удобной для SNN.

В части анализа, из-за ограниченности математических инструментов, принятая нами двумерная энтропия может отражать только количество информации, а не количество эффективной информации. Поэтому его можно использовать только в качестве эталона, а не стандарта. Кроме того, метод реконструкции и метод сжатия, используемые при измерении, могут повлиять на информацию, хотя мы сравнили их максимально объективно.

В методе обучения из-за ограничений аппаратных условий и алгоритмов мы можем предоставить только тесты SNN и ANN на основе ResNet-18 и ResNet-34.Есть надежда, что больше исследований будет участвовать в обучении более крупных и лучших моделей.

Заключение

В этой статье мы предоставляем новый набор данных нейроморфного зрения под названием ES-ImageNet для классификации изображений на основе событий и проверки алгоритмов SNN. Мы предложили метод под названием ODG, преобразующий известный набор данных классификации изображений ILSVRC2012 в его основанную на событиях версию с помощью метода Edge-Integral для восстановления соответствующих серых изображений на основе этих потоков событий.Метод ODG включает в себя тщательно разработанное движение изображения, которое приводит к изменению значений в цветовом пространстве HSV и предоставляет информацию о пространственном градиенте. Этот алгоритм может эффективно извлекать пространственные характеристики для генерации потоков событий.

Для проверки свойств наборов данных мы используем метод Edge-Integral для демонстрации некоторых реконструированных выборок, а также вычисляем двумерное энтропийное распределение набора данных. Кроме того, проводится сравнительный эксперимент с использованием 2D-CNN, 3D-CNN, LIF-SNN и LIAF-SNN, эти результаты служат ориентиром для последующих исследований, а также подтверждают, что этот набор данных является подходящим инструментом проверки для SNN.

Этот набор данных решает проблему отсутствия подходящего крупномасштабного набора данных классификации в области исследований SNN. Он заполняет этот пробел в подходящем наборе данных для проверки крупномасштабных SNN, так что ожидается, что соответствующий алгоритм будет лучше оптимизирован, и будет изучено больше структур SNN и алгоритмов обучения, тем самым способствуя практическому применению SNN.

Список веществ-кандидатов, представляющих особую опасность для получения разрешения

6-39-2 Сульфоний, [4-[(2-метил-1-оксо-2-пропен-1-ил)окси]фенил]дифенил-, 1,1,2,2,3,3,4,4,5,5, 6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 7-68-4 Сульфоний, [4-[(2-метил-1-оксо-2-пропенил)окси]фенил]дифенил-, соль с 1,1,2,2,3,3,4,4,5,5,6, 6,6-тридекафтор-1-гексансульфокислота (1:1), полимер с 2-этилтрицикло[3.3.1.13,7]дец-2-ил 2-метил-2-пропеноатом, 3-гидрокситрицикло[3.3.1.13,7 ]дец-1-ил 2-метил-2-пропеноат и тетрагидро-2-оксо-3-фуранил 2-метил-2-пропеноат ЕС №: — | КАС №: 7-69-5 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, цезиевая соль (1:1) ЕС №: — | КАС №:

-17-1 Дибензо[k,n][1,4,7,10,13]тетраоксатиациклопентадецин, 19-[4-(1,1-диметилэтил)фенил]-6,7,9,10,12,13-гексагидро-, 1 ,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №:

9-42-7 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, соль галлия (9CI) ЕС №: — | КАС №: 341035-71-0 Сульфоний, бис(4-метилфенил)фенил-, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 341548-85-4 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, скандиевая (3+) соль (3:1) ЕС №: — | КАС №: 350836-93-0 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, соль неодима (3+) (3:1) ЕС №: — | КАС №: 41184-65-0 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, иттриевая (3+) соль (3:1) ЕС №: — | КАС №: 41242-12-0 Сульфониевая, (тиоди-4,1-фенилен)бис[дифенил-, соль с 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфоновой кислотой (1:2) ЕС №: — | КАС №: 421555-73-9 Йодоний, бис[4-(1,1-диметилпропил)фенил]-, соль с 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфокислотой ЕС №: — | КАС №: 421555-74-0 Сульфоний, трис[4-(1,1-диметилэтил)фенил]-,1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1 :1) ЕС №: — | КАС №: 425670-70-8 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, компл.С пирролидином (1:1) ЕС №: — | КАС №: 1187817-57-7 Фосфоний, трифенил(фенилметил)-,1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 1000597-52-3 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, компл. с N,N-диэтилэтанамином (1:1) ЕС №: — | КАС №: 72033-41-1

213-934-0

1067-53-4

17.01.2022

Токсично для репродукции (Статья 57c)

Подробности

X4261

401-850-9

255881-94-8

17.01.2022

Подробности

204-327-1

119-47-1

17.01.2022

Токсично для репродукции (Статья 57c)

Подробности

17.01.2022

Свойства, нарушающие работу эндокринной системы (статья 57(f) – здоровье человека)

Подробности

07.08.2021

Токсично для репродуктивной системы (Статья 57с)

Эндокринные нарушающие свойства (Статья 57(f) — окружающая среда)

Эндокринные нарушающие свойства (Статья 57(f) — здоровье человека)

Подробности

07.08.2021

Токсично для репродукции (Статья 57c)

Подробности

УФХБ-вещества, состоящие из более чем или равной 80% линейных хлоралканов с длиной углеродной цепи в диапазоне от С14 до С17

07.08.2021

Подробности

203-856-5

111-30-8

07.08.2021

Респираторные сенсибилизирующие свойства (статья 57(f) – здоровье человека)

Подробности

201-025-1

77-40-7

07.08.2021

Свойства, нарушающие работу эндокринной системы (статья 57(f) – окружающая среда)

Свойства, нарушающие эндокринную систему (статья 57(f) – здоровье человека)

Подробности

07.08.2021

Токсично для репродукции (Статья 57c)

Подробности

07.08.2021

Канцерогенный (Статья 57а)

Подробности

204-661-8

123-91-1

07.08.2021

Канцерогенный (Статья 57а)

Эквивалентный уровень опасности, имеющий вероятное серьезное воздействие на здоровье человека (Статья 57(f) – здоровье человека)

Эквивалентный уровень опасности, имеющий вероятное серьезное воздействие на окружающую среду (Статья 57(f) — окружающая среда)

Подробности

19.01.2021

Токсично для репродукции (Статья 57c)

Подробности

205-594-7

143-24-8

19.01.2021

Токсично для репродукции (Статья 57c)

Подробности

245-152-0

22673-19-4

25.06.2020

Токсично для репродукции (Статья 57c)

Подробности

202-318-7

94-26-8

25.06.2020

Свойства, нарушающие работу эндокринной системы (статья 57(f) – здоровье человека)

Подробности

211-765-7

693-98-1

25.06.2020

Токсично для репродукции (Статья 57c)

Подробности

214-012-0

1072-63-5

25.06.2020

Токсично для репродукции (Статья 57c)

Подробности
N,N,N-триэтилэтанамин 1,1,2,2,3,3,4,4,4-нонафторбутан-1-сульфонат ЕС №: — | КАС №: 25628-08-4

16.01.2020

Эквивалентный уровень опасности с вероятным серьезным воздействием на здоровье человека (статья 57(f) – здоровье человека)

Эквивалентный уровень опасности с вероятным серьезным воздействием на окружающую среду (статья 57(f) – окружающая среда)

Подробности

276-090-2

71850-09-4

16.01.2020

Токсично для репродукции (Статья 57c)

Подробности

АЦЕТОКЮР 97; ГЕНОКЮР*PMP; ИГМ 4817; ИРГАКЮР 907; СКОРОСТЬ 97

400-600-6

71868-10-5

16.01.2020

Токсично для репродукции (Статья 57c)

Подробности

КГ 25-369; ИРГАКЮР 369; ТК 11-319

404-360-3

119313-12-1

16.01.2020

Токсично для репродукции (Статья 57c)

Подробности

16.07.2019

Свойства, нарушающие работу эндокринной системы (статья 57(f) – окружающая среда)

Подробности

202-679-0

98-54-4

16.07.2019

Свойства, нарушающие работу эндокринной системы (статья 57(f) – окружающая среда)

Подробности

203-772-9

110-49-6

16.07.2019

Токсично для репродукции (Статья 57c)

Подробности

охватывая любой из их индивидуальных изомеров и их комбинаций

16.07.2019

Эквивалентный уровень опасности с вероятным серьезным воздействием на здоровье человека (статья 57(f) – здоровье человека)

Эквивалентный уровень опасности с вероятным серьезным воздействием на окружающую среду (статья 57(f) – окружающая среда)

Подробности

204-927-3

129-00-0

01.15.2019

Подробности

201-581-5

85-01-8

01.15.2019

Подробности

205-912-4

206-44-0

01.15.2019

Подробности

205-916-6

207-08-9

01.15.2019

Канцерогенный (Статья 57а)

Подробности

АП-5

401-720-1

6807-17-6

01.15.2019

Токсично для репродукции (Статья 57c)

Подробности

3-бензилиденкамфора; 3-БК

239-139-9

15087-24-8

01.15.2019

Свойства, нарушающие работу эндокринной системы (статья 57(f) – окружающая среда)

Подробности

262-967-7

61788-32-7

27.06.2018

Подробности

Д4

209-136-7

556-67-2

27.06.2018

Подробности

231-100-4

7439-92-1

27.06.2018

Токсично для репродукции (Статья 57c)

Подробности

ЭДА

203-468-6

107-15-3

27.06.2018

Респираторные сенсибилизирующие свойства (статья 57(f) – здоровье человека)

Подробности

Д6

208-762-8

540-97-6

27.06.2018

Подробности

234-541-0

12008-41-2

27.06.2018

Токсично для репродукции (Статья 57c)

Подробности

ДЧП

201-545-9

84-61-7

27.06.2018

Токсично для репродуктивной функции (Статья 57с)

Нарушающие работу эндокринной системы свойства (Статья 57(f) – здоровье человека)

Подробности

Д5

208-764-9

541-02-6

27.06.2018

Подробности

205-883-8

191-24-2

27.06.2018

Подробности

тримеллитовый ангидрид; ТМА

209-008-0

552-30-7

27.06.2018

Респираторные сенсибилизирующие свойства (статья 57(f) – здоровье человека)

Подробности

с ≥0.1% мас./мас. 4-гептилфенола, разветвленного и линейного (4-HPbl)

01.15.2018

Свойства, нарушающие работу эндокринной системы (статья 57(f) – окружающая среда)

Подробности

205-923-4

218-01-9

01.15.2018

Канцерогенный (Статья 57а)

Подробности

233-710-6

10325-94-7

01.15.2018

Канцерогенный (Статья 57а)

Специфическая токсичность для органа-мишени после многократного воздействия (Статья 57(f) — здоровье человека)

Подробности

244-168-5

21041-95-2

01.15.2018

Канцерогенный (Статья 57а)

Специфическая токсичность для органа-мишени после многократного воздействия (Статья 57(f) — здоровье человека)

Подробности

208-168-9

513-78-0

01.15.2018

Канцерогенный (Статья 57а)

Специфическая токсичность для органа-мишени после многократного воздействия (Статья 57(f) — здоровье человека)

Подробности

200-280-6

56-55-3

01.15.2018

Канцерогенный (Статья 57а)

Подробности
1,6,7,8,9,14,15,16,17,17,18,18-Додекахлорпентацикло[12.2.1.16,9.02,13.05,10]октадека-7,15-диен («Дехлоран Плюс»™)

охватывающий любой из его индивидуальных анти- и син-изомеров или любую их комбинацию

(1S,2S,5R,6R,9S,10S,13R,14R)-1,6,7,8,9,14,15,16,17,17,18,18-додекахлорпентацикло[12.2.1.1⁶,⁹.0²,¹³.0⁵,¹⁰] октадека-7,15-диен ЕС №: — | КАС №: 135821-03-3 1,6,7,8,9,14,15,16,17,17,18,18-додекахлорпентацикло[12.2.1.16,9.02,13.05,10]октадека-7,15-диен ЕС №: 236-948-9 | КАС №: 13560-89-9 (1S,2S,5S,6S,9R,10R,13R,14R)-1,6,7,8,9,14,15,16,17,17,18,18-додекахлорпентацикло[12.2.1.1⁶,⁹ .0²,¹³.0⁵,¹⁰] октадека-7,15-диен ЕС №: — | КАС №: 135821-74-8 отн-(1R,4S,4aS,6aR,7R,10S,10aS,12aR)-1,2,3,4,7,8,9,10,13,13,14,14-додекахлор-1,4, 4а,5,6,6а,7,10,10а,11,12,12а-додекагидро-1,4:7,10-диметанодибензо[а,е]циклооктен ЕС №: — | КАС №: — отн-(1R,4S,4aS,6aS,7S,10R,10aR,12aR)-1,2,3,4,7,8,9,10,13,13,14,14-додекахлор-1,4, 4а,5,6,6а,7,10,10а,11,12,12а-додекагидро-1,4:7,10-диметанодибензо[а,е]циклооктен ЕС №: — | КАС №: —

01.15.2018

Подробности

ПФГСК

Этанаминий, N-[4-[[4-(диэтиламино)фенил][4-(этиламино)-1-нафталинил]метилен]-2,5-циклогексадиен-1-илиден]-N-этил-, 1,1, 2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 1310480-24-0 Метанаминий, N-[4-[[4-(диметиламино)фенил][4-(этиламино)-1-нафталинил]метилен]-2,5-циклогексадиен-1-илиден]-N-метил-, 1,1, 2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 1310480-27-3 Метанаминий, N-[4-[[4-(диметиламино)фенил][4-(фениламино)-1-нафталинил]метилен]-2,5-циклогексадиен-1-илиден]-N-метил-, 1,1, 2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 1310480-28-4 Бета-циклодекстрин, компл.с ионом 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфоновой кислоты (1-)(1:1) ЕС №: — | КАС №: 1329995-45-0 Гамма-циклодекстрин, комп. с ионом 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфоновой кислоты (1-)(1:1) ЕС №: — | КАС №: 1329995-69-8 Сульфоний, трифенил-, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 144116-10-9 Хинолиний, 1-(карбоксиметил)-4-[2-[4-[4-(2,2-дифенилэтенил)фенил]-1,2,3,3а,4,8b-гексагидроциклопент[b]индол-7-ил ]этенил]-, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 1462414-59-0 Йодоний, дифенил-, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №: 153443-35-7 Метанаминия, N,N,N-триметил-, соль с 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфокислотой (1:1) ЕС №: — | КАС №: 189274-31-5 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, соединение с 2-метил-2-пропанамином (1:1) ЕС №: — | КАС №: 202189-84-2 Йодония, бис[4-(1,1-диметилэтил)фенил]-,1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1 :1) ЕС №: — | КАС №: 213740-81-9 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, цинковая соль ЕС №: — | КАС №: 70136-72-0 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, литиевая соль (1:1) ЕС №: — | КАС №: 55120-77-9 1-Гексансульфокислота, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-, натриевая соль ЕС №: — | КАС №: 82382-12-5 Йодония, бис[(1,1-диметилэтил)фенил]-, соль с 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфокислотой ( 1:1) (9CI) ЕС №: — | КАС №: 866621-50-3 Сульфоний, (4-метилфенил)дифенил-, 1,1,2,2,3,3,4,4,5,5,6,6,6-тридекафтор-1-гексансульфонат (1:1) ЕС №: — | КАС №:

07.07.2017

Подробности

Границы | Усовершенствования симулятора камеры событий с помощью характеризованных параметров

1.Введение

Существует сильная тенденция к использованию моделирования для повышения производительности алгоритмов машинного зрения и изучения их поведения в широком диапазоне визуальных сцен и сценариев восприятия. Это позволяет исследовать критические ситуации, крайние случаи и виды отказов, которые было бы нецелесообразно тестировать вручную или собирать с помощью экспериментов. Это часто имеет место в реальных задачах, где поиск каждого пограничного случая практически невозможен. Даже наборы данных глубокого обучения, которые выросли до огромных размеров (Caesar et al., 2020), как правило, сосредотачиваются только на четко определенных подпроблемах или подзадачах, а не предоставляют исчерпывающий набор данных для понимания ограничений и влияния датчика внутри конечной системы. Задачи, в которых трудно получить наборы данных, обычно возникают в приложениях нейроморфных технологий. Возьмите пример нейроморфных датчиков зрения, применяемых для отслеживания объектов в космосе с помощью телескопов с целью прогнозирования столкновений (Cohen et al., 2019; Zołnowski et al., 2019). Трудно оценить эффективность такой системы (Afshar et al., 2019), так как столкновение между спутниками нельзя эмулировать в реальном мире с помощью поддельных целей, как это обычно делается при проверке автомобильных приложений. В этом приложении разнообразие высокоскоростных объектов, проходящих через поле зрения, требует датчиков, которые являются быстрыми и не имеют заранее определенной скорости сбора данных. Как и во многих реальных приложениях, получить достоверные данные для отслеживания космических объектов сложно, если не невозможно. Даже при наличии возможных наземных данных в данных могут быть неизвестные элементы, такие как небольшой и ранее необнаруженный фрагмент мусора в поле зрения, который не был обнаружен датчиком, производящим наземные данные.Нельзя ожидать, что оценка нового датчика с помощью новых средств сбора сигналов по сравнению с принципиально другим датчиком даст надежную или проверенную наземную истину.

Моделирование — важный этап проектирования и разработки новых датчиков. Для разработки новых нейроморфных датчиков требуется надежная платформа моделирования, хорошо зарекомендовавший себя метод проверки симулятора и средства для получения значимых измерений, помимо простой оценки отношения сигнал/шум. Использование симуляторов для оптимизации производительности позволит более быстро разрабатывать конструкции датчиков для конкретных приложений без высоких затрат и барьеров для входа, связанных с проектированием и производством кремниевых устройств.Решение этой нехватки данных заключается не просто в том, чтобы собрать больше. Это особенно актуально при изучении новых типов датчиков, поскольку необходимо будет собирать новые данные для каждой итерации конструкции датчика, что делает проверку таких наборов данных неустойчивой. Недостаток данных можно восполнить с помощью моделирования. Однако это зависит от того, насколько хорошо модель соответствует реальности, и смоделированные системы часто ставят гораздо более простые задачи, чем их реальные аналоги (Jakobi et al., 1995). Для визуальных датчиков моделирование часто не ограничивается только визуальной сценой, но требует подробной модели самого сенсорного оборудования. Для новых датчиков это требует создания и проверки новых моделей. При проектировании новых датчиков передаточная функция, реализованная в модели датчика, может быть принципиально иной, и это может оказать существенное влияние на точность симулятора.

В этом документе рассматривается состояние различных симуляторов DVS и предлагается новая имитационная модель, которая лучше отражает реальное поведение этих устройств.Затем эта модель проверяется на реальном устройстве, что подтверждает достоверность как модели, так и симулятора. Затем эту платформу моделирования можно использовать для изучения различных конструкций пикселей нейроморфного зрения, позволяя моделировать и сравнивать результаты применительно к динамическим задачам. Сводка различных вкладов симулятора представлена ​​на рисунке 1.

Рисунок 1 . (A) Основные блоки системы обработки изображений на основе камеры DVS, смоделированной с помощью ESIM, V2E и нашей модели (ICNS).Сцена и модель камеры часто являются частью одного и того же инструмента рендеринга, но нейронные сети интерполяции замедленного движения, такие как SuperSlomo, могут помочь обеспечить лучшую точность времени. Блок логарифмического преобразования инкапсулирует преобразование света в электрический сигнал перед усилителем и порогами. В модели ICNS шум также вводится перед блоком Timestamp, а распределение шума зависит от уровня освещенности. (B) События и кадры из DAVIS и сравнение исходных событий (C) и смоделированных событий (D) с использованием модели ICNS.

2. Моделирование нейроморфного пикселя на основе событий

В этой статье основное внимание уделяется нейроморфным датчикам зрения, которые выдают данные на основе событий, а не в виде однородной выборки. Черпая вдохновение из биологии, область нейроморфного восприятия стремится разработать физические устройства, способные соответствовать способностям биологических организмов ощущать и адаптироваться к новым условиям. Важным шагом к достижению этой цели стало развитие событийных камер, таких как DVS (Lichtsteiner et al., 2008) и другие нейроморфные датчики, такие как ATIS (Posch et al., 2011) и чувствительный DVS (Serrano-Gotarredona and Linares-Barranco, 2013). Эти новые устройства привнесли новый взгляд на традиционные подходы к зрению и ощущению благодаря их разреженной и основанной на событиях природе, а также выходу данных, ориентированных на деятельность. Эти привлекательные функции обещали изменить фундаментальные ограничения обычного компьютерного зрения, позволив разреженное, высокоскоростное и маломощное визуальное восприятие.

Камеры событий

применялись во многих различных областях исследований, где традиционные алгоритмы традиционно терпят неудачу.Примеры включают приложения в автономных системах вождения (Maqueda et al., 2018), высокоскоростных трекерах (Delbruck and Lang, 2013) и задачах пространственно-временного распознавания образов (Amir et al., 2017). Очень полный список приложений и алгоритмов можно найти в Gallego et al. (2019). Хотя эти приложения используют преимущества данных DVS и дали много многообещающих доказательств концепции, оказалось чрезвычайно сложно преобразовать их в надежные и вычислительно эффективные алгоритмы, подходящие для реальных приложений.Учитывая аналогичные базовые концепции и изначально совместимый подход к данным, обработка датчиков на основе событий может быть достигнута с использованием Spiking Neural Networks (SNN). Такие сети теперь расширяют традиционные традиционные архитектуры глубокого обучения и реализуют их с локальными правилами вычислений и обучения. Даже если эти алгоритмы могут достичь аналогичной точности (Rückauer et al., 2019), они все равно отстают от обычных нейронных сетей с точки зрения переобучения (временная информация нормализуется в базе данных) и времени вывода.Приложения датчиков DVS часто сосредоточены на обработке записанных данных, а не на согласовании производительности и требований датчика с конкретным предполагаемым приложением. Это резко контрастирует с биологией, где датчик и обработка специализированы для решения необходимых задач.

Основная цель этой работы — изучить, как лучше всего имитировать датчики на основе событий и как лучше всего использовать такое моделирование для повышения производительности нейроморфных систем.

2.1. Пиксельные модели событий

Конструкция пикселя датчика DVS была разработана в 1990-х годах (Delbrück and Mead, 1989) в результате попытки имитировать поведение клеток ON/OFF в сетчатке.Каждый пиксель выполняет некоторую локальную обработку, основанную на том, как информация, полученная колбочками и палочками в биологической сетчатке, проходит через множество специфических аналоговых вычислений, прежде чем достичь коры (Masland, 2012; Seung and Sümbül, 2014). Однако, чтобы сохранить размер пикселя небольшим, в каждом пикселе в фокальной плоскости возможно только несколько операций. Устройства с более сложной и внутрипиксельной обработкой существуют (Carey et al., 2013; Millet et al., 2018), но используются не так часто, как простые пиксельные модели.Первым прототипом событийной камеры, который получил широкое распространение, был датчик DVS128 (Lichtsteiner et al., 2008), что стало возможным благодаря его согласованности и надежности. С тех пор за ним последовали промышленные обновления (Son et al., 2017; Finateu et al., 2020) и миниатюрные варианты (камера SEES1; Falanga et al., 2020). В нашей работе исследуется вариант пикселя, найденный в этих конструкциях камер, который построен на трех последовательных этапах обработки. Во-первых, фототок F логарифмически преобразуется в напряжение V F , используя отклик транзистора, удерживаемый ниже его порога с петлей обратной связи.На втором этапе временная разница между В F и последним напряжением перед сбросом пикселя В c усиливается с помощью емкостного усилителя. Наконец, на этапе вывода проверяется, пересекла ли усиленная разность управляемый извне положительный или отрицательный порог. Если это так, пиксель выдает событие, указывающее на изменение, и опорное напряжение пикселя сбрасывается (обычно после короткого рефрактерного периода).Эти камеры имеют единую выходную шину, реализующую протокол Address Event Representation (AER) (Boahen, 2000), и арбитр, необходимый для сопоставления событий от асинхронных пикселей и смягчения коллизий, когда события происходят одновременно. Исходные асинхронные арбитры сначала обрабатывают запросы строк, а затем запросы столбцов, добавляя дополнительную задержку перед сбросом пикселя. Это напрямую изменяет передаточную функцию пикселя нетривиальным образом. На самом деле другие стратегии считывания существуют и имеют свои особенности, а синхронное сканирование массива пикселей, описанное в Li et al.(2019) является хорошим примером, когда передаточная функция арбитра будет принципиально отличаться от исходных аналоговых и асинхронных прототипов.

2.2. Существующие симуляторы DVS

Отсутствие легкодоступных наборов данных привело к использованию симуляторов на основе событий на уровне пикселей в нескольких приложениях (Rebecq et al., 2018). К ним относятся моделирование сложных сред, в которых стратегия управления находится в цикле (Kaiser et al., 2016), и моделирование датчиков на основе цветовых событий, которые еще не получили широкого распространения (García et al., 2016; Шерлинк и др., 2019). Точность этих симуляторов варьируется от точного электрического моделирования пикселя (Remy, 2019), предназначенного для оптимизации работы датчика, до высокоуровневого моделирования четко определенных задач, таких как моделирование движущегося стержня (Barbier et al., 2020). . Этих высокоуровневых симуляций часто бывает достаточно для понимания и изучения производительности алгоритмов, и одна из первых симуляций пикселя на основе событий была реализована для обучения робота следовать по линии (Kaiser et al., 2016). Это хорошее использование моделирования, так как робот, скорее всего, несколько раз выйдет из строя во время обучения, что значительно дешевле при моделировании, чем на практике. В модели, предложенной Kaiser et al. (2016) пиксель моделируется как фиксированный дельта-модулятор, и F ( t ), временной световой поток, получаемый пикселем, аппроксимируется путем рендеринга кадра на каждом временном шаге ( dt ). В зависимости от качества механизма рендеринга моделируемый поток имеет разные диапазоны, точность или единицы измерения.В нашей модели поток масштабируется с максимальным значением движка рендеринга. Из-за этого масштабирования F не имеет единицы измерения. Отклик пикселя линейный, а напряжение светочувствительного фронтенда В Ф равно Ф ( t ). Пиксель имеет одно внутреннее состояние, V c ( t ), которое представляет собой напряжение, сравниваемое с пороговыми значениями для генерации событий, и значения потока и напряжения нормализуются по максимальному значению и не имеют какой-либо конкретной единицы.Если θ + и θ являются положительным и отрицательным порогами соответственно, то условие для создания события может быть определено как:

VF(t+dt)-Vc(t)>θ+∨VF(t+dt)-Vc(t)<θ-    (1)

В этом случае V C C ( T + DT ) = V F ( T + DT ), а также временная метка соответствующего события t ev = t + dt .

Несмотря на быстроту вычислений, этот подход имеет два основных недостатка. Во-первых, созданное событие имеет такую ​​же точность синхронизации, как и смоделированные кадры, что не соответствует высокому временному разрешению датчиков, основанных на событиях. Во-вторых, в этой модели также не учитывается логарифмическая характеристика датчика. В их случае это не проблема, поскольку окружающая среда представляет собой тщательно контролируемую искусственную сцену.

Симулятор ESIM (Rebecq et al., 2018) улучшает эту модель, решая эти проблемы и добавляя дополнительные функции.Флюс, преобразованный в его логарифмическое значение, V F ( T ) = LN ( F ( F ( T ) + ε), линейно интерполирован между T и T + dt для определения момента пересечения порога, как показано в следующем уравнении:

tev=t+dtθ-VF(t)VF(t+dt)-VF(t)    (2)

Затем пиксель быстрее реагирует на увеличение амплитуды контраста, что похоже на реакцию реального пикселя DVS (Joubert et al., 2019). Интерполяция светового потока между F ( t ) и F ( t + dt ) также позволяет создавать промежуточные события во время dt , если изменение контраста достаточно велико. Однако в модели ESIM бесконечный контраст может генерировать событие мгновенно. Это не относится к физическим устройствам, поскольку следующий этап все еще замедляет пиксель (Posch and Matolin, 2011), когда постоянная времени логарифмического блока пренебрежимо мала.Задержка также является функцией dt , которая зависит не от самого сенсора, а от частоты кадров рендеринга.

В том же духе, что и наша работа, V2E стремится улучшить модель ESIM, а также предоставляет несколько полезных дополнений, в том числе возможность оптимизировать передаточную функцию, чтобы она соответствовала поведению реального датчика. В их модели уровень освещенности преобразуется в ток в соответствии с логарифмической характеристикой, которая линеаризуется в первом порядке для низких значений, как t ), когда F ( t ) мало.Это уменьшает шум, когда значение F ( t ) мало, поскольку пиксель менее чувствителен, поскольку F ( t ) ≤ ln [1 + F ( t )] для положительных F ( t ). Но что более важно для нашей модели, их симулятор аппроксимирует логарифмическое преобразование, моделируя дискретный фильтр нижних частот второго порядка, чья постоянная времени τ обновляется для каждой новой амплитуды F ( t ):

τ=τmax275F(t)+20    (3)

, где F ( t ) ∈ [0, 255] и τ max — максимальная постоянная времени.Это следует из наблюдений, что начальная часть пикселя DVS действует как фильтр нижних частот, постоянная времени которого обратно пропорциональна уровню окружающего освещения (Delbruck and Mead, 1994).

Учет шума при моделировании является особенно сложной задачей. Это важное соображение, поскольку исследования пикселей DVS моделировали пороговый шум (Lichtsteiner et al., 2008; Nozaki and Delbruck, 2017), смоделированный здесь как гауссовский шум, сосредоточенный вокруг среднего порога: θ ~ N (μ( θ), σ(θ)).Несовпадение порога моделируется, как и в ESIM, но отрицательные или почти нулевые пороги отбрасываются. Действительно, пиксель с очень маленьким порогом будет чрезмерно чувствительным и, следовательно, будет постоянно генерировать события, подобные тому, что происходит с горячим пикселем в физической камере. Модель шума также имитирует эффект утечки транзистора сброса усилителя, зависящий только от температуры (Nozaki and Delbruck, 2017), а также временной шум, моделируемый законом Пуассона, скорость которого уменьшается при низкой интенсивности, имитируя дробовой шум.Авторы Hu et al. (2021) также оптимизируют пороговые значения пикселя, чтобы генерировать столько событий, сколько может генерировать реальная камера DVS.

Кроме того, V2E и ESIM используют разные подходы к снижению стоимости вычислений. ESIM решает вопрос оптимального dt . Поскольку рендерить сцену каждую микросекунду дорого с вычислительной точки зрения, для нахождения оптимального dt используется оценка движения в фокальной плоскости. Если v max — это максимальная скорость в фокальной плоскости, выраженная в пикселях в секунду ( пикселей . с −1 ), то самый быстрый объект переместится к следующему пикселю после dt=vmax-1. Этот подход основан на идеальной оценке скорости в фокальной плоскости, которая является точной до тех пор, пока точна модель оптики. V2E представляет сеть замедленного воспроизведения, интерполирующую F ( t ) для получения более высоких скоростей рендеринга. Эта сеть обучается с использованием обычных кадров и дает сбой на сценах, не подходящих для стандартных камер, например, на которых быстрые объекты создают размытие движения.Таким образом, имитация событий по этим интерполированным значениям создавала события, не коррелирующие с объектом. Вместо того, чтобы предоставлять смоделированные кадры для пиксельной модели, видеопоток, полученный с помощью обычного датчика, также будет предоставлять аналогичные входные данные (Gehrig et al., 2020). В этом подходе нейронная сеть обучается преобразовывать видеопоток в события. Однако временные артефакты, созданные процессором сигналов изображения (ISP), например, из-за алгоритма автоматической экспозиции, могут привести к потере большего количества информации.Эту проблему можно компенсировать увеличением частоты кадров видео, но это может привести к дополнительным и потенциально ненужным вычислениям.

Наша модель основана на фундаменте, заложенном этими симуляторами, с упором на моделирование шума и более точную оценку задержки за счет добавления эффектов арбитра.

2.3. Улучшение модели камеры DVS

Наша модель камеры ДВС добавляет ряд улучшений и дополнений к существующим моделям. Существующие пиксельные модели не учитывают многие явления реального мира, несмотря на ранние эксперименты с пикселем DVS, показавшие, что на его поведение влияет окружающий свет (Lichtsteiner et al., 2008), амплитуда изменения и температура сенсора (Nozaki, Delbruck, 2017). Сравнение между ESIM и нашим подходом представлено на рисунке 2, чтобы проиллюстрировать, как свет интерполируется между двумя значениями потока. В нашей модели пренебрегают температурными эффектами, и модель является функцией только уровня освещенности. Предоставляются реализации на C++ и Python.

Рисунок 2 . Сравнение откликов задержанного фильтра нижних частот первого порядка и фильтра нижних частот второго порядка.θ представляет собой один из порогов компараторов. В этом случае τ c = 200µ с и τ l = 500µ с .

2.3.1. Задержка и чувствительность

В предыдущих работах (Lichtsteiner et al., 2008; Posch et al., 2011) упоминается, что задержка пикселя DVS соответствует фильтру нижних частот второго порядка с двумя разными действительными полюсами. Пусть τ l и τ c – постоянные времени логарифмического преобразования и блоков усилителя и компаратора.В этом случае передаточная функция H пикселя до преобразования в события может быть смоделирована следующим образом:

H(s)=1(1+sτl)(1+sτc)    (4)

Где s — комплексная частота стимула. Постоянная времени логарифмического преобразования пикселя обратно пропорциональна фототоку, что означает изменение одного полюса фильтра второго порядка в фокальной плоскости. Временная характеристика пикселя соответствует уравнению:

Vc(t+dt)=(VF(t+dt)-Vc(t))(1-τce-dtτc-τle-dtτlτc-τl)    (5)

Учитывая временной относительный контраст света, принимаемого пикселем, и пороговое значение, это уравнение не имеет аналитического решения для нахождения соответствующей метки времени.Чтобы помочь решить это уравнение, поскольку τ l зависит от уровня освещенности (Delbruck and Mead, 1994; Hu et al., 2021), мы считаем, что средняя задержка следующей стадии, l , не зависит от условий освещения. Пример фильтра нижних частот первого порядка с задержкой и фильтра нижних частот второго порядка представлен на рисунке 3 и иллюстрирует, что поведение пикселей в основном различно ниже порога. Это приближение отличается от поведения пикселя, но позволяет имитировать его реакцию, если dt меняется.Поскольку скорость рендеринга должна быть адаптирована к динамике сцены, эта функция очень важна.

Рисунок 3 . Поведение моделей ESIM (слева) и ICNS (справа) между двумя смоделированными изображениями в моменты времени t и t + dt .

Только логарифмическое преобразование ведет себя как фильтр нижних частот, а задержка пересечения порога компаратора выражается как:

tev≈t+l-τl(t)ln(1-θVF(t+dt)-Vc(t))    (6)

Постоянная времени τ l , обратно пропорциональна амплитуде изменения, когда последняя велика, и если F m является максимальным потоком, который может принять пиксель, то τl(t )=τlFmF(t).Когда событие генерируется, окончательное полное выражение метки времени задается как:

tev≈t+l-τlFmF(t)ln(1-θVF(t+dt)-Vc(t))    (7)

Если событие не генерируется, ответ ведет себя как фильтр нижних частот первого порядка с задержкой. Выражение задержки в уравнении (7) зависит от порога датчика, который имеет нормальное распределение. Если j является стандартным отклонением l , окончательное стандартное отклонение задержки определяется распространением ошибки в уравнении (7):

σ(tev)=j2+(τl(t)FmF(t)σ(θ)VF(t+dt)-Vc(t))2    (8)

В ESIM рефрактерный период датчика, t ref , моделируется как простое условие, которое предотвращает срабатывание пикселя, если разница во времени между событием и последним событием слишком мала.В нашей модели, потенциал пикселя обновляется в T + T EV + T Ref , а не на T + T EV Как Esim делает. Более того, если t ev + t ref > dt , то потенциал обновляется для следующего смоделированного изображения.

Сравнение различных моделей представлено на рис. 4 для положительного контраста при различных уровнях освещенности.Эти иллюстрации демонстрируют, что наша модель не создает события, пропорциональные контрасту (как в ESIM), и не зависит от скорости рендеринга (как в V2E). Несмотря на то, что фильтр нижних частот первого порядка с задержкой является аппроксимацией, он позволяет визуализировать сцену с использованием переменной скорости рендеринга, чтобы избежать ненужных вычислений, сохраняя при этом точность временных меток событий.

Рисунок 4 . Сравнение отклика пикселя ESIM, ICNS и V2E при изменении освещенности с постоянной относительной контрастностью, равной 200%, но разными уровнями фоновой освещенности (50, 150 и 250).Порог контрастности установлен на 0,15 (отклонение 0,02). Временные характеристики пикселя V2E соответствуют шумовым параметрам (https://github.com/SensorsINI/v2e), за исключением частоты среза, равной 300 Гц. Параметры латентности модели ICNS: l = 100μ s и τ l = 500μ s . Для (A) , dt = 500μ s , и (B) , dt = 50μ s .

Задержка пикселя тесно связана с чувствительностью и может быть охарактеризована его кумулятивной вероятностью генерировать событие в зависимости от контраста (Posch and Matolin, 2011).Эксперимент состоит из представления одного и того же контраста несколько раз и вычисления вероятности того, что пиксель отреагирует до следующего изменения. Эта кривая измерена для обеих моделей на рис. 5 с использованием двух разных частот дискретизации (1 и 0,1 мс). Чувствительность различных моделей не зависит от скорости рендеринга, поскольку частота стимула выбирается достаточно высокой, чтобы можно было пренебречь постоянными времени. Когда периодический стимул имеет низкий контраст, близкий к пороговому значению пикселя, после обнаружения изменения пиксель может быть сброшен в состояние, в котором новый относительный контраст теперь больше порогового значения.В этом случае пиксель застревает и не может обнаружить новые периоды сигнала. Теоретическое уравнение S-образной кривой S может быть аппроксимировано следующим образом:

S(c)=1n∑i∈[1..n]P(2θ>ln(c))2         =1n∑i∈[1..n](∫-∞ln(c)12σ(θ)πe- (θ-2µ(θ)2σ(θ))2dθ)2    (9)

Где n количество периодов и c контрастность. В этом случае чувствительность пикселя фиксируется на уровне 0,15, что соответствует примерно половине значения точки, в которой кумулятивная функция распределения достигает 0.5.

Рисунок 5 . Чувствительность различных моделей в зависимости от относительной контрастности OnOff. Также предоставляется чувствительность, измеренная на реальном пикселе DVS (GT). Как реальные, так и смоделированные пиксели стимулируются прямоугольной волной (частота 10 Гц), амплитуда которой монотонно увеличивается от 0 до 0,5 log. единицы.

За последние годы конструкция пикселя DVS существенно не изменилась, но арбитр был значительно улучшен. Например, работа Son et al.(2017) группирует пиксели в блоки перед арбитром, а Li et al. (2019) использует синхронное считывание. Наш симулятор предназначен для имитации различных арбитров, поскольку они могут напрямую влиять на точность временных меток событий.

2.3.2. Арбитр

Алгоритмы, представленные в этом разделе, подробно описаны в Приложении. В этой работе сначала представлено упрощенное поведение арбитра AER, в котором модель предполагает, что заданное количество событий может быть обработано между двумя смоделированными кадрами, и ее можно рассматривать как накопитель узкого места с фиксированной пропускной способностью.

Увеличение количества пикселей, моделируемых за временной шаг, увеличивает задержку, добавляемую арбитром (Joubert et al., 2019). С N U U ( T ) Представление количества событий, накопленных перед арбитром в момент T , задержка арбитра дается соотношением L AER ( T ) = N U ( T ) L L

AER (0) Где L AER (0) — задержка арбитра для обработки одного события .Максимальное количество событий, обработанных между двумя последними смоделированными кадрами, равно n p ( t ) = dt / l AER

(6 9388). Отметка времени каждого события, созданного фильтром, увеличивается на l AER ( t ). Поскольку пиксели сбрасываются до арбитра, рефрактерный период не включает вклад арбитра. Таким образом, два события в одном и том же месте не могут накапливаться в арбитре, и последнее событие будет отброшено.Эта реализация арбитра узких мест полностью описана в разделе Приложения (Алгоритм 3) и может быть применена к событиям, генерируемым моделью пикселя V2E, ESIM (Алгоритм 1) или ICNS (Алгоритм 2).

Этот асинхронный алгоритм строк описан в Алгоритме (4). Недавние прототипы DVS также имеют синхронное считывание событий (Li et al., 2019; Suh et al., 2020). В этом случае вместо случайного выбора одной строки они сканируются с заданной скоростью f r .Эта реализация описана в алгоритме (5), а различные методы сравниваются с событиями, генерируемыми реальным устройством формирования изображения DVS на рисунке 6. Чтобы протестировать эту реализацию, мы используем мигающий свет, чтобы активировать все пиксели одновременно. Для обеих архитектур, обрабатывающих построчно, в реальном DVS наблюдаются искусственные горизонтальные ряды событий, когда сцена не является разреженной (Suh et al., 2020). На рис. 6 реальный датчик DV346, использованный для сравнения, ведет себя как синхронный арбитр строк.При использовании ATIS арбитр ведет себя как асинхронный считыватель строк. Таким образом, выбранная модель арбитра зависит от конечного датчика, используемого для решения данного приложения.

Рисунок 6 . Эффект арбитра при мигающем фоновом свете. Синие (оранжевые) события соответствуют датчику без (с) арбитром. Синие события (A) генерируются с использованием модели ICNS при включении света в t = 5, 000. Арбитр узких мест (B) , асинхронный (C) и синхронный (D ) моделей строк применяются к синим событиям.Данные, предоставленные реальными пикселями DVS, предоставлены (E) для сравнения.

2.3.3. Временной шум

Шум усилителя сброса на каскаде компаратора моделируется через распределение порогов. Однако датчик по-прежнему генерирует фоновые события, зависящие от уровня освещенности (Moeys et al., 2018) и температуры (Nozaki and Delbruck, 2017). Этот дополнительный шум не может быть связан исключительно с шумом сброса, потому что даже если его эффект усиливается при высокой освещенности, другие источники шума, такие как темновой ток и дробовой шум, создают дефекты.В нашей модели этот шум характеризуется только своей кумулятивной функцией распределения. Принципиальное ограничение такого подхода заключается в вариациях этого распределения при изменении порядка величины уровня фоновой освещенности. В этом случае распределение смещается в частотной области.

Чтобы обеспечить общий подход, каждый пиксель имеет уникальное распределение шума, которое смещается при изменении порядка величины уровня освещенности. Предоставляя временную метку следующего шумового события блоку, имитирующему временной шум, мы избегаем генерации случайной величины на каждом временном шаге.В начале каждый пиксель имеет случайную фазу ϕ, выбранную по единообразному закону на интервале [0, 1/μ( левов)], где μ( левов) является средней частотой шума, часто обозначаемой как фоновый шум сенсора. Затем, когда t > ϕ, генерируется шумовое событие. Для оценки временного интервала t шума следующего шумового события используется кумулятивная функция распределения. Если P ( dt шум ) есть вероятность генерации шумового события в следующие dt шума мкс, то:

f(dtnoise)=∫-∞dtnoiseP(x)dx    (10)

Путем случайного выбора значения α между 0 и 1, t шум можно оценить следующим образом: tnoise=f-1(α).На рис. 7 показаны распределения шума для реального и смоделированного пикселя с постоянным уровнем освещенности. Наблюдаемые шумовые спектры аналогичны.

Рисунок 7 . Кумулятивная функция распределения относительного спектра ATIS (Posch et al., 2011) положительного и отрицательного фонового шума (освещенность 0,1 лк) для реальных данных (зеленый) и смоделированных (красный).

В следующем разделе показано, как можно использовать имитационную модель и как она может помочь понять связь между траекторией движения глаза, его влиянием на генерируемые события и производительностью классификатора.

3. Эксперименты

Первый эксперимент в этом разделе сравнивает различные модели для сцены в офисе, иллюстрируя разницу между выходными данными модели и выходными данными реального датчика. Второй эксперимент показывает, как весь конвейер лучше использует информацию о времени, закодированную с помощью событий, путем моделирования задачи чтения на основе набора данных классификации.

3.1. Офисные сцены

Для сравнения имитационной модели возможны две стратегии.Во-первых, выходные данные моделей можно сравнить с выходными данными реального датчика, но в этом случае необходимо точно знать сцену, чтобы уровень освещенности в поле зрения реального датчика соответствовал уровню смоделированного. данные. Поскольку для этого потребовалось бы точное знание свойств оптики и сцены, в этой работе было выбрано сравнение данных, сгенерированных между двумя моделями на сложных сценах без идеальной достоверности, и сравнение моделей по сравнению с реальными данными с использованием простых экспериментов по характеристике. как показано в предыдущем разделе.С другой стороны, на рисунке 8 показаны различия между моделями перед офисной сценой, уровни освещенности которой получены с использованием обычных пикселей DAVIS. Два представления, количество событий и временная поверхность, направлены на сравнение как скорости, так и временных характеристик каждого симулятора. V2E и наша модель более чувствительны, чем ESIM, что может быть связано с рисунком 5, где эти две модели достигают максимальной вероятности для более низких контрастов. Модель V2E производит больше событий, так как ее модель быстрее реагирует, что подтверждает наблюдения на рис. 4.Этот эксперимент подчеркивает, что в офисе модели ведут себя немного по-разному. Мы пока не знаем, существенно ли эта разница влияет на алгоритм, и дальнейшие исследования должны соотносить качество симулятора с качеством обученного алгоритма.

Рисунок 8 . Сравнение событий, сгенерированных с помощью различных симуляторов, с реальными событиями DVS. Входные данные предоставляются с использованием кадров, полученных с помощью DAVIS. (A) Сравнение событий, интегрированных по временной поверхности (постоянная времени 100 мкс с ). (B,C) Количество положительно-отрицательных событий, сгенерированных во время последовательности. (D,E) Увеличение поверхности времени. Столбец DVS соответствует реальным событиям, генерируемым DAVIS.

3.2. Возвращаясь к вызову MNIST/N-MNIST

Поскольку датчики DVS чувствительны только к изменениям, камеру можно перемещать для получения данных в статической сцене. Набор данных, основанный на этой идее, был создан путем перемещения датчиков перед изображениями MNIST (Orchard et al., 2015) по треугольной траектории, призванной воспроизвести саккадическое движение глаза. В этом эксперименте саккадический паттерн длится 300 мс, что соответствует нескольким кадрам, полученным с помощью обычного датчика, работающего на частоте 50 Гц. Это не позволяет в полной мере использовать временную точность нейроморфного датчика по сравнению с традиционными кадровыми камерами. Для иллюстрации нашего симулятора мы сгенерировали аналогичный набор данных по той же траектории, но в 10 раз быстрее: цифра сканируется за 25 мс.Цифры также пересекают все поле зрения датчика, и чтобы приблизиться к сложности многозначного числа, цифры располагаются одна за другой. Чтобы сравнить эти два набора данных, одна и та же сеть обучается на эталонном тесте, чтобы оценить ее способность работать в другой среде. Архитектура состоит из двух слоев свертки и одного полносвязного слоя, а для контролируемого обучения сети использовалась функция переназначения ошибок Spike LAYer (SLAYER) (Shrestha and Orchard, 2018).Большинство гиперпараметров, используемых в сети, идентичны параметрам в Shrestha and Orchard (2018), но все константы времени были уменьшены в 10 раз. Такая точность достигается сетью на исходных последовательностях нейроморфного MNIST (NMNIST). достигает 96% на тестовом наборе, достигая 93% с нашими смоделированными данными. Поскольку наш набор данных немного отличается от исходного NMNIST, как показано на рисунке 9, можно предположить, что незначительные изменения в данных могут снизить производительность.

Рисунок 9 .Сравнение реального датчика DVS (ATIS) и трех разных симуляторов. (A) Частота событий вычисляется каждые 10 мс. (B) Гистограмма интервала между спайками. (К) Поверхности времени.

4. Обсуждение

Понимание того, как спайки, генерируемые в сетчатке, связаны с саккадами, все еще остается открытой областью исследований. Это сложно оценить, так как глаз также управляется мозгом. Предположение, что каждая цифра в базе данных MNIST требует для идентификации одного и того же паттерна саккад, является общепринятым предположением, но оно противоречит физиологическим исследованиям (Rayner, 1998).Поскольку движение также является постоянным в смоделированной базе данных, изученные функции неустойчивы к различным скоростям или траекториям: нельзя ожидать, что сеть, обученная на исходном NMNIST, будет работать с смоделированными последовательностями, и наоборот. Пиксели DVS запускаются движением, поэтому SNN должен быть устойчивым к разнообразию динамики в сцене. Однако сценарий чтения не является динамической проблемой, движение глаза здесь скорее может быть следствием нашей эволюции и может не подвергаться интенсивной оптимизации.Искусственные системы не ограничены ограничениями биологической эволюции, и их просят сосредоточиться на одной конкретной задаче. Есть шанс, что по этой причине нейроморфные системы будут изначально отставать по точности. Первоначальная статическая задача MNIST может быть дополнена искусственными саккадами, чтобы заставить алгоритм фиксировать движение, чтобы иметь возможность отслеживать и считывать цифру. Выполнение этой новой задачи потребует добавления кинетической энергии, и, таким образом, энергетический баланс всей системы будет побуждать датчики предоставлять разреженные данные, а не избыточные изображения.

Широкое использование моделирования с использованием неточных сенсорных моделей может привести к неправильной интерпретации, и модели необходимо сравнивать с реальными данными на каждом этапе. Наша работа направлена ​​на то, чтобы сделать эти проверки как можно ближе к датчику, не требуя очень точного моделирования вплоть до транзисторного уровня. Моделирование обеспечивает гораздо более дешевое и простое исследование новых дизайнов пикселей, чтобы имитировать разнообразие функций, идентифицированных в человеческом глазу. Фактически, текущий дизайн пикселя DVS не включает в себя все разнообразие извлечения признаков, выполняемых в биологической сетчатке.Существует необходимость в разработке более сложных и специализированных датчиков, и именно здесь моделирование имеет решающее значение, поскольку позволяет исследовать улучшения для специализации и настройки пикселей DVS. Тем не менее, разрыв с реальным миром все еще существует, и такой подход также может привести к пиксельным конструкциям, которые невозможно изготовить. Более того, событийные модели также полагаются на точную симуляцию сцены, о которой в большинстве случаев забывают в современных инструментах рендеринга. Будучи разработанными для видеоигр, они предоставляют данные без фотометрических единиц.Этот пробел может привести к тому, что алгоритмы будут давать хорошие результаты на смоделированных данных, но неэффективны в реальных условиях. Несовершенные смоделированные данные могут помочь в обучении модели для повышения ее производительности с помощью данных DVS, как показано в работе Gehrig et al. (2020), но это относится к архитектурам, не учитывающим точное время событий. К сожалению, модели глубокого обучения должны обучаться на огромных базах данных, что иногда способствует количеству, а не качеству.

5. Заключение

В этой работе симуляторы ESIM и V2E DVS были расширены, а затем проверены с использованием реального датчика.Модель заметно улучшает симуляцию шума за счет прямого сопоставления распределения шума с реальными пикселями. Недавно предложенные модели арбитров позволяют исследовать их влияние на данные. Наша модель сравнивается с реальным и полностью охарактеризованным датчиком с использованием того же набора экспериментов по характеристике. Этот подход работает, чтобы сократить разрыв между симуляцией и реальными датчиками по сравнению с обычным подходом, заключающимся исключительно в сравнении количества произведенных событий. Он также поддерживает новые способы использования симуляции для расширения пространства нейроморфных задач, в частности, чтобы выйти за рамки сравнения с обычными системами.Слишком часто нейроморфные тесты нацелены на то, чтобы показать, что такие же характеристики могут быть достигнуты в аналогичных приложениях, ставя под сомнение, какие преимущества предлагают камеры, вдохновленные биотехнологиями. В связи с этим расширение новаторской работы базы данных NMNIST путем добавления степеней свободы, таких как скорость восприятия, бюджет энергии и конструкции датчиков, необходимо, чтобы доказать, что нейроморфные системы превосходят стандартные подходы, особенно в задачах с обратной связью, таких как чтение. — и не сканируя — цифры.

Заявление о доступности данных

Наборы данных, представленные в этом исследовании, можно найти в онлайн-репозиториях.Названия репозитория/репозиториев и регистрационные номера можно найти по адресу: https://github.com/neuromorphicsystems/IEBCS.git.

Вклад авторов

DJ и GC внесли свой вклад в разработку симулятора и проведение экспериментов. DJ написал первый вариант рукописи. GC написал разделы рукописи. Все авторы внесли свой вклад в доработку рукописи, прочитали и одобрили представленную версию.

Конфликт интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Примечание издателя

Все претензии, изложенные в этой статье, принадлежат исключительно авторам и не обязательно представляют претензии их дочерних организаций или издателя, редакторов и рецензентов. Любой продукт, который может быть оценен в этой статье, или претензии, которые могут быть сделаны его производителем, не гарантируются и не поддерживаются издателем.

Сноски

Каталожные номера

Афшар С., Николсон А. П., ван Шайк А.и Коэн, Г. (2019). Обнаружение и отслеживание объектов на основе событий для обеспечения осведомленности об обстановке в космосе. препринт arXiv arXiv:1911.08730 . doi: 10.1109/JSEN.2020.3009687

Полнотекстовая перекрестная ссылка | Академия Google

Амир А., Таба Б., Берг Д., Мелано Т., МакКинстри Дж., Ди Нолфо К. и др. (2017). «Система распознавания жестов с низким энергопотреблением, полностью основанная на событиях», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (Гонолулу, Гавайи), 7243–7252.doi: 10.1109/CVPR.2017.781

Полнотекстовая перекрестная ссылка | Академия Google

Барбье, Т., Тёльер, К., и Триш, Дж. (2020). «Неконтролируемое изучение пространственно-временных рецептивных полей с помощью датчика зрения, основанного на событиях», в Международная конференция по искусственным нейронным сетям (Братислава: Springer), 622–633. дои: 10.1007/978-3-030-61616-8_50

Полнотекстовая перекрестная ссылка | Академия Google

Боахен, К.А. (2000). Связь точка-точка между нейроморфными чипами с использованием адресных событий. IEEE Trans. Цирк. Сист. II Анал. цифра. Сигнальный процесс . 47, 416–434. дои: 10.1109/82.842110

Полнотекстовая перекрестная ссылка | Академия Google

Цезарь Х., Банкити В., Ланг А.Х., Вора С., Лионг В.Е., Сюй К. и др. (2020). «Nuscenes: мультимодальный набор данных для автономного вождения», в материалах Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (Сиэтл, Вашингтон), 11621–11631. DOI: 10.1109/CVPR42600.2020.01164

Полнотекстовая перекрестная ссылка | Академия Google

Кэри, С.Дж., Лопич А., Барр Д.Р.В., Ван Б. и Дудек П. (2013). «Датчик технического зрения со скоростью 100 000 кадров в секунду со встроенным процессорным массивом simd 535 операций в секунду 256_256», в 2013 Symposium on VLSI Circuits (Киото: IEEE), C182–C183.

Академия Google

Коэн, Г., Афшар, С., Морреале, Б., Бессел, Т., Вабниц, А., Руттен, М., и соавт. (2019). Зондирование на основе событий для ситуационной осведомленности о космосе. Дж. Астрон. наука . 66, 125–141. doi: 10.1007/s40295-018-00140-5

Полнотекстовая перекрестная ссылка | Академия Google

Дельбрюк, Т.и Ланг, М. (2013). Роботизированный вратарь с временем реакции 3 мс при загрузке процессора 4% с использованием датчика динамического зрения на основе событий. Перед. Нейроски . 7:223. doi: 10.3389/fnins.2013.00223

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Дельбрюк Т. и Мид К. (1989). Электронный фоторецептор, чувствительный к небольшим изменениям интенсивности. Доп. Нейронный. Инф. Обработать. Сист. 720–727.

Академия Google

Дельбрюк Т. и Мид К.А. (1994). «Адаптивный фоторецептор с широким динамическим диапазоном», в Proceedings of IEEE International Symposium on Circuits and Systems-ISCAS’94 , Vol. 4 (Лондон: IEEE), 339–342. doi: 10.1109/ISCAS.1994.409266

Полнотекстовая перекрестная ссылка | Академия Google

Finateu, T., Niwa, A., Matolin, D., Tsuchimoto, K., Mascheroni, A., Reynaud, E., et al. (2020). «5.10 1280 × 720 многослойный временной контрастный датчик зрения с задней подсветкой, основанный на событиях, с пикселями 4,86 ​​мкм, считыванием 1,066 geps, программируемым контроллером частоты событий и конвейером форматирования сжатых данных», в 2020 IEEE International Solid-State Circuits Conference- (ISSCC) (Сан-Франциско, Калифорния: IEEE), 112–114.doi: 10.1109/ISSCC19947.2020.49

Полнотекстовая перекрестная ссылка | Академия Google

Гальего, Г., Дельбрюк, Т., Орчард, Г., Бартолоцци, К., Таба, Б., Чензи, А., и др. (2019). Видение, основанное на событиях: обзор. Препринт arXiv arXiv:1904.08405 . doi: 10.1109/TPAMI.2020.3008413

Полнотекстовая перекрестная ссылка | Академия Google

Гарсия, Г. П., Камиллери, П., Лю, К., и Фербер, С. (2016). «PYDVS: расширяемый эмулятор датчика динамического зрения в реальном времени с использованием готового оборудования», в серии симпозиумов IEEE по вычислительному интеллекту (SSCI) (Афины) , 2016 г., 1–7.doi: 10.1109/SSCI.2016.7850249

Полнотекстовая перекрестная ссылка | Академия Google

Гериг, Д., Гериг, М., Идальго-Каррио, Дж., и Скарамуцца, Д. (2020). «Видео для событий: переработка наборов видеоданных для камер событий», в материалах Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (Сиэтл, Вашингтон), 3586–3595. DOI: 10.1109/CVPR42600.2020.00364

Полнотекстовая перекрестная ссылка | Академия Google

Якоби, Н., Мужья, П., и Харви, И. (1995).«Шум и разрыв реальности: использование моделирования в эволюционной робототехнике», Европейская конференция по искусственной жизни , (Гранада: Springer), 704–720. дои: 10.1007/3-540-59496-5_337

Полнотекстовая перекрестная ссылка | Академия Google

Жубер, Д., Эбер, М., Коник, Х., и Лавернь, К. (2019). Настройка характеристик для формирователей изображения на основе событий, применяемых для обнаружения модулированного светового сигнала. Заяв. Опция . 58, 1305–1317. doi: 10.1364/AO.58.001305

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Кайзер, Дж., Tieck, J.C.V., Hubschneider, C., Wolf, P., Weber, M., Hoff, M., et al. (2016). «К структуре для сквозного управления смоделированным транспортным средством с помощью импульсных нейронных сетей», в 2016 Международная конференция IEEE по моделированию, моделированию и программированию для автономных роботов (SIMPAR) (Сан-Франциско, Калифорния: IEEE), 127–134. doi: 10.1109/SIMPAR.2016.7862386

Полнотекстовая перекрестная ссылка | Академия Google

Ли, К., Лонгинотти, Л., Корради, Ф., и Дельбрюк, Т. (2019).«Датчик динамического зрения 132 на 104, 10 мкм, 250 мкВт, 1kfps, с пиксельным параллельным шумом и подавлением пространственной избыточности», на симпозиуме 2019 по схемам СБИС (Киото: IEEE), C216–C217. doi: 10.23919/VLSIC.2019.8778050

Полнотекстовая перекрестная ссылка | Академия Google

Лихтштайнер, П., Пош, К., и Дельбрюк, Т. (2008). Асинхронный временной контрастный датчик зрения с задержкой 128 × 128, 120 дБ, 15 мкс. IEEE J. Твердотельные схемы 43, 566–576. doi: 10.1109/JSSC.2007.7

Полнотекстовая перекрестная ссылка | Академия Google

Македа, А. И., Локерсио, А., Гальего, Г., Гарсия, Н., и Скарамуцца, Д. (2018). «Видение на основе событий сочетается с глубоким обучением прогнозированию рулевого управления для беспилотных автомобилей», в Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , 5419–5427. doi: 10.1109/CVPR.2018.00568

Полнотекстовая перекрестная ссылка | Академия Google

Милле Л., Шевоббе С., Андриамизаина К., Бенье Э., Guellec, F., Dombek, T., et al. (2018). «Микросхема трехмерного стекированного изображения BSI со скоростью 5500 кадров в секунду, 85 кадров в секунду / Вт, основанная на параллельном сборе данных и обработке в фокальной плоскости», в IEEE Symposium on VLSI Circuits , 2018 г. (Гонолулу, Гавайи: IEEE), 245–246. doi: 10.1109/VLSIC.2018.8502290

Полнотекстовая перекрестная ссылка | Академия Google

Moeys, D.P., Corradi, F., Li, C., Bamford, S.A., Longinotti, L., Voigt, F.F., Berry, S., et al. (2018). Чувствительный датчик динамического и активного пиксельного зрения для приложений цветной или нейронной визуализации. IEEE Trans. Биомед. Схемы Сист . 12, 123–136. doi: 10.1109/TBCAS.2017.2759783

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Нозаки, Ю., и Дельбрюк, Т. (2017). Температурные и паразитные эффекты фототока в датчиках динамического зрения. IEEE Trans. Электрон Дев. 64, 3239–3245. doi: 10.1109/TED.2017.2717848

Полнотекстовая перекрестная ссылка | Академия Google

Орчард, Г., Джаявант, А., Коэн, Г.К., и Такор, Н. (2015).Преобразование наборов данных статических изображений в наборы нейроморфных данных с пиками с использованием саккад. Перед. Нейроски . 9:437. doi: 10.3389/fnins.2015.00437

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Пош, К., и Матолин, Д. (2011). «Чувствительность и однородность массива пикселей временного контраста КМОП размером 0,18 мкм», в IEEE International Symposium of Circuits and Systems (ISCAS), 2011 г., (Рио-де-Жанейро: IEEE), 1572–1575. doi: 10.1109/ISCAS.2011.57

Полнотекстовая перекрестная ссылка | Академия Google

Пош, К., Матолин, Д., и Вольгенаннт, Р. (2011). Бескадровый ШИМ-датчик изображения QVGA с динамическим диапазоном 143 дБ, сжатием видео без потерь на уровне пикселей и CDS во временной области. IEEE J. Твердотельные схемы 46, 259–275. doi: 10.1109/JSSC.2010.2085952

Полнотекстовая перекрестная ссылка | Академия Google

Ребек, Х., Гериг, Д., и Скарамуцца, Д. (2018). «ESIM: открытый симулятор камеры для событий», Conference on Robot Learning (Цюрих), 969–982.

Академия Google

Реми, И.(2019). Оптимизация мощности и площади датчика динамического зрения в CMOS 65 нм (магистерская работа). Политехническая школа Лувена.

Академия Google

Рюкауэр Б., Кенциг Н., Лю С.-К., Дельбрюк Т. и Сандамирская Ю. (2019). Устранение пробела в точности в задаче визуального распознавания на основе событий. arXiv [Препринт]. архив: 1906.08859. Доступно в Интернете по адресу: https://arxiv.org/pdf/1906.08859.pdf

.

Академия Google

Шерлинк, К., Ребек Х., Стоффреген Т., Барнс Н., Махони Р. и Скарамуцца Д. (2019). «CED: набор данных камеры для цветных событий», в Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (Лонг-Бич, Калифорния). doi: 10.1109/CVPRW.2019.00215

Полнотекстовая перекрестная ссылка | Академия Google

Серрано-Готарредона, Т., и Линарес-Барранко, Б. (2013). A 128 128 Контрастная чувствительность 1,5% 0,9% fpn Задержка 3 мкс 4 мВт Асинхронный безрамочный датчик динамического зрения с трансимпедансными предусилителями. IEEE J. Твердотельные схемы 48, 827–838. doi: 10.1109/JSSC.2012.2230553

Полнотекстовая перекрестная ссылка | Академия Google

Сон Б., Су Ю., Ким С., Юнг Х., Ким Дж.-С., Шин С. и др. (2017). «4.1 Датчик динамического зрения 640 × 480 с пикселем 9 мкм и представлением адреса-события 300 мегапикселей», в Solid-State Circuits Conference (ISSCC) (Сан-Франциско, Калифорния: IEEE), 66–67. doi: 10.1109/ISSCC.2017.7870263

Полнотекстовая перекрестная ссылка | Академия Google

Су Ю., Choi, S., Ito, M., Kim, J., Lee, Y., Seo, J., et al. (2020). «Датчик динамического зрения 1280 × 960 с шагом пикселя 4,95 мкм и минимизацией артефактов движения», в 2020 IEEE International Symposium on Circuits and Systems (ISCAS) (Севилья: IEEE), 1–5.

Добавить комментарий

Ваш адрес email не будет опубликован.