Х рей тюнинг фото: Тюнинг на Лада X Ray (Икс рей) купить с доставкой по РФ

Отзывы о товаре

Обзоры

Статьи о товаре

• Дефлектор двери: защита от дождя, комфорт и привлекательность автомобиля 12 Апреля 2018

  Среди декоративных элементов для украшения автомобиля особое место занимают дефлекторы двери — гнутые пластиковые детали, положительно влияющие на аэродинамику и внешний вид транспортного средства. Все о дефлекторах дверей, их типах и конструкции, а также об их выборе и монтаже — читайте в статье.

• Дефлекторы — лучшая защита для экстерьера автомобиля 26 Августа 2013

  Одним из самых экономичных способов защиты и улучшения экстерьера автомобиля являются дефлекторы. Они надежно защищают лакокрасочное покрытие от различных царапин, обеспечивают рециркуляцию воздуха в салоне авто и улучшают его аэродинамические показатели. Установить дефлекторы сможет каждый автомобилист, для этого не требуются специальные знания и инструменты.

Цены и наличие товара во всех магазинах и складах обновляются 1 раз в час. При достаточном количестве товара в нужном вам магазине вы можете купить его без предзаказа.

Цена в магазинах — розничная цена товара в торговых залах магазинов без предварительного заказа.

Срок перемещения товара с удаленного склада на склад интернет-магазина.

Представленные данные о запчастях на этой странице несут исключительно информационный характер.

c948eff69f9df3e4230c6174138c1862

Добавление в корзину

Доступно для заказа:

Кратность для заказа:

Отменить

Товар успешно добавлен в корзину

!

В вашей корзине на сумму

Закрыть

Как сделать тюнинг Лада Икс Рей своими руками: идеи, фото, видео

АвтоВАЗ начал выпуск модели XRay (Икс Рей) относительно недавно – в 2016 году. Автомобиль получился очень свежий и весьма современный, причем не только внешне – порадовала и внутренняя начинка. Иными словами, получился отличный хэтчбек с высоким клиренсом, воспринимаемый многими как кроссовер.

Однако некоторые из владельцев Икс Рей уже задумываются о том, как еще более усовершенствовать свой автомобиль. Объясняется данное желание достаточно просто. Кому-то хочется просто выделиться на фоне стоковых моделей, других не устраивают технические характеристики. Поэтому-то и предпринимаются попытки внести собственные изменения – как во внешний облик, так и в технические параметры, в соответствии с собственными представлениями о совершенстве.

Читайте также: Какой автомобиль лучше выбрать: Лада Веста или Лада Икс Рей

Тюнинг автомобиля Лада Икс Рей

Следует отметить, что в настоящее время есть достаточно много вариантов для усовершенствования. Это, в частности:

• обвесы и спойлеры;
• чип-тюнинг;
• установка дополнительной защиты;
• переделка салона.

Однако сразу же стоит подчеркнуть, что меняя какие-то параметры автомобиля нужно помнить – все переделки или дополнительные аксессуары обязательно должны соответствовать действующим нормам законодательства. В ином случае водителя ждет не самое приятное общение с сотрудниками ДПС.

Итак, давайте более детально рассмотрим, какие есть варианты тюнинга для автомобиля Лада Икс Рей. Главное здесь – не нарушить общую концепцию. В частности, если «кенгурятник» на данном автомобиле будет смотреться весьма гармонично, то обвесы явно будут лишними, поскольку вы уберете одно из главных его достоинств – высокий дорожный просвет.

Если говорить в целом, то внешний тюнинг условно можно разделить на косметический и конструкционный. В первом случае это, например, тонировка стекол, винилы (ими рекомендуется выделить боковую штамповку) или аэрография, добавление дополнительного цвета, светодиодные ленты, покрытие кузова (либо его отдельных частей) такими материалами, как стеклопластик, карбон и так далее.

Конструкционный тюнинг требует серьезного подхода. Здесь, в частности, можно заменить стандартную оптику на более продвинутую, дополнить конструкцию разного рода внешними защитными элементами. Кроме того, стоковые 15-дюймовые диски не очень гармонично смотрятся с достаточно массивным на вид автомобилем, поэтому есть резон заменить их на колеса большего диаметра. При этом главное, чтобы размеры не сильно отличались, поскольку это негативно скажется на управляемости и расходе топлива. Наиболее оптимальными вариантами для Икс Рей будут диски R17 (185/66, 195/50, 205/50) или R18 (175/50, 195/45, 215/40).

Еще один популярный вариант – установка дополнительного обвеса. Это действительно способно изменить внешний облик Икс Рей в лучшую сторону, однако слишком занижать автомобиль все-таки не нужно. Любая серьезная яма, не замеченная водителем, может повредить обвес, и придется снова тратить деньги, чтобы его отремонтировать или заменить.

Читайте также: Варианты тюнинга подвески ВАЗ-2107 своими руками

Весьма практичный вариант – рейлинги. Они позволяют навесить столь популярный аксессуар, как обтекаемый верхний багажник. В продаже есть рейлинги специально для этой модели. Их основное достоинство в том, что технология установки не предусматривает необходимости сверления крыши. Последнюю, кстати, изнутри необходимо как-то усилить – ребрами жесткости или, например, стальными накладками.

Еще один популярный вариант усовершенствования Икс Рей – чип-тюнинг. Суть его заключается в следующем. В электронный блок управления двигателем вносятся определенные программные изменения, позволяющие сделать авто более резвым или экономичным – здесь все зависит от желания владельца. Понятно, что выигрывая в одном, вы потеряете в другом, поскольку здесь очень есть очень четкая взаимосвязь. Рекомендуется использовать уже проверенные и хорошо зарекомендовавшие себя прошивки – Paulus, Adact либо Ledokol.

Мощность топового 1,8-литрового 16-клапанного двигателя в 122 лошадиные силы вполне достаточна для данного авто. Однако некоторым этого все-таки мало. С помощью чип-тюнинга мощность можно увеличить до 150 «лошадей», причем такая переработка не скажется негативно на ресурсе двигателя.

Однако здесь одного лишь чип-тюнига будет мало. В частности, чтобы оптимизировать поступление в цилиндры воздуха потребуется установить спортивный ресивер. При этом стоковые клапаны и распределительные валы в обязательном порядке меняются на спортивные. Также можно поставить и турбину компрессора – в чисто техническом плане данный вариант вполне реален. Однако при этом придется менять еще и стоковую коробку передач, поскольку штатная просто не позволяет выдавать более 180 номов крутящего момента.

Ну и, наконец, тюнинг салона. Сразу же хочется отметить, что интерьер Икс Рей достаточно современный, и конструкторское решение смотрится очень хорошо. Да и эргономика здесь вполне приличная. Впрочем, и здесь есть что улучшить. Например, натянуть на сиденья красивые чехлы или кожаное покрытие. Новая панель управления или торпеда – также возможные объекты тюнинга. Некоторых владельцев Икс Рей не устраивают стоковые рулевое колесо или набалдашник рычага переключения передач, дверные карты, обшивка потолка. Словом, при наличии соответствующего желания поменять можно многое, и главное здесь – не переборщить с тюнингом.

Читайте также: Какой реальный клиренс у Лада Икс Рей

Тюнинг ВАЗ в Екатеринбурге — 7 мест 📍 (адреса, отзывы, цены, фото)

Интересные факты

Чаще всего люди ищут «тюнинг ВАЗ», но встречаются и другие формулировки, например:

• тюнинг Лада
• тюнинг Lada

Самые популярные особенности найденных мест: чистка дроссельной заслонки, установка автозвука, ремонт шрусов, замена сцепления, ремонт форсунки бош, УАЗ, Lincoln, Bugatti, Proton, AC.

ПАО «АвтоВА́З» — российская автомобилестроительная компания, крупнейший производитель легковых автомобилей, в России и Восточной Европе. Контроль над компанией принадлежит альянсу Renault-Nissan и Ростеху. Полное официальное название — Публичное акционерное общество «АвтоВАЗ».

Тю́нинг (англ. Tuning — «настройка») — термин, заимствованный из английского языка.

Тюнинг автомобиля — доработка (с целью улучшения потребительских качеств) автомобилей, как заводом-изготовителем, так и сторонними компаниями.

Тюнинг двигателя — это доработка двигателя автомобиля или его замена более мощным, как правило, с целью увеличения его мощности и эффективности.

Тюнинг компьютера (моддинг) — доработка (с целью улучшения потребительских качеств) компьютеров и компьютерной периферии.

Екатеринбу́рг (с 1924 по 1991 — Свердло́вск) — четвёртый по численности населения (после Москвы, Санкт-Петербурга и Новосибирска) город в России, административный центр Свердловской области, крупнейший административный, культурный, научно-образовательный центр Уральского региона. Один из крупнейших в стране транспортно-логистических узлов (международный аэропорт, через город проходит Транссибирская магистраль и 6 федеральных автотрасс), важный промышленный центр (оптико-механическая промышленнос…

Классификация рентгеновских изображений: легкий путь | by Amanda Woo

Набор данных — это набор данных. Это очень важная часть, которую нужно сделать правильно, поскольку она служит фундаментом, на котором будет построена ваша модель. Если этого нет в данных, модель не узнает то, чего она не знает. Для обучения модели машинного обучения необходим высококачественный набор данных, поскольку данные определяют поведение и производительность модели.

Данные определяют модель

Наличие большого количества данных само по себе не означает наличие высококачественного набора данных.Все сводится к наличию «правильных данных». Это означает, что данные должны:

• Отражать реальные примеры
• Захватить все примеры вариаций / сценариев, с которыми может столкнуться модель — обычных, редких и всего промежуточного.
• Будьте разнообразны в своих примерах (например, не просто делайте изображения собак со снегом на заднем плане, потому что модель, вероятно, будет связывать снежный фон с собаками, но на самом деле мы хотим, чтобы модель обнаруживала собак, а не снег)
• Будьте сбалансированы — Если у нас будет больше примеров одного класса / категории, чем другого, обученная модель будет работать плохо.
• Регулярно обновляйте по мере появления новых примеров или вариаций, чтобы модель знала и о них.

Data Fitting

Нам также необходимо убедиться, что набор данных охватывает все необходимые сценарии использования. Отсутствие достаточного количества вариантов использования, скорее всего, приведет к плохо обученной модели. Вопросы, которые следует задать себе при создании набора данных:

• Сколько данных мне нужно?
• Какие данные мне нужны?
• Достаточно ли различий в наборе данных, чтобы охватить все примеры?
• Точно и полностью ли данные отражают все соответствующие варианты использования?

Возвращаясь к нашему примеру набора данных детских рентгеновских изображений, он должен содержать следующее:

• Сбалансированное количество рентгеновских снимков для каждого возраста ребенка (с симптомами пневмонии и без них)
• Сбалансированное число рентгеновских снимков с различным диапазоном времени воздействия (с симптомами пневмонии и без)
• Рентгеновские снимки, содержащие другой диагноз, который можно спутать с пневмонией

Помимо наличия разнообразных наборов данных с хорошей вариацией положительных результатов и отрицательные примеры, нам также необходимо иметь ярлыки, связанные с каждым из примеров. Если набор данных еще не помечен, его необходимо пометить, прежде чем его можно будет использовать в качестве входных данных для построения модели. Вы можете либо пометить набор данных самостоятельно, либо заплатить за это.

«В современном искусственном интеллекте правила данных. А.И. Программное обеспечение настолько умно, насколько данные, используемые для его обучения. Если в системе будет намного больше белых мужчин, чем чернокожих женщин, то чернокожих женщин будет хуже идентифицировать ». — New York Times

Обязательно следите за несбалансированными наборами данных — они могут внести нежелательную систематическую ошибку в вашу модель.Несбалансированный набор данных — это набор, в котором одна или несколько меток содержит значительно больше или меньше примеров, чем другие метки. После того, как вы пометили свой набор данных, проверьте количество примеров, связанных с каждой из меток, чтобы убедиться, что каждая метка содержит одинаковое количество примеров. Если вы видите, что у одного лейбла есть только несколько примеров, а у других — около дюжины, вы, скорее всего, заметите некоторую предвзятость при использовании модели в реальном мире. Когда вы будете довольны охватом набора данных, пора построить модель.

Модель может быть построена двумя способами: (1) автоматизированное машинное обучение и (2) пользовательское моделирование. «Автоматизированное машинное обучение» — это платная услуга, которая означает, что с нее легко начать и дешево для быстрой разработки или создания прототипа модели. Однако его сложно расширить, и поставщику доступны конфиденциальные данные. С другой стороны, «пользовательское моделирование» полностью настраивается для неограниченного количества случаев использования, и есть полный контроль над параметрами для настройки модели. Но обратная сторона медали — это дорогое удовольствие и требует опыта в машинном обучении.Автоматизированные онлайн-сервисы машинного обучения, такие как Google Cloud и IBD Watson, позволяют любому быстро создавать модели, просто предоставляя высококачественный маркированный набор данных.

Прежде чем мы начнем строить нашу модель, важно определить бизнес-цели и результаты, которые мы ожидаем от этой модели. Также подумайте об уровне производительности, который вы хотите, чтобы ваша модель имела. В качестве отправной точки мы можем использовать производительность человека при выполнении этой задачи. Если модель может делать это лучше, чем люди, то я бы сказал, что модель находится в приличном состоянии.А теперь давайте построим модель.

1. Обучите модель

Как упоминалось ранее, данные определяют поведение и производительность модели, включая ее эффективность и точность. Таким образом, плохие данные приведут к плохой модели. Например, если вы скармливаете модели изображение, которое не было представлено в обучающих данных, оно не будет правильно отнесено к категории.

В нашем примере с X-Ray мы будем использовать Google Cloud AutoML Vision для обучения модели. Мы будем использовать уже подготовленный набор данных из Kaggle [2].Для начала загрузите помеченный набор данных, нажав «New Dataset»:

После загрузки данных ваш экран должен выглядеть примерно так:

Затем мы собираемся обучить модель с этим набором данных, перейдя на вкладку «Поезд» и нажав «Обучить модель».

Обратите внимание, что этот набор данных будет автоматически разделен для обучения, тестирования и проверки модели, поскольку данные, используемые для обучения модели, никогда не должны использоваться для тестирования или проверки модели.

По завершении обучения модели нам нужно понять, «насколько хороша» эта модель. Мы более подробно рассмотрим способы анализа результатов модели, известных как , выводит .

2. Оцените модель

Чтобы понять качество нашей модели, нам необходимо измерить ее производительность. Для этого часто используются следующие показатели:

• Точность — это процент правильных прогнозов от общего числа прогнозов.
• Отзыв — это процент правильных прогнозов от общего числа фактических экземпляров (также называемых истинными метками, достоверными положительными результатами).

• F1 Score — это средневзвешенное значение точности и отзыва; при этом учитываются как ложные срабатывания, так и ложноотрицательные. Обратите внимание, что оценка F1 также может быть рассчитана из приведенной ниже матрицы неточностей.

• Матрица путаницы предназначена для описания характеристик модели, в частности, с выделением того, где модель является правильной (синий цвет) и / или неисправной (оранжевый цвет).

Возвращаясь к тому месту, где мы остановились при обучении модели с помощью AutoML Vision, перейдите на вкладку «Оценить» набора данных, чтобы проверить производительность модели. Это должно выглядеть примерно так:

Если вы прокрутите вниз, вы увидите больше метрик (например, матрицу путаницы), а также сможете увидеть показатели производительности для конкретной метки.

Не бывает такой вещи, как однократное обучение модели и получение «идеальной модели».Это итеративный процесс. Так что в случае, если вы не удовлетворены результатами, у вас есть два варианта: 1) улучшить данные и 2) реализовать собственную модель. Я настоятельно рекомендую вам сначала взглянуть на улучшение данных, а если вы не сможете добиться лучших результатов, только потом подумайте о реализации своей собственной модели. На этом этапе вы лучше поймете, почему ваша модель не соответствует ожиданиям. Несмотря на это, есть вероятность, что модель, предоставленная AutoML, приведет вас к достойной точке при наличии высококачественного набора данных.

3. Прогнозы модели

Наконец, давайте посмотрим, как модель работает с новыми изображениями. Перейдите на вкладку «Прогноз» и загрузите изображение, которое не использовалось в наборе данных для обучения / тестирования.

После того, как прогноз будет сделан, ваш экран должен выглядеть примерно так:

Поздравляем, вы только что построил свою первую модель!

(PDF) Идентификация рентгеновских изображений COVID-19 с использованием CNN с оптимизированной настройкой передачи обучения

был применен к набору данных рентгеновских снимков грудной клетки COVID-19.

Полученные результаты показали впечатляющую производительность метода

, достигая в среднем точности 94,76% и AUC

93,47% с очень небольшим стандартным отклонением.

Ободренные прогностической эффективностью модели, мы

приняли подход локальных интерпретируемых независимых от модели объяснений, чтобы получить представление о болезни COVID-19, на основе

классификации рентгеновских лучей грудной клетки. Таким образом, подход с объяснением LIME

смог предоставить некоторые интересные идеи

о характеристиках заболевания COVID-19, выполнив качественные объяснения

по результатам обученной модели

классификации набора X- лучевые изображения.

В будущем мы хотели бы расширить наши исследования, чтобы использовать

различных архитектур CNN и сравнить их с VGG19 как

, а также использовать расширенные наборы данных COVID-19.

ПОДТВЕРЖДЕНИЕ

Авторы выражают признательность за финансовую поддержку Словенскому исследовательскому агентству

(номер основного финансирования исследований P2-

0057).

ССЫЛКИ

[1] W. H. Organization et al., «Коронавирусная болезнь 2019 (covid-19): ситуационный отчет

, 86,» 2020.

[2] A. Bernheim, X. Mei, M. Huang, Y. Yang, ZA Fayad, N. Zhang,

K. Diao, B. Lin, X. Zhu, K. Li et al., « Обнаружение КТ грудной клетки при коронавирусе

болезнь-19 (covid-19): взаимосвязь с продолжительностью инфекции, Радиология,

с. 200463, 2020.

[3] Дж. П. Коэн, П. Моррисон и Л. Дао, «Covid-19 image

data collection», arXiv 2003.11597, 2020. [Online]. Доступно:

https://github.com/ieee8023/covid-chestxray-dataset

[4] A. С. Лундерволд и А. Лундерволд, «Обзор глубокого обучения в медицинской визуализации

с упором на МРТ», Zeitschrift f¨

ur Medizinische Physik,

vol. 29, нет. 2, pp. 102–127, 2019.

[5] И.Д. Апостолопулос и Т.А. Мпезиана, «Covid-19: автоматическое обнаружение

рентгеновских изображений с использованием передачи обучения со сверточными нейронными сетями

», Физические Технические науки в медицине, стр. 1,

2020.

[6] T.Маджид, Р. Рашид, Д. Али и А. Асаад, «Обнаружение Covid-19 с использованием передачи обучения

cnn по рентгеновским изображениям», medRxiv, 2020.

[7] Г. Врбан

ciˇ

c, М. Зорман и В. Подгорелек, «Настройка переноса обучения

с использованием оптимизатора серого волка для идентификации кровоизлияния в мозг по изображениям

КТ головы», в StuCoSReC: материалы 6-й Студенческой конференции

по компьютерным наукам 2019 г. 2019. С. 61–66.

[8] К.Фукусима, «Неокогнитрон: модель самоорганизующейся нейронной сети

для механизма распознавания образов, не подверженного изменению положения,

BioL Cybem. 36 (1980) 193-202, С. Шиотани и др. / Neurocomputing 9

(1995) Ill-130, vol. 130, 1980.

[9] И. Гудфеллоу, Ю. Бенжио, А. Курвиль, Глубокое обучение. MIT press,

2016.

[10] Г. Врбанчич и В. Подгорелек, «Автоматическая классификация нейронных расстройств с нарушением двигательной функции

по сигналам ЭЭГ с использованием глубинных сверточных нейронных сетей

», Электроника и электротехника,

, том

http://eejournal.ktu.lt/index.php/elt/article/view/21469

[11] Г. Врбанчич, И. Дж. Фистер и В. Подгорелец, «Автоматическое обнаружение сердечных сокращений

в Звуковые сигналы сердца с использованием глубоких сверточных нейронных сетей

, Электроника и электротехника,

т. 25, нет. 3, pp. 71–76, июнь 2019 г. [Online]. Доступно:

http://eejournal.ktu.lt/index.php/elt/article/view/23680

[12] A.Джавид, К. Нияз, В. Сан и М. Алам, «Подход

к глубокому обучению для системы обнаружения сетевых вторжений», в материалах 9-й Международной конференции

EAI по информации и коммуникациям, вдохновленным биологией. Технологии (ранее БИОНЕТИКА). ICST (Институт

компьютерных наук, социальной информатики и …, 2016, стр. 21–26.

[13] К. Конг, Д. Т. Тругман, З. Э. Росс, М. Дж. Бьянко, Б. Дж. Мид,

и П. Герстофт, «Машинное обучение в сейсмологии: превращение данных в

идей», Письма о сейсмологических исследованиях, т.90, нет. 1, стр. 3–14, 2018.

[14] А. Камиларис и Ф. X. Пренафета-Болд

u, «Глубокое обучение в сельском хозяйстве: обзор

», Компьютеры и электроника в сельском хозяйстве, т. 147, pp. 70–90,

2018.

[15] JY Ching, AKC Wong и KCC Chan, «Зависимая от класса дискретизация

для индуктивного обучения на основе данных

в непрерывном и смешанном режиме», IEEE Transactions по анализу моделей и машинному интеллекту,

т.17, нет. 7, pp. 641–651, 1995.

[16] С. Дюмэ, Дж. Платт, Д. Хекерман и М. Сахами, «Индуктивные алгоритмы обучения и представления

для категоризации текста»,

в 7-м Международном Конференция по информации и знаниям

Менеджмент, январь 1998 г. , стр. 148–152. [В сети]. Доступно —

в состоянии: https://www.microsoft.com/en-us/research/publication/inductive-

алгоритмы обучения и представления для категоризации текста /

[17] X.Чжу и X. Ву, «Обработка шума в классе для эффективного экономичного обучения

с помощью управляемой по стоимости итеративной фильтрации классификации», IEEE Transac-

tions on Knowledge & Data Engineering, vol. 18, нет. 10, pp. 1435–1440,

2006.

[18] Q. Yang, C. Ling, X. Chai, and R. Pan, «Чувствительная к стоимости тестирования классификация

данных с пропущенными значениями», IEEE Транзакции о знаниях и данных

Engineering, vol. 18, нет. 5. С. 626–638, 2006.

[19] N.Таджбахш, Дж. Й. Шин, С. Р. Гуруду, Р. Т. Херст, К. Б. Кендалл, М. Б.

Готуэй и Дж. Лян, «Сверточные нейронные сети для анализа медицинских изображений

: полное обучение или точная настройка?» IEEE транзакции по медицинской визуализации

, т. 35, нет. 5, pp. 1299–1312, 2016.

[20] JS Bergstra, R. Bardenet, Y. Bengio и B.K´

egl, «Алгоритмы

для оптимизации гиперпараметров», in Advances in neural информация

процессинговых систем, 2011, с.2546–2554.

[21] П.Р. Лоренцо, Дж. Налепа, М. Кавулок, Л.С. Рамос и Дж. Р.

Пастор, «Оптимизация роя частиц для выбора гиперпараметров в глубоких нейронных сетях

», в Proceedings of the генетической и эволюционной

вычислительная конференция, 2017, стр. 481–488.

[22] Г. Врбанчич, И. Дж. Фистер и В. Подгорелек, «Настройка параметров для

глубоких нейронных сетей с использованием Swarm Intelligence на фишинговых веб-сайтах.

Классификация», Международный журнал по инструментам искусственного интеллекта,

vol.28, вып. 6, стр. 28, октябрь 2019 г.

[23] С. Мирджалили, С. М. Мирджалили, А. Льюис, «Оптимизатор серых волков»,

Достижения в инженерном программном обеспечении, вып. 69, pp. 46–61, 2014.

[24] М. Т. Рибейро, С. Сингх и К. Гестрин: «Почему я должен вам доверять?»

, объясняющий предсказания любого классификатора », в материалах 22-й международной конференции

ACM SIGKDD по открытию знаний и интеллектуальному анализу данных

, 2016, стр. 1135–1144.

[25] Ю.Чжан, К. Сун, Ю. Сунь, С. Тан и М. Уделл: «Почему вы должны доверять моему объяснению

?» понимание неопределенности в объяснениях извести »,

препринт arXiv arXiv: 1904.12991, август 2014 г.

[26] Ф. Педрегоса, Г. Вароко, А. Грамфор, В. Мишель, Б. Тирион,

О. Гризель, М. Блондель, П. Преттенхофер, Р. Вайс, В. Дубург, Дж. Вандер —

Plas, А. Пассос, Д. Курнапо, М. Брюхе, М. Перро и Э. Дюш —

esnay, «Scikit -learn: Машинное обучение на Python », Journal of Machine

Learning Research, vol.12, pp. 2825–2830, 2011.

[27] W. McKinney, «Структуры данных для статистических вычислений в python», в

Proceedings of the 9th Python in Science Conference, S. van der Walt

and J Millman, Eds., 2010, стр. 51–56.

[28] С. Ван Дер Уолт, С. К. Колберт и Г. Вароко, «Массив numpy:

— структура для эффективных численных вычислений», Computing in Наука

и инженерия, т. 13, вып. 2, стр. 22, 2011.

[29] G.Vrbanˇ

ciˇ

c, Л. Брезо

cnik, У. Млакар, Д. Фистер и И. Фистер

мл., «NiaPy: микрофреймворк Python для создания алгоритмов

, вдохновленных природой», Journal of Open Исходное программное обеспечение, т. 3, 2018. [Онлайн].

Доступно: https://doi.org/10.21105/joss.00613

[30] Ф. Чоллет и др., «Керас», 2015 г. [онлайн]. Доступно: https://keras.io

[31] М.А. и др., «TensorFlow: крупномасштабное машинное обучение на

гетерогенных системах», 2015 г., программное обеспечение доступно от tenorflow.орг.

[Онлайн]. Доступно: https: //www.tensor fl ow.org/

[32] «RSNA Pneumonia Detection Challenge — Kaggle». [Линия

]. Доступно: https://www. kaggle.com/c/rsna-pneumonia-detection-

проблема / обзор

[33] К. Симонян и А. Зиссерман, «Очень глубокие сверточные сети для

крупномасштабных изображений. распознавание », препринт arXiv arXiv: 1409.1556, 2014.

[34] Дж. Денг, В. Донг, Р. Сочер, Л.-Дж. Ли, К. Ли и Л. Фей-Фэй, «Imagenet:

— крупномасштабная иерархическая база данных изображений», на конференции IEEE 2009 г., посвященной компьютерному зрению и распознаванию образов

.Ieee, 2009, стр. 248–255.

[35] Дж. Демсар, «Статистические сравнения классификаторов по множеству наборов данных»,

Journal of Machine Learning Research 7, 2006.

Классификация COVID-19 на рентгеновских снимках грудной клетки с использованием глубокой сверточной нейронной сети DeTraC

В этом разделе достаточно подробно описан предлагаемый метод обнаружения COVID-19 по изображениям CXR . В этом разделе, начиная с обзора архитектуры и заканчивая различными компонентами метода, обсуждается рабочий процесс и формализуется метод.

Модель DeTraC состоит из трех фаз. На первом этапе мы обучаем предварительно обученную магистраль CNN модели DeTraC извлекать глубокие локальные особенности из каждого изображения. Затем мы применяем слой декомпозиции классов DeTraC , чтобы упростить локальную структуру распределения данных. На втором этапе обучение выполняется с использованием сложного метода оптимизации градиентного спуска.Наконец, мы используем слой композиции классов для уточнения окончательной классификации изображений. Как показано на рис. 2, компоненты декомпозиции классов и композиции добавляются соответственно до и после преобразования знаний из предварительно обученной модели ImageNet CNN . Слой декомпозиции классов направлен на разделение каждого класса в наборе данных изображения на k подклассов, где каждый подкласс обрабатывается независимо. Затем эти подклассы собираются обратно с использованием компонента композиции классов, чтобы произвести окончательную классификацию исходного набора данных изображения.

De compose, Tra nsfer и C ompose ( DeTraC ) модель для обнаружения COVID-19 на изображениях CXR

Глубокое извлечение элементов

A мелкое Режим настройки использовался во время адаптации и обучения предварительно обученной модели ImageNet CNN с использованием собранного набора данных изображения CXR . Мы использовали готовые функции CNN предварительно обученных моделей в ImageNet (где обучение выполняется только на последнем уровне классификации) для построения пространства признаков изображения.Однако из-за высокой размерности, связанной с изображениями, мы применили PCA [36] для проецирования пространства признаков большой размерности в более низкую размерность, где сильно коррелированные особенности игнорировались. Этот шаг важен для декомпозиции классов для создания более однородных классов, уменьшения требований к памяти и повышения эффективности платформы.

Слой декомпозиции классов

Теперь предположим, что наше пространство признаков (вывод PCA ) представлено двухмерной матрицей (обозначенной как набор данных A ), а L — это категория класса. A и L можно переписать как

$$ A = \ left [\ begin {matrix} a_ {11} & a_ {11} & \ ldots ~~~~~ a_ {1m} \\ a_ {21} & a_ {22} & \ ldots ~ ~~~~~ a_ {2m} \\ \ vdots & \ vdots & \ vdots ~~~~~~~~~~~ \ vdots \\ a_ {n1} & a_ {n2} & \ ldots ~~~ a_ {nm} \\ \ end {matrix} \ right], \ mathbf {L} = \ left \ {l_ {1}, l_ {2}, \ ldots, l_ {k} \ right \}, $$

(1)

, где n — количество изображений, m — количество функций, а k — количество классов.{\ left (j \ right)} -c_ {j} \ parallel, $$

(2)

, где центроиды обозначены как c _j .

После завершения кластеризации каждый класс в L будет дополнительно разделен на подклассы k , в результате чего будет получен новый набор данных (обозначенный как набор данных B ).

Соответственно, взаимосвязь между наборами данных A и B может быть математически описана как:

$$ A = (A | \ mathbf {L}) ~ \ mapsto ~ B = (B | \ mathbf {C}) $$

(3)

, где количество экземпляров в A равно B , а C кодирует новые метки подклассов (например,грамм. \ (\ mathbf {C} = \ {l_ {11}, l_ {12}, \ dots, l_ {1k}, l_ {21}, l_ {22}, \ dots, l_ {2k}, \ dots l_ { ck} \} \)). Следовательно, A и B можно переписать как:

$$ \ begin {align} A = \ left [\ begin {matrix} a_ {11} & a_ {11} & \ ldots ~~~~~ a_ {1m} & l_ {1} \\ a_ {21} } & a_ {22} & \ ldots ~~~~~~ a_ {2m} & l_ {1} \\ \ vdots & \ vdots & \ vdots ~~~~~~~~~~~ \ vdots & \ vdots \\ \ vdots & \ vdots & \ begin {matrix} \ vdots & ~~~~~~~ \ vdots \\ \ end {matrix} & l_ {2} \\ a_ {n1} & a_ {n2} & \ ldots ~~~ a_ {nm} & l_ {2} \\ \ end {matrix} \ right], \\ B = \ left [\ begin {matrix} b_ {11} & b_ {11} & \ ldots ~~ ~~~ b_ {1m} & l_ {11} \\ b_ {21} & b_ {22} & \ ldots ~~~~~~ b_ {2m} & l_ {1c} \\ \ vdots & \ vdots & \ vdots ~~~~~~~~~~~ \ vdots & \ vdots \\ \ vdots & \ vdots & \ begin {matrix} \ vdots & ~~~~~~~ \ vdots \\ \ end {matrix} & l_ {21} \\ b_ {n1} & b_ {n2} & \ ldots ~~~ b_ {nm} & l_ {2c} \\ \ end {matrix} \ right]. \ end {align} $$

(4)

Трансферное обучение

Благодаря высокой доступности крупномасштабных наборов данных аннотированных изображений, вероятность того, что различные классы будут хорошо представлены, высока. Следовательно, изученные промежуточные границы классов, скорее всего, будут достаточно общими для новых образцов. С другой стороны, при ограниченной доступности аннотированных данных медицинских изображений, особенно когда некоторые классы страдают больше по сравнению с другими с точки зрения размера и представления, ошибка обобщения может возрасти.Это связано с тем, что между классами меньшинства и большинства может быть неправильная калибровка. Крупномасштабные наборы данных с аннотированными изображениями (такие как ImageNet) обеспечивают эффективные решения такой проблемы с помощью трансферного обучения, когда требуется обучить десятки миллионов параметров (для архитектур CNN ).

Для трансферного обучения мы использовали, протестировали и сравнили несколько предварительно обученных моделей ImageNet как в режиме неглубокой, так и в глубокой настройке, что будет изучено в разделе экспериментальных исследований. {j} \ right) \ right)}], \ end {array} $$

(5)

, где x ^j — это набор входных изображений в обучении, y ^j — наземные метки истинности, а z (⋅) — это прогнозируемый результат функции softmax.

Оценка и композиция

На уровне декомпозиции классов DeTraC мы разделяем каждый класс в наборе данных изображения на несколько подклассов, где каждый подкласс обрабатывается как новый независимый класс.На этапе компоновки эти подклассы собираются обратно, чтобы произвести окончательный прогноз на основе исходного набора данных изображения. Для оценки производительности мы использовали показатели точности (ACC), специфичности (SP) и чувствительности (SN). Они определяются как:

$$ \ begin {array} {@ {} rcl @ {}} \ text {Accuracy} (ACC) & = & \ frac {TP + TN} {n}, \ end {array} $$

(6)

$$ \ begin {array} {@ {} rcl @ {}} [3pt] \ text {Sensitivity} (SN) & = & \ frac {TP} {TP + FN}, \ end {array} $$

(7)

$$ \ begin {array} {@ {} rcl @ {}} [3pt] \ text {Specificity} (SP) & = & \ frac {TN} {TN + FP}, \ end {array} $$

(8)

, где T P — истинно положительный результат в случае COVID-19, а T N — истинно отрицательный результат в случае нормального или другого заболевания, а F P и F N — это неверные прогнозы модели для COVID-19 и других случаев. {c} x_ {ij}, j \ neq i, \ end { array} $$

(12)

, где x _{i i} — элемент на диагонали матрицы.

Процедурные шаги модели

После обсуждения математических формулировок модели DeTraC , далее, процедурные шаги модели DeTraC показаны и обобщены в алгоритме 1.

DeTraC устанавливает эффективность разложения по классам при обнаружении COVID-19 по изображениям CXR . Основным вкладом DeTraC является его способность справляться с ошибками в данных, что является одной из самых сложных проблем при обнаружении случаев COVID-19.Слой декомпозиции классов DeTraC может упростить локальную структуру набора данных с дисбалансом классов. Это достигается путем исследования границ классов набора данных и соответствующей адаптации трансферного обучения. В следующем разделе мы экспериментально проверяем DeTraC с реальными изображениями CXR для выявления случаев COVID-19 из нормальных случаев и случаев SARS.

Сравнение подходов к глубокому обучению для классификации рентгеновских снимков грудной клетки с несколькими метками

Для оценки эффективности обобщения мы выполняем 5-кратную повторную выборку образцов ²⁰ .В каждом сплите данные делятся на 70% обучения, 10% проверки и 20% тестирования. При работе с глубоким обучением гиперпараметры и настройка без набора проверки и / или перекрестной проверки могут легко привести к чрезмерной подгонке. Поскольку отдельные пациенты проходят несколько последующих обследований, все данные пациента относятся только к одной подгруппе. Это приводит к большому разнообразию количества пациентов (например, в разделе «два» — 5817 пациентов и 22 420 изображений, в «пятом разделе» — 6 245 пациентов и такое же количество изображений).Мы оцениваем среднюю потерю проверки по всем повторным выборкам, чтобы определить лучшие модели. Наконец, наши результаты рассчитываются для каждой складки на тестовой выборке и затем усредняются.

Чтобы иметь справедливое сравнение с другими группами, мы проводим дополнительную оценку с использованием наиболее эффективной архитектуры с разной глубиной на официальном расколе Wang et al . ⁸ в разделе 3.1.

Реализация

Во всех экспериментах мы использовали фиксированную установку. Чтобы расширить ChestX-ray14, мы используем то же увеличение геометрических данных, что и в работе Szegedy et al . ³ . Во время обучения мы отбираем участки изображения различного размера от 8% до 100% площади изображения. Соотношение сторон равномерно распределено между 3: 4 и 4: 3. Кроме того, мы используем случайные повороты от ± 7 ° до горизонтального переворота. Для проверки и тестирования мы масштабируем изображения до 256 × 256 и 480 × 480 пикселей для малого и большого пространственного размера соответственно. После этого мы используем центральную обрезку в качестве входного изображения. Как и в работе He и др. . ⁵ , отсев не работает ²¹ .В качестве оптимизатора мы используем ADAM ²² с параметрами по умолчанию для β ₁ = 0,9 и β ₂ = 0,999. Скорость обучения lr установлена ​​на lr = 0,001 и lr = 0,01 для трансферного обучения и с нуля соответственно. Во время обучения мы снижаем скорость обучения в 2 раза, когда потери проверки не улучшаются. Из-за различий в архитектуре модели мы используем пакеты размером 16 и 8 для обучения с передачей и с нуля с большим размером ввода, соответственно.Модели реализованы в CNTK и обучены на графических процессорах GTX 1080, что дает время обработки около 10 мс на изображение.

Результаты

В таблице 4 обобщены результаты нашей оценки. В общей сложности мы оценили восемь различных экспериментальных установок с различными схемами инициализации веса и сетевыми архитектурами, а также с функциями, не связанными с изображением, и без них. Мы выполняем ROC-анализ с использованием площади под кривой (AUC) для всех патологий, сравниваем оценки классификатора по коэффициенту парной ранговой корреляции Спирмена и применяем современный метод Gradient-weighted Class Activation Mapping (Grad-CAM). ) ²³ , чтобы получить больше информации о наших CNN.Grad-CAM — это метод визуальной оценки предсказаний модели CNN. Этот метод выделяет важные области входного изображения для конкретного результата классификации с помощью градиента последнего сверточного слоя.

Результаты указывают на высокую вариабельность результата по отношению к выбранному разбиению набора данных. Специально для «грыжи», класса с наименьшим количеством положительных образцов, мы наблюдаем стандартное отклонение до 0.05. В результате оценка существующих подходов и сравнение их эффективности затруднены, поскольку предыдущая работа была сосредоточена в основном на одном (случайном) разбиении.

Что касается различных схем инициализации, мы уже наблюдаем приемлемые результаты для сетей OTS, которые оптимизированы на естественных изображениях. Благодаря тонкой настройке результаты значительно улучшаются, в среднем с 0,730 до 0,819 AUC. Полное обучение канала ResNet-50-1 с использованием CXR дает довольно сравнимую производительность. Только вариант с высоким разрешением ResNet-50-large превосходит подход FT на 0,002 в среднем AUC. В частности, для более мелких патологий, таких как узелки и образования, наблюдается улучшение (т.е. увеличение AUC на 0,018 и 0,006 соответственно), в то время как для других патологий оценивается аналогичная или немного более низкая эффективность.

Наконец, все наши эксперименты с функциями, не относящимися к изображению, немного увеличивают AUC в среднем по сравнению с аналогом (то есть без функции, не связанной с изображением). Наш обученный с нуля ResNet-50-large-meta дает лучшую общую производительность с 0.822 средняя AUC.

Чтобы лучше понять, почему функции, не связанные с изображением, лишь незначительно увеличили AUC для наших точно настроенных и обученных с нуля моделей, мы исследовали возможность прогнозирования функций, не связанных с изображением, на основе извлеченных функций изображения. Мы использовали нашу обученную с нуля модель (например, ResNet-50-large) в качестве средства извлечения функций и обучили три модели прогнозированию возраста пациента, пола пациента и положения обзора (VP), то есть ResNet-50-large-age, ResNet- 50-большой-пол, ResNet-50-большой-ВП. Мы использовали ту же схему обучения, что и в наших экспериментах ранее. Во-первых, наша модель ResNet-50-large-VP может прогнозировать с очень высокой AUC 0,9983 ± 0,0002 правильный VP (т.е. мы закодировали AP как истинное, а PA как ложное). После выбора оптимального порога на основе индекса Юдена мы рассчитали чувствительность и специфичность 99,3% и 99,1% соответственно. Во-вторых, ResNet-50-large-gender также очень точно предсказывает пол пациента с высоким AUC 0,9435 ± 0,0067. Чувствительность и специфичность с 87.8% и 85,9% также высоки. Наконец, чтобы оценить производительность ResNet-50-большой возраст, мы сообщаем среднюю абсолютную ошибку (MAE) со стандартным отклонением, поскольку прогнозирование возраста является задачей регрессии. Модель достигла средней абсолютной ошибки 9,13 ± 7,05 года. Результаты показывают, что функции изображения уже кодируют информацию о функциях, не связанных с изображением. Это могло быть причиной того, что предложенная нами архитектура модели с имеющимися функциями, не связанными с изображением, не увеличила производительность значительно.

Кроме того, было исследовано сходство между обученными моделями с точки зрения их прогнозов. Поэтому коэффициент ранговой корреляции Спирмена был вычислен для прогнозов всех пар моделей и усреднен по складкам. Коэффициенты парной корреляции для моделей приведены в таблице 5. По степени корреляции можно выделить три группы. Во-первых, отметим, что «модели с нуля» (то есть «1-канальные» и «большие») без функций, не относящихся к изображению, имеют наивысшую корреляцию 0.93 между собой, за ними следуют доработанные модели с 0,81 и 0,80 для «1-канального» и «большого» соответственно. Во-вторых, модель OTS на удивление имеет более высокую корреляцию с моделями с нуля, чем модель с точной настройкой. В-третьих, для моделей с функцией, не связанной с изображением, такой корреляции не наблюдается, и их значение составляет от 0,32 до 0,47. Это указывает на то, что модели, которые были обучены исключительно на рентгеновских данных, достигают не только высочайшей точности, но, кроме того, наиболее последовательны.

Хотя предлагаемая сетевая архитектура обеспечивает высокие значения AUC во всех категориях набора данных ChestX-ray14, применимость такой технологии в клинической среде в значительной степени зависит от доступности данных для обучения и оценки модели. В частности, для набора данных NIH важным вопросом является заявленный шум этикетки ⁸ и медицинская интерпретация этикетки. Как упоминал Люк Окден-Райнер ²⁴ , класс «пневмоторакс» часто обозначается для уже пролеченных случаев (т.е.е. дренаж виден на изображении, которое используется для проталкивания пневмоторакса) в наборе данных ChestX-ray14. Мы используем Grad-CAM, чтобы понять, считает ли наш обученный CNN дренаж основным признаком «пневмоторакса». Grad-CAM визуализирует области, наиболее ответственные за окончательный прогноз, в виде тепловой карты. На рис. 4 мы показываем два примера нашего тестового набора, в котором наибольшие срабатывания происходят вокруг слива. Это указывает на то, что сеть научилась не только обнаруживать острый пневмоторакс, но и наличие дренажей грудной клетки.Таким образом, использование набора данных ChestX-ray14 для разработки клинических приложений все еще остается открытым вопросом.

Результат Grad-CAM для двух примеров изображений. В первом мы отметили расположение пневмоторакса желтой рамкой. Как показано на изображении Grad-CAM рядом с ним, максимальная активация модели для прогнозирования находится в пределах правильной области. Во второй строке показан отрицательный пример, в котором самая высокая активация, которая была ответственна за окончательный прогноз «пневмоторакс», приходится на сток.Это указывает на то, что наш обученный телеканал CNN выбрал дренаж как главную особенность «пневмоторакса». Мы отметили слив желтыми стрелками.

Сравнение с другими подходами

В нашей оценке мы заметили значительный разброс результатов по значениям AUC. Наряду с используемым разбиением данных это может быть связано с (случайной) инициализацией моделей и стохастическим характером процесса оптимизации.

Когда ChestX-ray14 стал общедоступным, были выпущены только изображения без официального разделения набора данных.Следовательно, исследователь начал обучать и тестировать предложенные ими методы на собственном разбиении набора данных. Мы заметили большое разнообразие в производительности с разными разделениями нашей повторной выборки. Следовательно, прямое сравнение с другими группами может быть не лучшим с точки зрения современных результатов. Например, Rajpurkar и др. . ¹² сообщили о новейших результатах для всех 14 классов в их собственном сплите. На рис. 5 мы сравниваем нашу наиболее эффективную модельную архитектуру (т.е. ResNet-50-large-meta) экспериментов по повторной выборке с Rajpurkar et al .и другие группы. Для нашей модели мы наносим минимальную и максимальную AUC по всем повторным выборкам в виде столбцов ошибок, чтобы проиллюстрировать эффект случайного разделения. Мы достигаем самых современных результатов по «излиянию» и «консолидации» при прямом сравнении нашей AUC (т.е. усредненной по 5-кратной повторной выборке) с прежними результатами современного уровня техники. Сравнение максимальной AUC по всем разделам повторной выборки приводит к современным характеристикам для «выпота», «пневмонии», «консолидации», «отека» и «грыжи» и указывает на то, что справедливое сравнение между группами без такое же расщепление может быть неубедительным.

Сравнение нашей лучшей модели с другими группами. Мы сортируем патологии по возрастанию среднего AUC по всем группам. Для нашей модели мы указываем минимум и максимум по всем сгибам в виде шкалы ошибок, чтобы проиллюстрировать эффект разделения.

Позже Ван и др. . ⁸ выпустил официальный раздел набора данных ChestX-ray14. Чтобы иметь справедливое сравнение с другими группами, мы сообщаем результаты этого разделения для нашей наиболее производительной архитектуры с разной глубиной — ResNet-38-large-meta, ResNet-50-large-meta и ResNet-101-large-meta — в Таблица 6. Сначала мы сравниваем наши результаты с Wang и др. . ⁸ и Яо и др. . ¹³ , потому что Guendel et al . ¹⁴ использовал дополнительный набор данных — набор данных PLCO ²⁵ — с 185 000 изображений. В то время как ResNet-101-large-meta уже имеет более высокий средний AUC с 0,785 и в 12 из 14 классов более высокий индивидуальный AUC, производительность сравнивается с нашими ResNet-38-large-meta и ResNet-50-larg-meta. ниже. Уменьшение количества слоев увеличило усредненную AUC с 0.785 до 0,795 и 0,806 для ResNet50-large-meta и ResNet38-larg-meta соответственно. Следовательно, наши результаты показывают, что обучение модели с меньшим количеством параметров на Chest-Xray14 полезно для общей производительности. Во-вторых, Guendel и др. . ¹⁴ сообщили о современных результатах официального разделения по всем 14 классам со средним показателем AUC 0,807. В то время как наш ResNet-38-large-meta обучен с использованием на 185 000 изображений меньше, он все же достиг самых современных результатов для «эмфиземы», «отека», «грыжи», «консолидации» и «утолщения плевры». »И немного меньшее среднее значение AUC, равное 0,806.

Глубокое обучение с кинематографическим рендерингом: точная настройка глубоких нейронных сетей с использованием фотореалистичных медицинских изображений

Глубокое обучение превратилось в мощный инструмент искусственного интеллекта для интерпретации медицинских изображений для растущего числа приложений.Однако нехватка данных медицинской визуализации с высококачественными аннотациями, необходимая для обучения таким методам, в конечном итоге ограничивает их эффективность. Медицинские данные сложно получить из-за проблем с конфиденциальностью, нехватки экспертов, доступных для аннотации, ограниченного представления редких состояний и стоимости. Эта проблема ранее решалась с помощью синтетически сгенерированных данных. Однако сети, обученные на синтетических данных, часто не могут быть обобщены на реальные данные. Кинематографический рендеринг имитирует распространение и взаимодействие света, проходящего через модели тканей, восстановленные на основе данных компьютерной томографии, что позволяет создавать фотореалистичные изображения.В этой статье мы представляем одно из первых приложений кинематографического рендеринга в глубоком обучении, в котором мы предлагаем тонкую настройку сетей, управляемых синтетическими данными, с использованием кинематографических данных КТ для задачи оценки глубины монокуляра в эндоскопии. Наши эксперименты показывают, что: (a) сверточные нейронные сети (CNN), обученные на синтетических данных и тонко настроенные на фотореалистичных кинематографических данных, лучше адаптируются к реальным медицинским изображениям и демонстрируют более надежную производительность по сравнению с сетями без точной настройки, (b ) эти тонко настроенные сети требуют меньше обучающих данных для схождения к оптимальному решению, и (c) точная настройка с данными из различных фотореалистичных условий рендеринга одной и той же сцены не позволяет сети изучать информацию, специфичную для пациента, и помогает в обобщаемости модели. Наша эмпирическая оценка показывает, что сети, точно настроенные с помощью кинематографически визуализированных данных, предсказывают глубину с ошибкой на 56,87% меньше для визуализированных эндоскопических изображений и на 27,49% меньше ошибок для реальных эндоскопических изображений толстой кишки свиньи.

Глубокое обучение для обнаружения пневмонии по рентгеновским изображениям

Риск пневмонии огромен для многих, особенно в развивающихся странах, где миллиарды людей сталкиваются с энергетической бедностью и полагаются на загрязняющие виды энергии.По оценкам ВОЗ, ежегодно более 4 миллионов случаев преждевременной смерти происходят от болезней, связанных с загрязнением воздуха в домашних условиях, включая пневмонию. Ежегодно более 150 миллионов человек заражаются пневмонией, особенно дети в возрасте до 5 лет. В таких регионах проблема может усугубиться нехваткой медицинских ресурсов и кадров. Например, в 57 странах Африки нехватка врачей и медсестер составляет 2,3 миллиона человек. Для этих групп населения точный и быстрый диагноз означает все.Это может гарантировать своевременный доступ к лечению и сэкономить столь необходимое время и деньги для тех, кто уже находится в бедности.

Этот проект является частью рентгеновского снимка грудной клетки (пневмония), проводимого на Kaggle.

Вызов

Создайте алгоритм для автоматического определения того, страдает ли пациент пневмонией или нет, по рентгеновским изображениям грудной клетки. Алгоритм должен был быть предельно точным, потому что на карту поставлены жизни людей.

Окружающая среда и инструменты

1. scikit-learn
2. керас
3. кол-во
4. панд
5. матплотлиб

Данные

Набор данных можно загрузить с веб-сайта kaggle, который находится здесь.

Где код?

Без лишних слов, давайте начнем с кода. Полный проект на github можно найти здесь.

Начнем с загрузки всех библиотек и зависимостей.

Затем я показал несколько нормальных изображений и изображений пневмонии, чтобы просто посмотреть, насколько они отличаются невооруженным глазом. Ну не очень!

Примеры изображений

Затем я разделил набор данных на три набора — набор для обучения, проверки и тестирования.

Затем я написал функцию, в которой я немного увеличил данные, подал в сеть изображения обучающего и тестового набора. Также я создал ярлыки для изображений.

Практика увеличения данных — эффективный способ увеличения размера обучающей выборки. Дополнение обучающих примеров позволяет сети «видеть» более разнообразные, но все же репрезентативные точки данных во время обучения.

Затем я определил пару генераторов данных: один для данных обучения, а другой — для данных проверки.Генератор данных , способен загружать необходимый объем данных (мини-пакет изображений) непосредственно из исходной папки, преобразовывать их в обучающие данные (поданные в модель) и обучающие цели (вектор атрибутов). — сигнал наблюдения).

Для своих экспериментов я обычно устанавливаю batch_size = 64 . В общем, значение от 32 до 128 должно работать. Обычно вам следует увеличивать / уменьшать размер пакета в зависимости от вычислительных ресурсов и производительности модели.

После этого я определил некоторые константы для дальнейшего использования.

Следующим шагом было построение модели. Это можно описать в следующих 5 шагах.

1. Я использовал пять сверточных блоков, состоящих из сверточного слоя, максимального объединения и пакетной нормализации.
2. Поверх него я использовал плоский слой, а затем четыре полностью связанных слоя.
3. Также в промежутках я использовал дропауты, чтобы уменьшить переобучение.
4. Функция активации была Relu повсюду, за исключением последнего слоя, где она была Sigmoid, поскольку это проблема двоичной классификации.
5. Я использовал Адама в качестве оптимизатора и кросс-энтропию в качестве потерь.

Перед обучением модель полезно определить один или несколько обратных вызовов. Довольно удобные: ModelCheckpoint и EarlyStopping .

• ModelCheckpoint : когда обучение требует много времени для достижения хорошего результата, часто требуется много итераций. В этом случае лучше сохранять копию наиболее эффективной модели только по окончании эпохи, улучшающей показатели.
• EarlyStopping : иногда во время обучения мы можем заметить, что разрыв обобщения (то есть разница между обучением и ошибкой проверки) начинает увеличиваться, а не уменьшаться. Это симптом переобучения, который можно решить разными способами ( уменьшает емкость модели , увеличивает обучающие данные , увеличивает данные , регуляризация , пропадание и т. Д.). Часто практичным и эффективным решением является прекращение тренировок, когда разрыв в обобщении ухудшается.

Ранняя остановка

Затем я обучил модель для 10 эпох с размером пакета 32. Обратите внимание, что обычно больший размер пакета дает лучшие результаты, но за счет более высокой вычислительной нагрузки. Некоторые исследования также утверждают, что существует оптимальный размер пакета для достижения наилучших результатов, который можно найти, потратив некоторое время на настройку гиперпараметров.

 Эпоха 1/10
163/163 [==============================] - 90 с 551 мс / шаг - потеря: 0.3855 - согласно: 0.8196 - val_loss: 2.5884 - val_acc: 0.3783
Эпоха 2/10
163/163 [==============================] - 82 с 506 мс / шаг - потеря: 0,2928 - точность: 0,8735 - val_loss : 1.4988 - val_acc: 0.6284
Эпоха 3/10
163/163 [==============================] - 81 с 498 мс / шаг - потеря: 0,2581 - точность: 0,8963 - val_loss : 1.1351 - val_acc: 0.3970

Эпоха 00003: ReduceLROnPlateau снижает скорость обучения до 0,0003000000142492354.
Эпоха 4/10
163/163 [==============================] - 81 с 495 мс / шаг - потеря: 0.2027 - согласно: 0.9197 - val_loss: 0.3323 - val_acc: 0.8463
Эпоха 5/10
163/163 [==============================] - 81 с 500 мс / шаг - потеря: 0,1909 - точность: 0,9294 - val_loss : 0.2530 - val_acc: 0.9139

Эпоха 00005: Уменьшите LROnPlateau, снижая скорость обучения до 9.000000427477062e-05.
Эпоха 6/10
163/163 [==============================] - 81 с 495 мс / шаг - потеря: 0,1639 - точность: 0,9423 - val_loss : 0.3316 - val_acc: 0.8834
Эпоха 7/10
163/163 [==============================] - 80 с 492 мс / шаг - потеря: 0.1625 - согласно: 0.9387 - val_loss: 0.2403 - val_acc: 0.8919

Эпоха 00007: ReduceLROnPlateau снижает скорость обучения до 2,700000040931627e-05.
Эпоха 8/10
163/163 [==============================] - 80 с 490 мс / шаг - потеря: 0,1587 - точность: 0,9423 - val_loss : 0.2732 - val_acc: 0.9122
Эпоха 9/10
163/163 [==============================] - 81 с 496 мс / шаг - потеря: 0,1575 - точность: 0,9419 - val_loss : 0.2605 - val_acc: 0.9054

Эпоха 00009: Уменьшите LROnPlateau, снизив скорость обучения до 8.100000013655517e-06.
Эпоха 10/10
163/163 [==============================] - 80 с 490 мс / шаг - потеря: 0,1633 - точность: 0,9423 - val_loss : 0.2589 - val_acc: 0.9155 

Давайте визуализируем графики потерь и точности.

Точность в сравнении с эпохой | Проигрыш против Эпохи

Пока все хорошо. Модель сходится, что можно наблюдать по уменьшению потерь и потерь проверки с эпохами. Также он может достичь точности проверки 90% всего за 10 эпох.

Давайте построим матрицу неточностей и получим некоторые другие результаты, такие как точность, отзывчивость, оценка F1 и точность.

  МАТРИЦА НЕИСПРАВНОСТИ ------------------
[[191 43]
 [13 377]]

ТЕСТОВЫЕ ПОКАЗАТЕЛИ ----------------------
Точность: 91.02564102564102%
Точность: 89.7611%
Отзыв: 96.66666666666667%
F1-оценка: 93.08641975308642

ПОЕЗДНАЯ МЕТРИКА ----------------------
Поезд: 94.23  

Модель способна достигать точности 91.02%, что неплохо, учитывая размер используемых данных.

Выводы

Хотя этот проект еще далек от завершения, примечателен успех глубокого обучения в таких разнообразных реальных проблемах. Я продемонстрировал, как классифицировать положительные и отрицательные данные о пневмонии из коллекции рентгеновских снимков. Модель была создана с нуля, что отличает ее от других методов, которые в значительной степени зависят от подхода трансферного обучения. В будущем эта работа может быть расширена для обнаружения и классификации рентгеновских изображений, состоящих из рака легких и пневмонии.В последнее время большой проблемой было различение рентгеновских изображений, на которых обнаружены рак легких и пневмония, и нашим следующим подходом должно быть решение этой проблемы.

Ссылки / Дополнительная литература

Обучение CNN обнаружению пневмонии
Я так хорошо помню тот день. Дедушка начал беспорядочно кашлять, и у него начались проблемы с дыханием. Он был …

Обнаружение пневмонии с помощью глубокого обучения
Пневмония — это воспаление легких, вызванное инфицированием вирусом, бактериями, грибами или другими патогенами.Согласно …

CheXNet: Обнаружение пневмонии на уровне радиолога на рентгеновских снимках грудной клетки с глубоким обучением
Набор данных, выпущенный NIH, содержит 112 120 рентгеновских снимков фронтального обзора 30 805 уникальных пациентов, помеченных …

Перед тем, как уйти

Соответствующий исходный код можно найти здесь.

abhinavsagar / Kaggle-tutorial
Образцы тетрадей для соревнований Kaggle. Автоматическая сегментация микроскопических изображений — важная задача в медицине…

Приятного чтения, удачного обучения и удачного программирования!

Контакты

Если вы хотите быть в курсе моих последних статей и проектов, подписывайтесь на меня на Medium. Вот некоторые из моих контактных данных:

Биография: Абхинав Сагар учится в старших классах VIT Vellore. Он интересуется наукой о данных, машинным обучением и их приложениями к реальным проблемам.

Оригинал. Размещено с разрешения.

Связанный:

Эффективное сочетание моделей глубокого и машинного обучения для диагностики COVID-19 на рентгеновских снимках грудной клетки

Abstract

Вновь возникший коронавирус (COVID-19) серьезно угрожает жизни и здоровью людей во всем мире. В борьбе с COVID-19 наиболее важным шагом является эффективный скрининг и диагностика инфицированных пациентов. Среди них технология рентгенографии грудной клетки является ценным методом визуальной диагностики.Использование компьютерной диагностики для скрининга рентгеновских снимков случаев COVID-19 может дать экспертам дополнительные рекомендации по диагностике, которые могут в определенной степени снизить нагрузку на экспертов. В этом исследовании мы сначала использовали обычные методы трансферного обучения, используя пять предварительно обученных моделей глубокого обучения, которые модель Xception показала относительно идеальный эффект, а диагностическая точность достигла 96,75%. Чтобы еще больше повысить точность диагностики, мы предлагаем эффективный метод диагностики, который использует комбинацию глубоких функций и классификации машинного обучения.Он реализует модель сквозной диагностики. Предложенный метод был протестирован на двух наборах данных и отлично показал себя на обоих. Сначала мы оценили модель на 1102 рентгеновских снимках грудной клетки. Результаты экспериментов показывают, что диагностическая точность Xception + SVM достигает 99,33%. По сравнению с базовой моделью Xception точность диагностики улучшена на 2,58%. Чувствительность, специфичность и AUC этой модели достигли 99,27%, 99,38% и 99,32% соответственно. Чтобы дополнительно проиллюстрировать надежность нашего метода, мы также протестировали нашу предложенную модель на другом наборе данных.Наконец-то тоже добился хороших результатов. По сравнению с другими исследованиями, предлагаемый нами метод имеет более высокую точность классификации и эффективную диагностику. В целом, предлагаемый метод существенно продвигает существующую методологию, основанную на радиологии, он может быть очень полезным инструментом для практикующих врачей и радиологов в диагностике и наблюдении за случаями COVID-19.

Образец цитирования: Wang D, Mo J, Zhou G, Xu L, Liu Y (2020) Эффективное сочетание моделей глубокого и машинного обучения для диагностики COVID-19 на рентгеновских снимках грудной клетки.PLoS ONE 15 (11): e0242535. https://doi.org/10.1371/journal.pone.0242535

Редактор: Jeonghwan Gwak, Корейский национальный университет транспорта, РЕСПУБЛИКА КОРЕЯ

Поступила: 10 августа 2020 г .; Принята к печати: 5 ноября 2020 г .; Опубликовано: 17 ноября 2020 г.

Авторские права: © 2020 Wang et al. Это статья в открытом доступе, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.

Доступность данных: Все файлы изображений доступны в репозиториях GitHub и Kaggle (https://github.com/ieee8023/covid-chestxray-dataset. Https://github.com/agchung/Figure1-COVID-chestxray -dataset. https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia.) Все файлы изображений, которые мы использовали, находятся по адресу https://www.kaggle.com/pokerg/xraydataset?select=Xray+dataset.

Финансирование: Работа поддержана Фондом естественных наук Синьцзян-Уйгурского автономного района (грант №2019D01C072).

Конкурирующие интересы: Авторы заявили об отсутствии конкурирующих интересов.

1. Введение

После вспышки COVID-19 в Ухане, провинция Хубэй, Китай, в декабре 2019 года, она быстро распространилась за короткий период времени. Через месяц, 30 января 2020 года, Всемирная организация здравоохранения (ВОЗ) объявила, что COVID-19 является глобальной чрезвычайной ситуацией в области здравоохранения [1]. На момент написания этой статьи совокупное количество диагнозов в мире превысило 6 миллионов, а число смертей увеличилось до 300 000, что серьезно угрожало жизни и здоровью людей во всем мире.COVID-19 вызывается вирусом, который называется коронавирусом тяжелого острого респираторного синдрома 2 (SARS-CoV-2) [2]. В феврале 2020 года Всемирная организация здравоохранения (ВОЗ) назвала заболевание, вызванное SARS-CoV-2, COVID-19. В течение этого периода ВОЗ предложила, чтобы ключевым шагом в борьбе с распространением вирусных инфекций было удержание населения на социальной дистанции и своевременное отслеживание тесных контактов. Точная диагностика и скрининг пациентов с COVID-19, с одной стороны, позволяет инфицированным людям получить своевременное лечение, а с другой — эффективно предотвращать дальнейшее распространение вируса.Наибольшую сложность в настоящее время представляет обнаружение и диагностика COVID-19. Хотя использование полимеразной цепной реакции с обратной транскриптазой (ОТ-ПЦР) в реальном времени для обнаружения вирусных нуклеиновых кислот является признанным золотым стандартом для диагностики этого типа вируса [3]. Однако из-за широкого спектра эпидемий и недостаточного количества материалов для тестирования многие районы и страны с высокой заболеваемостью не имеют достаточного количества тестовых реагентов для проведения тестов ОТ-ПЦР на сотнях тысяч подозреваемых пациентов. Кроме того, этот метод обнаружения обычно занимает несколько часов или даже дней.В то же время, чтобы обеспечить надежные результаты испытаний, образец необходимо тестировать несколько раз с интервалом в несколько дней.

Исследования показали, что использование технологий визуализации (рентген или компьютерная томография (КТ)) для диагностики и скрининга COVID-19 имеет более высокую чувствительность и может использоваться в качестве альтернативы ОТ-ПЦР [4, 5]. Обычно компьютерная томография занимает больше времени, чем рентгеновская визуализация, а рентгеновская визуализация в реальном времени может значительно ускорить скрининг заболеваний. Кроме того, во многих менее развитых регионах может не хватить качественных компьютерных томографов.Поскольку рентгеновское оборудование недорогое и простое в эксплуатации, большинство амбулаторных клиник и учреждений развернули рентгеновское оборудование в качестве необходимого оборудования для визуализации. По сравнению с компьютерной томографией, рентгеновская визуализация является наиболее распространенной и широко используемой технологией диагностической визуализации и играет жизненно важную роль в клинических медсестринских и эпидемиологических исследованиях [6]. Поэтому в качестве объекта исследования были выбраны рентгеновские снимки грудной клетки. Однако радиологи и эксперты в основном интерпретируют изображения на основе личного клинического опыта при анализе рентгеновских изображений.Обычно разные врачи или специалисты по-разному понимают один и тот же образ. Более того, ситуация с одним и тем же изображением в разные периоды не совсем согласована, и сделанные выводы будут разными. Кроме того, объем работы по интерпретации изображений огромен, и врачи склонны ошибаться в диагнозе из-за усталости. Следовательно, существует острая потребность в системе компьютерной диагностики, которая поможет рентгенологам быстрее и точнее интерпретировать изображения.

В настоящее время искусственный интеллект все чаще используется для диагностики и анализа медицинских изображений.Среди них эффект глубокого обучения, особенно сверточных нейронных сетей (CNN), в области компьютерного зрения даже превзошел человеческий [7, 8]. Rajpurkar et al. [7] предложили модель обнаружения пневмонии: CheXNet. Автор обучил модель на наборе данных ChestX-ray14 [9] для выявления 14 заболеваний легких, и ее эффект даже превзошел результат обычной диагностики рентгенолога. Что касается COVID-19, в недавней литературе также были опубликованы сообщения: Wang et al. [10] не только создали новую модель архитектуры COVID-net, но и установили более крупный набор данных COVIDx (состоящий из 13 800 рентгеновских снимков грудной клетки).Цель состоит в том, чтобы классифицировать рентгеновские изображения как нормальные, пневмонию и COVID-19. Результаты показали, что точность диагностики COVID-19 достигла 92,4%. Эль-Дин Хемдан и др. [11] сравнили несколько традиционных структур классификации глубокого обучения и предварительно обучили модель в наборе данных ImageNet [12], чтобы различать нормальные и COVID-19. В ходе эксперимента они выбрали небольшой набор данных, состоящий всего из 50 изображений, 25 из которых были получены от здоровых пациентов, а 25 — от пациентов, инфицированных COVID-19. В модели, выбранной автором, VGG19 и DenseNet показали схожую производительность с F1-Score 0.89 и 0,91 для нормы и COVID-19 соответственно. Farooq et al. [13] предложили точно настроенную архитектуру ResNet-50, которая разделяла рентгенограммы грудной клетки на нормальные, COVID-19, бактериальную пневмонию и вирусную пневмонию. По сравнению с COVID-net [10], авторы сообщают о большей точности. Апостолопулос и др. [14] выполнили всесторонние эксперименты с современными моделями CNN, применяющими трансферное обучение. В конце концов, авторы обнаружили, что VGG-19 превосходит другие CNN по точности. Нарин и др. [15] реализовали три различных глубоких модели CNN, такие как ResNet-50, InceptionV3 и Inception-ResNetV2, где они также использовали трансферное обучение для обнаружения COVID-19.Несмотря на то, что многие подходы для распознавания коронавируса уже разработаны и внедрены, для различных наборов данных все еще есть возможности для повышения производительности.

Согласно опросу, помимо некоторых из упомянутых выше отчетов, глубинное обучение или другие методы используются мало для диагностики и скрининга COVID-19 с помощью рентгеновских лучей. Поэтому наша цель — создать эффективное сочетание глубоких функций и классификации машинного обучения, чтобы помочь рентгенологам более точно диагностировать COVID-19 на рентгеновских изображениях.Основные вклады в эту работу следующие:

1. Во-первых, для преодоления проблемы переобучения, вызванной ограниченным количеством обучающих изображений при глубоком обучении, принято переносное обучение. Из-за отсутствия общедоступного набора данных о COVID-19 мы подготовили набор данных, содержащий 1102 рентгеновских снимка грудной клетки здоровых пациентов и пациентов с положительным результатом COVID-19, и произвольно разделили обучающий набор и тестовый набор. Пять популярных моделей сверточных нейронных сетей, включая VGG16, InceptionV3, ResNet50, Xception и DenseNet121, были предварительно обучены на наборе данных ImageNet.И их работоспособность оценивалась на тестовом наборе, содержащем 298 рентгеновских снимков. Точность нашей лучшей модели (Xception) составляет 96,75%.
2. Мы используем метод автоматического извлечения признаков из глубоких сверточных нейронных сетей. Этот метод не требует традиционных ручных методов выделения признаков, что позволяет избежать сложных процессов выделения признаков. Этот метод позволяет напрямую извлекать узкие места из пяти предварительно обученных глубинных моделей. После выявления узких мест пациенты с COVID-19 проходят скрининг с помощью пяти традиционных классификаторов машинного обучения.
3. В результате обширных экспериментов мы обнаружили, что каждая глубокая модель показывает отличные характеристики на разных классификаторах. Точность лучшей модели достигает 99,33%. Стоит отметить, что наша лучшая модель также показывает хорошую точность на другом наборе данных.

Остальная часть статьи структурирована следующим образом: Второй раздел знакомит с методом, использованным в этом исследовании. Третий раздел знакомит с экспериментальным процессом. В четвертом разделе обсуждаются экспериментальные результаты.Наконец, пятый раздел подводит итоги исследования.

2. Метод

2.1. Передача обучения и предварительно обученная модель

В области медицинской визуализации часто бывает сложно получить большой набор данных. Поскольку количество изображений, помеченных в настоящее время как COVID-19, минимально, некоторые модели глубины не могут получить лучшие результаты на этих нескольких изображениях [16–18]. С одной стороны, поскольку используемая модель не может узнать фактическое распределение образцов изображений, что может легко привести к переобучению, а с другой стороны, модель глубокого обучения обычно требует большого количества помеченных изображений для обучения модели.Поэтому, чтобы преодолеть эти проблемы, мы сначала используем широко используемую стратегию: трансферное обучение (с использованием модели, которая была предварительно обучена на обширном маркированном наборе данных для другой задачи), как показано на рис. 1.

Чтобы обучить нейронную сеть с нуля, нам нужно много данных, достаточно вычислительной мощности и времени, что непрактично. Поэтому мы тонко настраивали параметры предварительно обученной сетевой модели глубокого обучения, чтобы адаптироваться к новой задаче. Начальный уровень сетевой модели часто может изучать только низкоуровневые функции.Когда сеть расширяется, она будет стремиться изучать более конкретные шаблоны обучающих задач. Поэтому в нашем методе, поскольку количество изображений COVID-19 минимально, мы настраиваем только последний слой сверточной нейронной сети. Удалив полностью связанный слой на верхнем уровне предварительно обученной модели, добавьте настраиваемый полностью связанный слой на верхний слой, а затем заморозьте сверточный слой перед сетью, чтобы обучить только настроенный полностью связанный слой. В нашем исследовании мы оценили производительность пяти часто используемых моделей, а именно VGG16 [19], InceptionV3 [20], ResNet50 [21], DenseNet121 [22] и Xception [23].Полная информация о пяти предварительно обученных сетях, используемых в этом исследовании, с их размером входных данных, количеством слоев, а также количеством параметров, проиллюстрирована в таблице S2. Ниже мы кратко опишем архитектуру этих моделей.

1. Симонян и Зиссерман предложили VGG16 [19]. Модель участвовала в конкурсе ImageNet Large Scale Visual Recognition Challenge 2014 (ILSVRC2014) в 2014 году и достигла отличных результатов. По сравнению с AlexNet в нем использовалось меньшее ядро ​​свертки, меньшее количество параметров и значительно улучшен эффект классификации.Существует две версии этой глубокой сетевой архитектуры, а именно VGG16 и VGG19. Среди них VGG19 имеет больше уровней, чем VGG16, с более значительными накладными расходами и большим количеством параметров.
2. InceptionV3 занял первое место на GoogLeNet в 2014 году с точностью в топ-5 93,3%. Сеть разделяет большую двумерную свертку на две одномерные свертки меньшего размера. Это не только уменьшает большое количество параметров, но также ускоряет вычисления и уменьшает переобучение.Архитектура InceptionV3 подчеркивает важность управления памятью и вычислительной мощности модели.
3. ResNet50 — очень популярная структура сверточной нейронной сети в последние годы. Он выиграл чемпионат в соревновании ILSVRC2015. Его творчески предложенная остаточная структура обеспечивает более простой градиентный поток и более эффективное обучение.
4. DenseNet121 — это новейшая сетевая архитектура. Победитель конкурса ImageNet 2017 года. Он использует функции для достижения лучших результатов и меньшего количества параметров.Он может напрямую соединять все уровни при условии обеспечения максимальной передачи информации между уровнями в сети.
5. Xception доводит метод начала до крайности. Предполагается, что межканальная корреляция и пространственная корреляция могут быть разделены. Кроме того, производительность классификации в наборе данных ImageNet немного лучше, чем в InceptionV3. А использование того же количества параметров для крупномасштабных наборов данных изображений может повысить производительность.

2.2. Предлагаемый метод

Мы предлагаем метод — использование глубоких функций в сочетании с методами классификации машинного обучения для автоматической диагностики COVID-19 на рентгеновских снимках. Процесс предлагаемого метода показан на рис. 2. Предлагаемая структура включает три основных шага для выполнения процедуры диагностики COVID-19, как показано ниже.

Рис 2. Обзорная блок-схема предлагаемого метода.

(a) Входной набор данных необработанного изображения. (b) Предварительная обработка данных (c) Предварительно обученные модели глубокого обучения и извлечение узких мест.(c-1) Пример базовой сетевой архитектуры (VGG16). (c-2) Пять основных моделей глубокого обучения (d) Классифицируйте с помощью классификатора машинного обучения. (d-1) Пять традиционных методов классификации машинного обучения.

https://doi.org/10.1371/journal.pone.0242535.g002

Шаг № 1: Введите необработанный набор данных изображения и предварительную обработку. Метод, предложенный в этой статье, позволяет избежать обширных шагов предварительной обработки и улучшает обобщающую способность архитектуры CNN. Это помогает сделать модель более устойчивой к шумам, артефактам и изменениям во входном изображении на этапе извлечения признаков.Следовательно, при обучении модели глубокого обучения мы использовали только два стандартных шага предварительной обработки и увеличение данных.

1. Измените масштаб всех изображений: поскольку изображения в наборе данных могут поступать с разных устройств, параметры получения изображений также различаются, и каждое изображение имеет разный размер пикселя. Следовательно, есть значительные изменения в интенсивности и размере изображения. Затем мы изменили размер всех изображений до размера 224 × 224 пикселей.
2. Нормализация изображения: неизбежно, что некоторые изображения в используемом наборе данных рентгеновского снимка грудной клетки могут быть получены с разных устройств сбора данных, и параметры устройств будут разными.Интенсивность пикселей каждого изображения может значительно различаться. Следовательно, мы нормализуем значения интенсивности всех изображений между [–1, 1]. Преимущество нормализации состоит в том, что модель менее чувствительна к небольшим изменениям весов и ее легко оптимизировать.
3. Дополнение данных: По мере того, как сеть модели углубляется, параметры, которые необходимо изучить, также будут увеличиваться, что легко приведет к переобучению. В этом случае, чтобы решить проблему чрезмерной подгонки, вызванную небольшим количеством обучающих изображений, мы добавили увеличение данных (поворот и масштабирование), произвольный поворот изображений на 30 градусов и случайное увеличение изображений на 20%.

Шаг № 2: Предварительно обученные модели глубокого обучения и извлечение узких мест. В эксперименте с передаточным обучением данного исследования производительность, полученная с помощью метода точной настройки, не имеет значения. Мы предлагаем другой метод представления сверточных функций для улучшения обобщающих характеристик модели. В этом методе мы использовали пять предварительно обученных моделей CNN (VGG16, InceptionV3, ResNet50, DenseNet121 и Xception) в качестве экстракторов признаков. Первое входное изображение кодируется как вектор признаков дескриптора изображения.Каждая модель вычисляет закодированный вектор признаков и, наконец, извлекаются узкие места каждой модели. Извлеченные узкие места представляют собой вектор низкой размерности, который может значительно сократить время обучения модели по сравнению с повторным обучением модели после точной настройки.

Шаг № 3: Классифицируйте с помощью классификатора машинного обучения. На последнем этапе фреймворка. Сначала сохраните узкие места каждой модели, а затем введите сгенерированные функции в пять различных классификаторов машинного обучения (Дерево решений [24], Случайный лес [25], AdaBoost [26], Баггинг [27], SVM [28]). .Наконец, все рентгеновские снимки были классифицированы как случаи COVID 19 или нормальные случаи.

3. Эксперимент

3.1. Набор данных и установка для эксперимента

Поскольку COVID-19 — новое заболевание, в настоящее время нет набора данных подходящего размера для этого исследования. Поэтому мы объединили и изменили три разных общедоступных набора данных. В это исследование были включены только передне-задние и задне-передние рентгеновские снимки грудной клетки от COVID-19.

1. Первый набор данных — это общедоступный набор данных рентгеновских изображений и изображений компьютерной томографии, предоставленных доктором Дж.Джозеф Коэн, получено из репозитория GitHub [29]. До 15.09.2020 набор данных включает более 657 рентгеновских изображений и изображений компьютерной томографии пациентов, инфицированных COVID-19 и другими заболеваниями (такими как MERS, SARS и ARDS). Здесь мы рассмотрели только рентгеновские снимки и выбрали 500 снимков пациентов с COVID-19.
2. Второй набор данных — это «Инициатива по набору данных рентгеновского снимка грудной клетки с COVID-19» [10, 30], в которой было отобрано 37 рентгеновских изображений пациентов с COVID-19.
3. Чтобы преодолеть проблему несбалансированных данных, мы использовали метод повторной выборки (случайная недостаточная выборка), который включает случайное удаление примеров из класса большинства до тех пор, пока набор данных не станет сбалансированным.Мы случайным образом использовали 565 нормальных рентгеновских изображений из набора данных рентгеновского снимка грудной клетки, предоставленного Kaggle [31].

Всего было получено 1102 рентгеновских снимка грудной клетки путем объединения трех вышеуказанных общедоступных наборов данных, и набор данных состоит из 565 нормальных и 537 случаев COVID-19. Эти изображения случайным образом делятся на обучающий набор (70%) и тестовый набор (30%) и гарантируют, что несколько изображений одного и того же пациента находятся в обучающем наборе или наборе тестов. На этапе обучения 20% обучающего набора будут использоваться в качестве набора для проверки.Таблицы 1 и 2 перечисляют конкретную информацию о разделении изображений и распределении изображений. Нормальные изображения и изображения COVID-19, извлеченные из нашего набора данных, показаны на рис. 3.

Все экспериментальные операции выполняются в Google Colaboratory, поскольку он предоставляет полную библиотеку Keras и отличные условия для экспериментов (Tesla P100 PCI-E 16GB GPU и 12,72GB RAM).

3.3. Подробности реализации

Как упоминалось ранее, в нашем исследовании мы обсуждали два метода диагностики COVID-19:

1. Используя предварительно обученные модели для трансферного обучения, эти модели включают VGG16, InceptionV3, ResNet50, DenseNet121 и Xception.
2. Использование функций Deep и традиционных методов классификации машинного обучения позволяет автоматически диагностировать COVID-19. Для первого метода мы удалили верхний слой каждой модели и заморозили предыдущий сверточный слой, а внизу добавили мои собственные плотные слои. Добавьте слой исключения в плотном слое и используйте регуляризацию L1, чтобы предотвратить переобучение модели, и определите потерю как категориальную перекрестную энтропию. Оптимизатор Adam используется для обучения предлагаемому набору данных. Мы устанавливаем гиперпараметры, используемые в обучении, исходя из опыта: скорость обучения = 1e-7, эпохи = 1000, размер пакета = 32.Во время обучения, чтобы получить максимальную производительность обобщения обученной нейронной сети, мы также устанавливаем раннюю остановку. Для второго метода используется 10-кратная перекрестная проверка для оценки эффективности обобщения каждого классификатора машинного обучения.

4. Результаты и обсуждение

4.1. Результаты классификации по предлагаемому нами набору данных

Во-первых, пять предварительно обученных моделей используются для классификации рентгеновских снимков грудной клетки. В таблице 3 показаны результаты подробного сравнения пяти различных предварительно обученных моделей с использованием шести оценочных индексов.Путем повторения трех экспериментов (возьмите среднее из трех результатов, каждый результат приведен в таблице S1) этот метод передачи обучения показал отличные результаты в предлагаемом нами наборе данных. В целом Xception показал разумную среднюю точность 96,75%. По сравнению с несколькими другими моделями эффект от модели относительно стабилен со стандартным отклонением всего 0,16%. Также можно отметить, что модель Xception также показывает хорошую чувствительность (средняя чувствительность составляет 94,16%), что важно, потому что мы хотим максимально ограничить частоту пропуска диагностики COVID-19.В то же время модель также хорошо работает при классификации нормальных случаев со средней специфичностью 99,17%. Средний показатель F1 составляет 96,38%, а среднее значение AUC также достигло 96,54%, что показывает, что Xception может более точно отличить нормальные случаи от COVID-19. Возможная причина в том, что Xception использует разделимую по глубине свертку для замены исходной операции свертки в InceptionV3. По сравнению с обычной сверткой, разделимая по глубине свертка обладает большей способностью к выражению.Введение разделимой по глубине свертки не уменьшило сложность сети, но расширило сеть так, чтобы количество параметров было таким же, как в Inception v3, и тогда производительность будет лучше при этой предпосылке. На рис. S1 показаны потери при обучении / проверке и точность при обучении / проверке модели Xception. Из S1 Fig можно видеть, что когда эпоха 314, потеря проверки является самой низкой, и в это время обучение останавливается. Мы устанавливаем раннюю остановку во время обучения, чтобы предотвратить ухудшение производительности обобщения модели, вызванное продолжением обучения.

Чтобы еще больше улучшить способность к обобщению и точность модели, мы использовали предварительно обученные модели глубокого обучения и традиционные методы классификации машинного обучения для автоматической диагностики COVID-19. Извлеките и сохраните узкие места на пяти предварительно обученных моделях, а затем используйте пять алгоритмов классификации машинного обучения, чтобы различать нормальные и COVID-19.

В таблицах 4–8 приведены результаты оценки различных моделей и пяти алгоритмов машинного обучения.В то же время матрица неточностей каждого метода отображается в таблице S4. Эти пять алгоритмов машинного обучения включают SVM, RF (случайный лес), DT (дерево решений), AdaBoost и Bagging. Из этих таблиц и таблицы S4 видно, что по сравнению с традиционным методом трансферного обучения индекс оценки был улучшен. Стоит отметить, что каждая предварительно обученная модель с разными классификаторами имеет отличную производительность. Таблица 8 имеет лучшую производительность, а точность Xception + SVM достигает 99.33%. По сравнению с другими методами, показатели AUC и F1 также оптимальны.

Чувствительность составляет 99,27%, что указывает на то, что процент COVID-19, правильно оцененных как COVID-19, составляет 99,27%, что означает, что 136 из 137 случаев COVID-19 были правильно классифицированы (в таблице S4), и только 1 случай был пропущенный; Кроме того, мы обнаружили, что специфичность этого метода достигла 99,38%, что означает, что 160 из 161 нормального случая были правильно классифицированы, и только 1 случай был диагностирован неправильно. Поскольку слишком много пропущенных случаев и неправильно диагностированных случаев увеличит нагрузку на медицинскую систему, это приведет к дополнительному тестированию ПЦР и дополнительному уходу.Возможные причины: разнообразие деталей изображения случая COVID-19 делает индивидуальные различия более значительными, чем в обычном случае. Кроме того, особенности изображения положительных случаев более очевидны, чем характеристики обычных случаев, и их легче идентифицировать. По сравнению с моделью Xception, приведенной в таблице 3, эффект этих показателей оценки был улучшен, особенно с точки зрения точности, которая улучшилась почти на три процентных пункта. Причина очевидного улучшения эффекта может заключаться в том, что: узкие места предварительно обученной модели CNN сначала содержат высокоуровневую и очень разборчивую информацию.Следовательно, традиционный метод классификации машинного обучения может использовать эти выбранные глубокие функции для повышения производительности задачи классификации COVID-19. Кроме того, SVM обладает хорошей способностью к обучению, а результат обучения имеет хороший эффект обобщения. Это хороший классификатор в машинном обучении. Чтобы дополнительно проиллюстрировать результаты нашей оценки, мы сравнили время каждой предварительно обученной модели со временем глубокого извлечения признаков (в таблице S3). Из таблицы ясно видно, что время глубокого извлечения признаков намного меньше, чем у традиционного трансферного обучения, а прогнозирование каждого метода машинного обучения занимает не более 30 секунд.Таким образом, комбинация глубоких функций и методов машинного обучения дает лучшие результаты и имеет более высокую временную эффективность, чем традиционные методы трансферного обучения. Таким образом, эти высокоточные диагностические эффекты — это то, что мы хотим, и их также ожидает клиническая компьютерная диагностика.

4.2. Результаты классификации по другому набору данных

Для дальнейшей проверки обобщения и устойчивости мы протестировали наш наиболее эффективный метод на другом наборе данных, подготовленном Ozturk et al.[16]. Набор данных содержит около 500 нормальных и 125 рентгеновских снимков грудной клетки от COVID-19. Среди них 125 изображений COVID-19 из того же источника, что и наш набор данных. Однако обычные рентгеновские изображения были собраны из набора данных рентгеновского снимка грудной клетки, предоставленного Wang et al. [9]. После обучения наш лучший метод также показал точность более 95% на другом наборе данных. Результат показан в Таблице 9.

В таблице 10 сравнивается метод, предложенный в этом исследовании, с текущим методом классификации изображений COVID-19 и обычных изображений.Каждый индекс в таблице взят из лучшего метода их исследования. В целом методы, предложенные в нашем исследовании, работают лучше.

4.3. Ограничения и будущая работа

В текущем исследовании все еще есть несколько ограничений. Во-первых, глубокие функции в сочетании с машинным обучением проверяются только в задаче классификации COVID-19 по сравнению с обычной. В будущем мы планируем применить предложенный нами метод для решения других задач классификации COVID-19 (например, COVID-19 против нормальной против бактериальной пневмонии противвирусная пневмония, тяжелые пациенты против нетяжелых пациентов и т. д.). Во-вторых, исследование имеет потенциальное ограничение относительно все еще относительно небольшого количества изображений COVID-19 и Normal, несмотря на то, что пока это лучшие результаты по сравнению с предыдущей литературой. Необходимо больше изображений COVID-19 и Normal, чтобы повысить надежность предлагаемых в будущих исследованиях. В качестве будущей работы мы планируем расширить набор данных и внедрить КТ-изображения и оценить предлагаемый метод на более широком наборе легочных заболеваний.

5.Выводы

В этом исследовании мы предлагаем эффективный метод диагностики для выявления и различения случаев COVID-19 на рентгеновских снимках грудной клетки. В общем, мы реализовали два метода, а именно традиционный метод трансферного обучения и комбинацию предварительно обученной модели глубокого обучения и традиционной классификации машинного обучения. Хотя модель Xception показывает точность (96,75%) в нашем традиционном методе обучения передачи, она также показывает высокую специфичность и чувствительность. Однако традиционные методы трансферного обучения не имеют преимуществ перед другими исследованиями в этой области.Чтобы еще больше повысить точность диагностики, в этом исследовании предлагается эффективный метод диагностики случаев COVID-19, основанный на сочетании глубокого извлечения признаков и классификации машинного обучения. Узкие места извлекаются для пяти предварительно обученных моделей, а затем для классификации используются пять алгоритмов машинного обучения. В ходе эксперимента была найдена наилучшая комбинация извлеченного вектора признаков и алгоритма машинного обучения (Xception + SVM). Эта лучшая комбинация достигла точности 99.33%. По сравнению с лучшей моделью Xception в базовой работе не только диагностическая точность этого метода была улучшена на 2,58%, но и несколько других показателей оценки также были значительно улучшены. Чувствительность увеличилась на 5,11%, а AUC — на 2,78%. Чтобы сделать наш метод более убедительным, мы сравнили время каждой предварительно обученной модели со временем глубокого извлечения признаков. Мы обнаружили, что время глубокого извлечения признаков намного меньше, чем у традиционного трансферного обучения.Таким образом, комбинация глубоких функций и методов машинного обучения дает лучшие результаты и имеет более высокую временную эффективность, чем традиционные методы трансферного обучения. В то же время, чтобы проверить надежность, мы протестировали предлагаемый нами метод на другом наборе данных, подготовленном Ozturk et al. Предложенный нами метод достиг общей точности 95%. По сравнению с предыдущими исследованиями наш метод также имеет определенные преимущества. Видно, что наше исследование имеет особое справочное значение для диагностики COVID-19.В дальнейшей работе мы планируем расширить набор данных и внедрить КТ изображения. В то же время, традиционный сетевой метод оптимизирован, и другие более эффективные сетевые структуры пробуются для дальнейшего повышения эффективности классификации. Мы также постараемся применить этот метод к медицинским устройствам или распространить его на другие медицинские задачи, чтобы помочь выявить COVID-19 и диагностировать другие заболевания.

Ссылки

1. 1. C S, Z A, N ON, M K, A K, A A-J и др. Всемирная организация здравоохранения объявляет глобальную чрезвычайную ситуацию: обзор романа 2019 года.Int J Surg 2020 Apr; 76: 71–76 Epub 2020 26 февраля. (1743–9159 (Электронный)): 71–6. pmid: 32112977
2. 2. S BS, P R, Y S, AM, C C, A S и др., Изобретатели Первые случаи коронавирусной болезни 2019 (COVID-19) во Франции: эпиднадзор.
3. 3. Хуан П., Лю Т., Хуанг Л., Лю Х., Лей М., Сюй В. и др. Использование КТ грудной клетки в сочетании с отрицательным анализом ОТ-ПЦР для выявления нового коронавируса 2019 г., но с высоким клиническим подозрением. 2020; 295 (1): 22–3. pmid: 32049600.
4. 4. Ng M-Y, Lee EY, Yang J, Yang F, Li X, Wang H и др.Профиль визуализации инфекции COVID-19: радиологические данные и обзор литературы. 2020; 2 (1): e200034.
5. 5. Лю Х., Лю Ф., Ли Дж., Чжан Т., Ван Д., Лан В. Особенности клинической и компьютерной томографии пневмонии COVID-19: внимание беременным женщинам и детям. Журнал инфекции. 2020; 80 (5): e7 – e13. pmid: 32171865
6. 6. Чжан Дж., Се И, Ли И, Шен С., Ся Ю. Скрининг на COVID-19 на рентгеновских снимках грудной клетки с использованием обнаружения аномалий на основе глубокого обучения. электронные распечатки arXiv [Интернет].2020 г. 01 марта 2020 г .: [arXiv: 2003.12338 p.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200312338Z.
7. 7. Раджпуркар П., Ирвин Дж., Чжу К., Ян Б., Мехта Х, Дуан Т. и др. CheXNet: Обнаружение пневмонии на уровне радиолога на рентгеновских снимках грудной клетки с глубоким обучением. электронные распечатки arXiv [Интернет]. 2017 г. 01 ноября 2017 г .: [arXiv: 1711.05225 p.]. Доступно по ссылке: https://ui.adsabs.harvard.edu/abs/2017arXiv171105225R.
8. 8. ЛеКун Й, Бенжио Й, Хинтон Дж. Глубокое обучение.2015; 521 (7553): 444. pmid: 26017442
9. 9. Ван X, Пэн Y, Лу Л, Лу З, Багери М., Саммерс Р.М. ChestX-Ray8: База данных рентгеновских снимков грудной клетки в больничном масштабе и контрольные показатели по слабо контролируемой классификации и локализации распространенных заболеваний грудной клетки. 2017: 3471.
10. 10. Ван Л., Вонг А. COVID-Net: специализированный дизайн глубокой сверточной нейронной сети для обнаружения случаев COVID-19 по рентгеновским изображениям грудной клетки. электронные распечатки arXiv [Интернет]. 2020 г. 01 марта 2020 г .: [arXiv: 2003.09871 p.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200309871W.
11. 11. Эль-Дин Хемдан Э, Шоуман М.А., Карар М.Э. COVIDX-Net: Структура классификаторов глубокого обучения для диагностики COVID-19 по рентгеновским изображениям. электронные распечатки arXiv [Интернет]. 2020 г. 01 марта 2020 г .: [arXiv: 2003.11055 p.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200311055E.
12. 12. Дэн Дж., Донг В., Сочер Р., Ли Л., Кай Л., Ли Ф. Ф. ImageNet: крупномасштабная база данных иерархических изображений.2009: 255.
13. 13. Фарук М., Хафиз А. COVID-ResNet: структура глубокого обучения для скрининга COVID19 с помощью рентгенограмм. электронные распечатки arXiv [Интернет]. 2020 г. 01 марта 2020 г .: [arXiv: 2003.14395 p.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200314395F.
14. 14. Апостолопулос И.Д., Бессиана Т. Covid-19: автоматическое обнаружение по рентгеновским изображениям с использованием передачи обучения с помощью сверточных нейронных сетей. электронные распечатки arXiv [Интернет]. 2020 г. 01 марта 2020 г .: [arXiv: 2003.11617 с.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200311617A. pmid: 32524445
15. 15. Нарин А., Кая С., Памук З. Автоматическое обнаружение коронавирусной болезни (COVID-19) с использованием рентгеновских изображений и глубоких сверточных нейронных сетей. электронные распечатки arXiv [Интернет]. 2020 г. 01 марта 2020 г .: [arXiv: 2003.10849 p.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200310849N.
16. 16. Озтюрк Т., Тало М., Йилдирим Э.А., Балоглу У.Б., Йилдирим О., Раджендра Ачарья У.Автоматическое обнаружение случаев COVID-19 с использованием глубоких нейронных сетей с помощью рентгеновских снимков. Компьютеры в биологии и медицине. 2020; 121: 103792. pmid: 32568675
17. 17. Панвар Х., Гупта П.К., Сиддики М.К., Моралес-Менендес Р., Сингх В. Применение глубокого обучения для быстрого обнаружения COVID-19 в рентгеновских лучах с использованием nCOVnet. Хаос, солитоны и фракталы. 2020; 138: 109944. pmid: 32536759
18. 18. Хан А.И., Шах Дж.Л., Бхат М.М. CoroNet: глубокая нейронная сеть для обнаружения и диагностики COVID-19 по рентгеновским снимкам грудной клетки.Компьютерные методы и программы в биомедицине. 2020; 196: 105581. pmid: 32534344
19. 19. Симонян К., Зиссерман А. Очень глубокие сверточные сети для распознавания крупномасштабных изображений. электронные распечатки arXiv [Интернет]. 2014 01 сентября 2014: [arXiv: 1409.556 p.]. Доступно по ссылке: https://ui.adsabs.harvard.edu/abs/2014arXiv1409.1556S.
20. 20. Сегеди С., Ванхаук В., Иоффе С., Шленс Дж., Война З.Б. Переосмысление начальной архитектуры компьютерного зрения 2016.
21. 21.Хе К., Чжан Х, Рен С., Сун Дж. Глубокое остаточное обучение для распознавания изображений 2016. 770–8 с.
22. 22. Хуанг Г., Лю З., ван дер Маатен Л., Вайнбергер К. Плотно связанные сверточные сети, 2017.
23. 23. Чолле Ф. Ксепшн: Глубокое обучение с разделенными по глубине свертками, 2017. 1800–7 с.
24. 24. Куинлан Р. Индукция деревьев решений. Машинное обучение. 1986; 1: 81–106.
25. 25. Брейман Л. Случайные леса, машинное обучение 45.Журнал клинической микробиологии. 2001; 2: 199–228.
26. 26. Шапайр Р. Теоретико-решающее обобщение онлайн-обучения и приложение для повышения квалификации. J Comp и Syst Sci. 1995; 55: 119–39.
27. 27. Предикторы Бреймана Л. Бэггинга «Машинное обучение. Машинное обучение. 1996; 24.
28. 28. Кортес С., Вапник В. Сеть опорных векторов. Машинное обучение. 1995; 20: 273–97.
29. 29. Коэн Дж. П., Моррисон П., Дао Л. Сбор данных изображений COVID-19.электронные распечатки arXiv [Интернет]. 2020 г. 01 марта 2020 г .: [arXiv: 2003.11597 p.]. Доступно по адресу: https://ui.adsabs.harvard.edu/abs/2020arXiv200311597C.
30. 30. Одри Чанг. Figure1-COVID-Chestxray-dataset 2020. Доступно по адресу: https://github.com/agchung/Figure1-COVID-chestxray-dataset.
31. 31. Муни П. Каггл, Набор данных рентгеновских снимков грудной клетки Kaggle (пневмония) за 2020 г. Доступно по адресу: https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia.
32. 32. Ван С., Кан Б., Ма Дж., Цзэн Х, Сяо М., Го Дж. И др.Алгоритм глубокого обучения с использованием изображений компьютерной томографии для выявления коронавируса (COVID-19). 2020: 2020.02.14.20023028.
33. 33. Чжэн Ц., Дэн Х, Фу Ц., Чжоу Ц., Фэн Дж, Ма Х и др. Обнаружение COVID-19 на основе глубокого обучения с помощью КТ грудной клетки с использованием Weak Label.

    No related posts.