Покраска пятном: Покрасить машину пятном и сохранить родное ЛКП

Для проведения кислотостойкого окрашивания термофиксированный мазок заливают первичным красителем карбол фуксином, а предметное стекло нагревают на водяной бане с паром.Тепло «плавит» восковую клеточную стенку и позволяет клеткам поглощать краситель. Затем слайду дают остыть и добавляют раствор кислоты и спирта в качестве обесцвечивающего средства. Клетки, которые являются «кислотоустойчивыми» из-за миколовой кислоты в их клеточной стенке, сопротивляются обесцвечиванию и сохраняют первичное окрашивание. Все остальные типы клеток обесцвечиваются. Затем метиленовый синий используется в качестве контрастного красителя. В конце концов, кислотоустойчивые бактерии (КУБ) будут окрашены в ярко-розовый цвет, а все другие типы клеток станут синими.

Методы окрашивания для выделения специфических клеточных структур

Капсула : полисахаридная слизь, окружающая некоторые виды бактерий и несколько типов эукариотических микробов, лучше всего визуализируется при отрицательном окрашивании клеток. В этом методе бактерии сначала смешиваются с пятном, а затем капля смеси распределяется по поверхности предметного стекла в виде тонкой пленки. При использовании этого метода капсулы выглядят как прозрачный слой вокруг бактериальных клеток с темным фоном.

Метахроматические гранулы или другие внутрицитоплазматические тельца : Некоторые бактерии могут содержать накопительные тельца, которые могут окрашиваться. Одним из примеров является грамположительная палочка Corynebacterium , которая накапливает фосфат в структурах, называемых «волютином», или метахроматических гранулах, находящихся внутри клеточной мембраны. Для визуализации внутрицитоплазматических тел у бактерий используются различные методы окрашивания, которые часто дают ключ к идентификации при наблюдении в клетках.

эндоспоровой Stain

Эндоспоры — это спящие формы живых бактерий, и их не следует путать с репродуктивными спорами, продуцируемыми грибами. Эти структуры производятся несколькими видами грамположительных бактерий, почти всеми бациллами, в ответ на неблагоприятные условия окружающей среды. Две распространенные бактерии, продуцирующие эндоспоры, — это Bacillus или Clostridum . Оба живут в основном в почве и как симбионты растений и животных, и производят эндоспоры, чтобы выжить в быстро и часто меняющейся среде.

Процесс эндоспоруляции (образование эндоспор) включает несколько этапов. После того, как бактериальная клетка реплицирует свою ДНК, образуются слои пептидогликана и белка, окружающие генетический материал. После полного формирования эндоспора высвобождается из клетки и может бездействовать в течение нескольких дней, недель или лет. Когда преобладают более благоприятные условия окружающей среды, эндоспоры прорастают и возвращаются к активной работе в качестве вегетативных клеток.

Зрелые эндоспоры обладают высокой устойчивостью к условиям окружающей среды, таким как тепло и химические вещества, что позволяет бактериям выжить в течение очень длительного времени.Эндоспоры, образовавшиеся миллионы лет назад, были успешно возвращены к жизни, просто обеспечив их водой и пищей.

Поскольку оболочка эндоспор очень устойчива к окрашиванию, был разработан специальный метод, чтобы их было легче увидеть в светлопольном микроскопе. Этот метод, получивший название « эндоспор краситель », использует либо нагревание, либо длительное время воздействия, чтобы побудить эндоспоры принять первичное пятно, обычно водорастворимый краситель, такой как малахитовый зеленый, поскольку эндоспоры проницаемы для воды.После этапа обесцвечивания, который удаляет краситель из вегетативных клеток в мазке, наносится контрастирующий сафранин для обеспечения цвета и контраста. При окрашивании этим методом эндоспоры становятся зелеными, а вегетативные клетки окрашиваются в розовый цвет, как показано на Рисунке 7.

Хотя сами эндоспоры устойчивы к методу окрашивания по Граму, бактериальные клетки, захваченные в процессе создания этих структур, могут быть окрашены.В этом случае эндоспоры выглядят как четкие овальные или сферические области внутри окрашенной клетки. Эндоспоры также можно непосредственно наблюдать в клетках с помощью фазово-контрастной микроскопии, как показано на рисунке 8.

Поскольку многие методы дифференциального окрашивания требуют нескольких этапов и длительного времени, мы не будем выполнять все методы дифференциального окрашивания, описанные выше.

Предварительно окрашенные слайды будут использоваться для визуализации бактериальных капсул, метахроматических гранул и кислотоустойчивых бацилл.Возьмите по одному слайду каждой из трех бактерий, перечисленных в таблице ниже. Просматривая эти слайды, обращайте внимание на «выделенные» структуры. У вашего изолята из окружающей среды может быть одна или несколько из этих клеточных функций, и умение распознавать их поможет в идентификации. Все это следует рассматривать с помощью масляной иммерсионной линзы объектива.

Пятно по грамму

Все процедуры окрашивания следует проводить над раковиной.Будет продемонстрирована процедура окрашивания по Граму, а обзор представлен в таблице 1.

Волонтер из вашего лабораторного стола должен получить культуры бактерий, которые вы будете использовать в этой лаборатории, в соответствии с указаниями вашего инструктора.Одна из культур будет грамположительной бактерией, а другая — грамотрицательной. Ниже напишите названия бактерий, которые вы будете использовать, вместе с BSL для каждой культуры:

__________________________________________________________________________________

Возьмите два предметных стекла и приготовьте мазок каждой из двух бактериальных культур, по одному на предметное стекло, как показано. Дайте ПОЛНОСТЬЮ высохнуть на воздухе и закрепите при нагревании. Покрасьте оба мазка методом окраски по Граму.Наблюдайте за предметными стеклами с помощью светового микроскопа при увеличении в 1000 раз и запишите свои наблюдения в таблице ниже.

Пятно по Граму «Заключительный экзамен»: приготовьте мазок, содержащий смесь грамположительных И грамотрицательных бактерий, добавив небольшое количество каждой бактерии в одну каплю воды на предметном стекле.Тепло зафиксируйте мазок и окрасите его по Граму. Вы должны быть в состоянии определить реакцию окрашивания по Граму, клеточную морфологию и расположение ОБЕИХ бактерий в этом смешанном мазке. Ваш преподаватель может попросить показать этот слайд и предложить конструктивный комментарий.

эндоспоровой Stain

Лишь несколько родов бактерий продуцируют эндоспоры, и почти все они являются грамположительными бациллами. Наиболее заметными являются виды Bacillus и Clostridium , которые естественным образом обитают в почве и являются обычными загрязняющими веществами на поверхностях.Рост Clostridium spp. обычно ограничивается анаэробной средой; Bacillus spp. может расти как в аэробных, так и в анаэробных условиях. Эндоспорообразующие бактерии отличаются от других групп грамположительных бацилл и различимы по их эндоспорам.

Обзор процедуры окрашивания эндоспор представлен в таблице 2.

После окрашивания эндоспоры обычно выглядят как светло-зеленые овальные или сферические структуры, которые можно увидеть внутри или снаружи вегетативных клеток, которые выглядят розовыми.

Форма и расположение эндоспор внутри бактериальных клеток, а также то, расширяет ли спорангий (D) или не расширяет (ND) стороны клетки, являются важными характеристиками, которые помогают дифференцироваться между видами (см. Рисунок 9) .

1. Овальный, центральный, без вздутия (ND)
2. Овальный, концевой, ND (и параспоральный кристалл)
3. Овальный, концевой, растянутый (D)
4. Овальный, центральный, D
5. Сферический, концевой, D
6. Овальный, боковой, D

Эндоспоры довольно устойчивы к большинству процедур окрашивания; однако в мазках с обычным окрашиванием они могут быть видны как «очертания» с чистым пространством внутри. Если вы наблюдаете «очертания» или то, что кажется «призраками» клеток в мазке, окрашенном по Граму, грамположительных бацилл, то также следует выполнить окрашивание эндоспор, чтобы подтвердить наличие или отсутствие эндоспор.

Волонтер из вашего лабораторного стола должен получить бактериальные культуры для окрашивания эндоспор в соответствии с указаниями вашего инструктора. Обратите внимание, что все это будут виды Bacillus . Приготовьте мазки и прокрасьте каждый, используя технику окрашивания эндоспор. Посмотрите на слайды и обратите внимание на форму и расположение эндоспоры, а также на внешний вид спорангия (опухший или не опухший) в таблице ниже:

Кроме того, выберите ОДНУ из указанных выше культур и окрасите ее по Граму.Запишите свои результаты ниже в отведенных местах:

Название культуры, окрашенной по Граму: __________________________________________________

Реакция окрашивания по Граму и клеточная морфология: ______________________________________

Видны ли эндоспоры в мазке, окрашенном по Граму? _________________ Если вы видите эндоспоры, опишите, как они выглядят в препарате, окрашенном по Граму, и чем он похож и отличается от того, что вы видите в препарате, окрашенном по Граму.

Окрашивание синонимов, окрашивание антонимов | Тезаурус Мерриам-Вебстера

Тезаурус

Синонимы и антонимы слова

(запись 1 из 2)

Синонимы и близкие синонимы для окрашивания

• чернота,
• диндж,
• тусклость,
• грязь,
• запыленность,
• грязь,
• грязь,
• мрачность,
• грязь,
• мерзость,
• грязность,
• почвенный покров,
• грязность,
• убогость,
• нечистота,
• нечистота

Антонимы и близкие антонимы для окрашивания

Синонимы и антонимы слова окрашивание (Запись 2 из 2)

• ее плохой выбор компаньонов запятнал ее репутация в некоторой степени

слов, относящихся к окрашиванию

• Бегриминг,
• смазывание,
• омрачение,
• чернение,
• размытие,
• помутнение,
• загрязнение,
• обесцвечивание,
• загрязнение,
• смазывание,
• ухмыляясь,
• размазывание,
• грязь,
• загрязнение,
• Саллинг,
• смолистая

• унизить,
• удешевление,
• дебазинг,
• унижающий достоинство,
• унизительный,
• дискредитация,
• позор,
• бесчестие,
• обрастание,
• опускание,
• позор,
• тонущий

Ближайшие антонимы для окрашивания

• витраж стол под вишню

слов, относящихся к окрашиванию

• шашечка,
• пестрый,
• мазка,
• пятнистость,
• мраморность,
• крапчатый,
• узор,
• полихромирование,
• пятнистость,
• крапинка,
• полосы,
• полосатая,
• чередование,
• пестрый

Ближайшие антонимы для окрашивания

• масло в пятнах его рабочие штаны

• обрастание,
• Бегриминг,
• Бемиринг,
• омрачение,
• чернение,
• мазка,
• загрязнение,
• расстегивание
• [архаичный],
• обрастание,
• Гауминг
• [диалект],
• мрачный,
• Миринг,
• уборка мусора,
• мутная,
• ухмыляясь,
• размазывание,
• загрязнение,
• Sullying

слов, относящихся к окрашиванию

Ближайшие антонимы для окрашивания

• чистка,
• химчистка,
• напыление,
• отмывание денег,
• мытье полов,
• ополаскивание,
• чистка,
• чистка,
• подметальная,
• стирка,
• протирка

Белковое окрашивание | ЛСР | Bio-Rad

Метод окрашивания белков должен обеспечивать следующее:

• Высокая чувствительность и воспроизводимость
• Широкий линейный динамический диапазон
• Совместимость с последующими технологиями, такими как экстракция и анализ белков, блоттинг или масс-спектрометрия
• Надежный, быстрый и простой протокол

Протоколы окрашивания обычно включают следующие три этапа:

• Фиксация белка, обычно в кислом метаноле или этаноле (некоторые протоколы окрашивания уже содержат кислоту или спирты для фиксации белка и не требуют этого отдельного этапа)
• Воздействие раствора красителя
• Промывка для удаления излишков красителя (обесцвечивание)

Отдельные протоколы см. На вкладке протоколов ниже.

Полное окрашивание белка позволяет визуализировать структуру белка в геле. В таблице ниже сравниваются преимущества и недостатки нескольких методов окрашивания общего белка.

Coomassie Stains
Самый популярный анионный белковый краситель, Coomassie Brilliant Blue, окрашивает почти все белки с хорошей количественной линейностью при средней чувствительности. Существует два варианта кумасси бриллиантового синего: R-250 (R для красноватого), который обеспечивает более короткое время окрашивания, и G-250 (G для зеленоватого), который доступен в более чувствительных и экологически чистых составах (Simpson 2010, Neuhoff et al. al.1988). Красители кумасси также являются любимыми красителями для масс-спектрометрии и идентификации белков. Bio-Safe Coomassie Stain — это безопасный состав Coomassie Blue G-250, который требует только воды для смывания и удаления пятен. Он предлагает лучшую чувствительность, чем обычные составы кумасси R-250, и эквивалентен кумасси синему G-250, но с более простым и быстрым протоколом окрашивания.

Silver Stains
Silver Stains обеспечивают высочайшую чувствительность, но с низким линейным динамическим диапазоном (Merril et al.1981, Rabilloud et al. 1994). Часто эти протоколы трудоемки, сложны и не обеспечивают достаточной воспроизводимости для количественного анализа. Кроме того, их совместимость с масс-спектрометрией для идентификации белков ниже по сравнению с красителями Кумасси и флуоресцентными красителями (Yan et al. 2000). Серебряное пятно предлагает чувствительность, которая превышает чувствительность кумасси и эквивалентна большинству флуоресцентных пятен.

Флуоресцентные красители
Эти красители удовлетворяют почти всем требованиям для идеального окрашивания белка, предлагая высокую чувствительность, широкий линейный динамический диапазон более четырех порядков величины, простой и надежный протокол и совместимость с масс-спектрометрией.Однако по сравнению с методами окрашивания кумасси или серебром флуоресцентные красители более дороги и требуют либо камеры CCD (устройство с зарядовой связью), либо флуоресцентного сканера для визуализации геля. По этим причинам флуоресцентные красители часто используются в приложениях протеомики и на 2-D гелях, где выполняется относительное количественное определение белков в сложных смесях на несколько порядков численности и идентичность белков определяется с помощью протеолитического расщепления в геле и масс-спектрометрии. Примеры включают флуоресцентные гелевые красители Flamingo ™ и Oriole ™.

Технология без окрашивания позволяет визуализировать белки в гелях и на мембранах без этапа окрашивания и обеспечивает ряд преимуществ по сравнению с обычными процедурами окрашивания. В частности, это устраняет необходимость в длительном этапе обесцвечивания, что делает визуализацию более быстрой и эффективной, а также устраняет необходимость утилизировать органические отходы, образующиеся во время обесцвечивания.

Технология отсутствия пятен также дает огромные преимущества в экспериментах по количественному вестерн-блоттингу.Используя имидж-сканер без пятен, нормализация общего белка может быть выполнена на посттрансферных мембранах, что позволяет точно определять количество сигналов вестерн-блоттинга. Нормализация общего белка становится золотым стандартом нормализации вестерн-блоттинга в крупных рецензируемых журналах.

Узнайте больше о преимуществах использования технологии очистки от пятен.

Система визуализации ChemiDoc Touch без пятен от Bio-Rad. Слева: система ChemiDoc Touch включает тепловизор с УФ-лотком для защиты от пятен и программное обеспечение Image Lab.Справа: протеиновый гель, полученный с помощью технологии без пятен.

Специфические белковые красители используются для визуализации определенных классов белков, таких как гликопротеины (Hart et al. 2003) и фосфопротеины (Steinberg et al. 2003, Agrawal и Thelen 2009), которые представляют особый интерес для исследователей, работающих в области наук о жизни (примеры включая Pro-Q Diamond и Pro-Q Emerald).

Руководство по выбору гелевых красителей Bio-Rad

* Не используйте гель для окрашивания иволги с нативными гелями.

Оборудование для окрашивания

Имеющиеся в продаже красители, такие как высокопроизводительные красители Dodeca ™, могут использоваться в процедурах окрашивания для повышения однородности окрашивания и предотвращения разрушения гелей из-за чрезмерного обращения.

Высокопроизводительные красители Dodeca.

Agrawal GK и Thelen JJ (2009). Рабочий процесс протеомики на основе двумерного геля и Pro-Q DPS с высоким разрешением для идентификации фосфопротеинов и количественного профилирования.Методы Мол Биол 527, 3–19.

Готлиб М и Чавко М (1987). Окрашивание серебром нативной и денатурированной эукариотической ДНК в агарозных гелях. Анальная биохимия 165 (1), 33–37.

Hart C et al. (2003). Обнаружение гликопротеинов в полиакриламидных гелях и на электроблотах с использованием красителя Pro-Q Emerald 488, флуоресцентного красителя на основе периодата Шиффа. Электрофорез 24, 588–598.

Merril CR (1987). Обнаружение белков, разделенных электрофорезом. Adv Электрофорез 1, 111–139.

Merril CR et al.(1981). Сверхчувствительная окраска белков в полиакриламидных гелях показывает региональные вариации белков спинномозговой жидкости. Science 211, 1437–1438.

Miller I et al. (2006). Белковые красители для протеомных приложений: какие, когда и почему? Протеомика 6, 5385–5408.

Neuhoff V et al. (1988). Улучшенное окрашивание белков в полиакриламидных гелях, включая изоэлектрические фокусирующие гели с прозрачным фоном при чувствительности в нанограммах с использованием G-250 и R-250. Электрофорез 9, 255–262.

Rabilloud T et al.(1994). Окрашивание серебром белков в полиакриламидных гелях: общий обзор. Cell Mol Biol 40, 57–75.

Симпсон Р.Дж. (2010). Быстрое окрашивание белковых гелей кумасси синим. Cold Spring Harb Protoc, pdb prot5413.

Steinberg TH et al. (2003). Глобальный количественный анализ фосфопротеинов с использованием технологии мультиплексной протеомики. Протеомика 3, 1128–1144.

Yan JX et al. (2000). Модифицированный протокол окрашивания серебром для визуализации белков, совместимый с матричной лазерной десорбцией / ионизацией и ионизационно-масс-спектрометрией с электрораспылением.Электрофорез 21, 3666–3672.

Голографическое виртуальное окрашивание отдельных биологических клеток

Значимость

Мы представляем метод виртуального окрашивания для морфологического анализа отдельных биологических клеток на основе бесцветной цифровой голографии, позволяющий клиницистам и биологам визуализировать и анализировать клетки, как если бы они были химически окрашенный. Наш подход обеспечивает множество преимуществ, так как 1) исключает возможную токсичность окрашивающих материалов, 2) экономит время и ресурсы, 3) оптимизирует вариабельность между лабораториями и внутри лаборатории, 4) позволяет одновременно окрашивать различные типы клеток с помощью нескольких виртуальных красителей и 5) обеспечивает идеальные условия для анализа в реальном времени, такого как быстрая проточная цитометрия без пятен.Показана точность, повторяемость и несубъективность предлагаемого метода. Следовательно, он имеет большой потенциал стать обычным инструментом в клинических условиях и в биологических исследованиях.

Abstract

Многие медицинские и биологические протоколы для анализа отдельных биологических клеток включают морфологическую оценку на основе окрашивания клеток, разработанную для повышения контрастности изображения и позволяющей клиницистам и биологам различать различные клеточные органеллы. Однако окрашивание клеток не всегда допускается при определенных медицинских процедурах.В других случаях окрашивание может занять много времени или дорого. Протоколы окрашивания могут быть чувствительны к оператору и, следовательно, могут приводить к различным аналитическим результатам, а также вызывать искусственные артефакты изображения или ложную неоднородность. Мы представляем метод глубокого обучения под названием HoloStain, который преобразует изображения изолированных биологических клеток, полученные без окрашивания с помощью голографической микроскопии, в их виртуально окрашенные изображения. Мы демонстрируем этот подход для сперматозоидов человека, поскольку существует хорошо зарекомендовавший себя протокол и глобальная стандартизация для характеристики морфологии окрашенных человеческих сперматозоидов для оценки фертильности, но, с другой стороны, окрашивание может быть цитотоксичным и, следовательно, не допускается во время экстракорпоральное оплодотворение человека (ЭКО).После процесса обучения глубокая нейронная сеть может снимать изображения невидимых сперматозоидов, извлеченных из голограмм, полученных без окрашивания, и преобразовывать их в изображения, похожие на пятна. Мы получили пятикратное улучшение запоминания результатов анализа, демонстрируя преимущество использования виртуального окрашивания для анализа сперматозоидов. С внедрением простых методов голографической визуализации в клинических условиях предложенный метод имеет большой потенциал, чтобы стать обычной практикой в ​​процедурах ЭКО у людей, а также значительно упростить и радикально изменить другие методы анализа клеток и методы, такие как проточная цитометрия визуализации.

Цифровая патология и цитология — новые области, которые, как ожидается, в конечном итоге станут полностью автоматизированными и несубъективными, с различными приложениями, от обычных клинических тестов биологических жидкостей до более сложных биологических исследований. Часть этих анализов основана на морфологической оценке отдельных клеток. Клетки in vitro в большинстве своем прозрачны при обычной световой микроскопии, поэтому их невозможно хорошо визуализировать без внешних красителей или контрастных веществ. Однако окрашивание клеток занимает много времени, и окрашивающие материалы могут быть вредными для клеток, что приводит к запрещению химического окрашивания при определенных медицинских процедурах.В частности, окрашивание клеток не допускается во время отбора сперматозоидов для экстракорпорального оплодотворения (ЭКО) человека, что препятствует качественной оценке внутриклеточной морфологии. Внеосевая голография записывает количественный фазовый профиль ячейки, который учитывает показатель преломления ячейки и физическую толщину, за одну экспозицию камеры. Этот метод создает отличный контраст изображения без необходимости использования внешних контрастных веществ. Тот факт, что фазовый профиль является количественным и учитывает индексы внутреннего преломления клеток, приводит к появлению новых параметров, имеющих медицинское значение, которые ранее не использовались при визуализации проточной цитометрии, таких как сухая масса клеток (1, 2), даже в дополнение к использованию контрастных веществ.До недавнего времени визуализация голографических клеток не могла быть реализована в клинических условиях из-за громоздкости и непереносимости оптической системы, а также из-за необходимости в определенных оптических навыках для ее выравнивания и использования. В последние годы были предприняты успешные попытки сделать эти датчики волнового фронта доступными для клинического использования (3). Наш подход, называемый интерферометрической фазовой микроскопией (IPM), основан на использовании микроскопов, уже существующих в медицинских клиниках, и присоединении портативного интерферометрического модуля к их выходному порту (4).Этот датчик волнового фронта компактен, недорог и прост в эксплуатации, что делает эту технологию доступной и доступной для непосредственного использования клиницистами. Однако, несмотря на потенциал этого метода для анализа клеток, существующие и хорошо зарекомендовавшие себя протоколы морфологической оценки клеток по-прежнему основаны на химическом окрашивании клеточных органелл, а не на количественных топографических картах, полученных с помощью голографии. Таким образом, несмотря на свой потенциал, цифровая голография далека от полной интеграции в медицинские процедуры и биологические протоколы.

В этой статье мы предлагаем метод глубокого обучения для преобразования количественных фазовых карт отдельных биологических клеток, извлеченных из цифровых голограмм, в их виртуальные изображения окрашивания, которые очень похожи на их фактические изображения химического окрашивания. Мы решили продемонстрировать этот метод визуализации сперматозоидов без образования пятен, поскольку существует установленный Всемирной организацией здравоохранения (ВОЗ) протокол морфологической оценки сперматозоидов во время оценки фертильности. Однако этот протокол не может быть полностью реализован в процедурах ЭКО человека из-за запрета на окрашивание клеток.

За последние несколько лет глубокое обучение стало полезным инструментом в области медицинской визуализации, упрощающим многие сложные задачи анализа изображений (5). Глубокое обучение позволяет компьютеру изучать конкретные задачи на основе наблюдаемых данных. Это делается путем подачи данных через множество уровней обработки, которые после процедуры обучения могут оценивать сложные представления данных (6). Глубокое обучение уже было продемонстрировано как полезный метод для выполнения сегментации медицинских изображений (7⇓ – 9) и решения различных обратных задач в области медицинской визуализации (10).Кроме того, недавно Pinkard et al. и Wu et al. показали, что с помощью глубокого обучения можно выполнять однократную автофокусировку (11, 12). Generative Adversarial Networks (GAN) — это структура глубокого обучения, которая позволяет обучать генеративные модели, выполняя состязательный процесс между двумя сетями глубокого обучения, сетью генератора и сетью дискриминатора (13). В частности, глубокие сверточные GAN (DCGAN) оказались успешными для обучения генеративных моделей для задач генерации изображений (14, 15).

Недавние попытки виртуального окрашивания отдельных клеток, основанные только на светлопольной микроскопии, дали предварительные результаты (16, 17), но до сих пор не хватает полной информации, которая типична для химического окрашивания отдельных клеток под световой микроскопией высокого разрешения. В последнее время было показано, что сочетание голографической визуализации и глубокого обучения для классификации между разными типами биологических клеток успешно (18, 19). Кроме того, недавно было использовано несколько структур глубокого обучения для выполнения виртуальной гистологии срезов биологических тканей по сигналам автофлуоресценции и количественным фазовым изображениям, которые были восстановлены из поточных голограмм без линз (20, 21).В частности, исх. 21 представлен метод PhaseStain для виртуального окрашивания срезов ткани, где клетки расположены в тканевых структурах, и на основе этого выполняется патологический анализ ткани. В этом случае клетки и внутренние органеллы не имеют типичной формы, как у отдельных клеток. Следовательно, PhaseStain подходит для замены гистопатологического анализа тканей виртуальным окрашиванием, а не анализом отдельных клеток на предметном стекле, отбором сперматозоидов для ЭКО или визуализационной проточной цитометрией.Таким образом, остается неясным, можно ли виртуально окрашивать отдельные биологические клетки, а не полные срезы тканей, используя только голографическое изображение без пятен. В этой статье мы показываем, что это может быть успешно выполнено, что позволяет использовать его для многих медицинских и биологических процедур, включая безметочную диагностику in vitro отдельных клеток. Наш метод, названный HoloStain, использует DCGAN для преобразования количественных фазовых изображений и изображений с фазовым градиентом, извлеченных из цифровых голограмм без пятен, в их версии на основе пятен, которые аналогичны обычным изображениям с химическим окрашиванием, что делает голографические изображения гораздо более актуальными для прямое клиническое использование.

Результаты

Виртуальное окрашивание сперматозоидов.

Мы получили 166 человеческих сперматозоидов без окрашивания с помощью внеосевой цифровой голографической микроскопии, а затем приобрели те же клетки после их окрашивания с помощью QuickStain с использованием обычного светлопольного микроскопа. Все изображения были получены с помощью масляно-иммерсионного микроскопа с увеличением 60. Детали оптической системы представлены в Материалах и методах . Затем мы использовали увеличение изображения, чтобы увеличить размер набора данных в восемь раз.В целом, наш набор данных содержал 1328 пар изображений внеосевых голограмм сперматозоидов без пятен и их аналоги в светлом поле на основе пятен. Каждую из голограмм без пятен использовали для извлечения трех изображений: количественного фазового изображения и двух синтетических градиентных фазовых изображений в двух ортогональных направлениях (см. Материалы и методы для использованной цифровой обработки). Эти дополнительные изображения фазового градиента были необходимы для успеха процесса виртуального окрашивания (таким образом, количественных фазовых изображений было недостаточно для сходимости сети).Важно отметить, что для виртуального окрашивания создается только цифровая голограмма без пятен. Количественное фазовое изображение и два фазовых градиента, которые проходят через модель на этапе виртуального окрашивания, выводятся из цифровой голограммы. Эти изображения с фазовым градиентом можно рассматривать как созданные вручную функции, которые используются для улучшения процесса обучения и в целом для создания четких, практически окрашенных изображений. В целом, для каждой клетки у нас была серия из четырех изображений: количественное фазовое изображение без пятен, два изображения с фазовым градиентом без пятен и химическое окрашивание в качестве основной истины.Мы разделили данные на 1100 пакетов для обучения и 228 пакетов для тестирования. Затем мы построили модель DCGAN для получения виртуального окрашивания. Структура DCGAN, которая состоит из сети генератора и сети дискриминатора, конкурирующих друг с другом, сначала обучается на 1100 партиях сперматозоидов. Генераторная сеть принимает в качестве входных данных пакет количественных фазовых изображений и два градиентно-фазовых изображения и выводит сгенерированное виртуально окрашенное изображение. Сеть дискриминатора обучена различать сгенерированные изображения и изображения химического окрашивания.Сначала он получает входную партию генератора с изображением химического окрашивания, а затем получает входную партию генератора с сгенерированным выходом. Уравновешивая функции потерь генератора и дискриминатора, генератор обучается создавать правильное виртуально окрашенное изображение. Полные архитектуры сетей приведены в документе «Материалы и методы» .

После обучения модель DCGAN была протестирована на 228 партиях, которые модель никогда раньше не видела.В этом случае генератор использовался для создания виртуально окрашенных изображений сперматозоидов, где совпадающие изображения светлого поля на основе пятен использовались для расчета метрики сходства между реальным и сгенерированным изображениями.

На рис. 1 представлены примеры результатов, полученных HoloStain на нескольких сперматозоидах из тестового набора данных, никогда не обрабатываемых сетями на этапе обучения, имеющих нормальную и патологическую морфологию. Фиг.1 A показывает внеосевые голограммы клеток без пятен.Фиг.1 B — D показывают совпадающие количественные фазовые изображения и градиентные фазовые изображения, непосредственно извлеченные из голограмм, показанных на фиг.1 A . Этот триплет изображений без пятен является входом в предварительно обученную сеть генераторов. На рис. 1 E показаны сгенерированные виртуально окрашенные изображения, выходы обученной сети генератора. На рис. 1 F для сравнения показано светлое поле с химическим окрашиванием совпадающих клеток. Полученные виртуальные изображения окрашивания на рис.1 E имеют цветовую схему, аналогичную цветовой схеме изображений с химическим окрашиванием на рис. 1 F . Кроме того, можно видеть, что шум и мусор устраняются методом HoloStain, в результате чего получается чистый и ровный фон, окружающий образец, что еще больше упрощает морфологическое исследование ячейки.

Примеры результатов HoloStain для визуализации отдельных сперматозоидов. Первые четыре ряда показывают морфологически здоровые сперматозоиды. Последние четыре ряда показывают патологические клетки.( A ) Внеосевые голограммы клеток, полученные без окрашивания. ( B ) Совпадающие количественные фазовые изображения, извлеченные из голограмм. ( C ) Совпадающие горизонтальные градиенты фазы, извлеченные из голограмм. ( D ) Совпадающие вертикальные градиенты фазы, извлеченные из голограмм. ( E ) Совпадающие виртуальные изображения окрашивания, генерируемые сетью генератора, где B — D являются входными данными для генератора.( F ) Совпадающие изображения светлого поля с химическим окрашиванием одних и тех же клеток для сравнения.

Для каждого из 228 тестовых изображений была рассчитана средняя средняя ошибка (MAE; Materials and Methods ) между виртуально окрашенным изображением и изображением с химическим окрашиванием, в результате чего общая MAE составила 0,1566 ± 0,0446. Кроме того, чтобы обеспечить дальнейшее понимание относительно сравнения между изображениями виртуального и химического окрашивания, индекс структурного сходства (SSIM), как определено в исх.22, был рассчитан. В результате общий индекс SSIM составил 0,8530 ± 0,0376.

При формировании голографических изображений весь сложный волновой фронт может быть восстановлен из захваченных голограмм, что позволяет ему распространяться таким образом, чтобы несфокусированные объекты попадали в фокус. Таким образом, используя HoloStain, теперь мы можем представить виртуальные окрашенные изображения, даже если клетки были не в фокусе во время получения, что может помочь в увеличении скорости сбора данных по сравнению с визуализацией в светлом поле, даже если клетки химически окрашены.Часто при визуализации определенной популяции клеток врачу необходимо постоянно менять фокус микроскопа, чтобы увидеть все присутствующие клетки. Используя HoloStain, можно захватить одну голограмму с помощью расфокусированных ячеек. Затем, реконструируя весь сложный волновой фронт, каждую клетку можно сфокусировать, а затем виртуально окрасить. Рис. 2 демонстрирует расфокусированную ячейку, которая попадает в фокус путем распространения реконструированного сложного волнового фронта (подробности см. В Материалы и методы ), а затем виртуально окрашивается HoloStain.

Виртуальное окрашивание сперматозоидов распространяется в фокус. ( A ) Голограмма не в фокусе сперматозоида. ( B ) Фазовая реконструкция расфокусированной сперматозоидной клетки. ( C ) Реконструкция фазы после распространения комплексного волнового фронта на z = -1,6 мкм. ( D ) Виртуальное окрашивание перефокусированных сперматозоидов.

Классификация сперматозоидов.

Чтобы оценить эффективность виртуально окрашенных сперматозоидов для выполнения классификации качества сперматозоидов, были созданы пять наборов данных по различным сперматозоидам.Наборы данных для анализа были созданы путем отбора образцов сперматозоидов от девяти разных доноров, где размер образца для оценки был выбран таким образом, чтобы можно было идентифицировать разницу в 15% при P <0,05 и мощности 80%. Кроме того, мы решили проанализировать наборы данных, в которых распространенность морфологически здоровых сперматозоидов составляла всего 5%. Таким образом, мы смогли имитировать ситуацию, когда здоровые клетки были редкостью, как это имеет место во многих процедурах ЭКО. Кроме того, важно отметить, что цель этого анализа - обнаружить как можно больше здоровых клеток, а не поставить общий диагноз конкретному пациенту.Первый набор данных содержал только светлопольные изображения сперматозоидов без окрашивания, что часто является современной практикой при анализе сперматозоидов сегодня. Второй набор данных содержал светлопольные изображения соответствующих сперматозоидов, но теперь с окрашиванием с помощью QuickStain. Третий набор данных содержал изображения соответствующих сперматозоидов, которые были получены без окрашивания с использованием внеосевой голографии и были виртуально окрашены с помощью HoloStain. Четвертый набор данных содержал бесцветные количественные фазовые изображения соответствующих сперматозоидов.Пятый набор данных содержал одно из изображений с фазовым градиентом без пятен соответствующих клеток, которое напоминает изображения дифференциального интерференционного контракта (DIC). Поскольку не существует четко установленного автоматического стандарта для морфологической оценки сперматозоидов, мы попросили опытного эмбриолога проанализировать каждое изображение спермы в каждом из пяти наборов данных и классифицировать его отдельно и независимо как нормальное или ненормальное, используя критерии ВОЗ для сперматозоидов. клеточный анализ. Наборы данных были представлены эмбриологу случайным образом и вслепую до четырех раз, чтобы минимизировать эффект субъективного анализа.Были рассчитаны четыре матрицы неточностей. Аномальные сперматозоиды были классифицированы как отрицательные метки - 0, нормальные сперматозоиды были классифицированы как положительные метки - 1, а химически окрашенные сперматозоиды считались эталонными метками.

Для выполнения процедур ЭКО, где отбор здоровых сперматозоидов считается критическим, требуется высокая точность для положительных меток, где точность определяется уравнением. 1 ниже. Более того, когда требуется отбор нескольких здоровых сперматозоидов, также требуется высокий уровень отзыва, когда отзыв (также называемый чувствительностью) определяется уравнением. 2 ниже. В целом, оценка F1, определяемая формулой. 3 ниже, можно рассчитать, чтобы количественно оценить баланс между точностью и отзывом классифицированных ячеек в каждом наборе данных. Эти три показателя математически определены следующим образом: Точность = TPTP + FP, [1] Напоминание = TPFN + TP, [2] F1 = 2 × Точность × RecallPrecision + Recall, [3] где TP означает истинные положительные результаты: ячейки, которые классифицируются как положительные, и соответствующие им химически окрашенные клетки также классифицируются как положительные; FP означает ложноположительные результаты: клетки, которые классифицируются как положительные, и соответствующие им химически окрашенные клетки классифицируются как отрицательные; TN означает истинно отрицательные: клетки, которые классифицируются как отрицательные, и соответствующие им химически окрашенные клетки также классифицируются как отрицательные; и FN означает ложноотрицательные результаты: клетки, которые классифицируются как отрицательные, но соответствующие им химически окрашенные клетки классифицируются как положительные.

Из матриц неточностей на рис. 3 A , точность 1,0 была вычислена для всех наборов данных. Это указывает на то, что эмбриолог был очень консервативен в классификации клеток, поскольку он не классифицировал нездоровые клетки как здоровые во всех методах по сравнению с химическим окрашиванием, даже на основе только светлых изображений без пятен. Это указывало на низкую эффективность его классификации, поскольку ему потребовалось бы больше времени, чтобы выбрать морфологически здоровые клетки, особенно в случаях патологических сперматозоидов, где здоровые клетки встречаются редко.Таким образом, ожидается, что виртуальное окрашивание, обеспечивающее контраст, аналогичный химическому окрашиванию, сделает работу эмбриолога по классификации здоровых сперматозоидов менее утомительной, поскольку он будет менее консервативен в классификации клеток как здоровых.

Матрицы ошибок и график показателей при анализе сперматозоидов в соответствии с протоколом ВОЗ2010. (A) Матрицы путаницы для классификации виртуально окрашенных клеток, фазовое изображение клеток, синтетическое фазово-градиентное изображение клеток и изображение клеток в светлом поле без пятен.( B ) График сравнения показателей точности, отзыва и F1 для четырех наборов данных.

Кроме того, запоминание постепенно увеличивалось при переходе от визуализации светлого поля без пятен к виртуальному окрашиванию. Следующие значения запоминания были рассчитаны для изображений светлого поля без пятен, фазового градиента, количественной фазы и виртуального окрашивания соответственно: 0,143, 0,143, 0,286 и 0,714. Это показывает, что набор данных виртуального окрашивания позволил обнаружить больше сперматозоидов с нормальной морфологией по сравнению с другими наборами данных.Наконец, для изображений светлого поля без пятен, фазового градиента, количественной фазы и виртуального окрашивания были рассчитаны следующие баллы F1: 0,25, 0,25, 0,444 и 0,833. Оценка F1 означает общую точность классификации здоровых сперматозоидов с учетом точности и отзыва. Из представленных баллов F1 видно постепенное повышение эффективности классификации, где из четырех проанализированных методов без образования пятен HoloStain позволяет получить результаты классификации, наиболее близкие к золотому стандарту — методу химического окрашивания.Визуализацию этих показателей можно увидеть на рис. 3 B .

Следует подчеркнуть, что анализы, представленные на рис. 3, были выполнены с использованием строгого протокола ВОЗ 2010. Чтобы еще больше подчеркнуть преимущество виртуального окрашивания, мы провели дополнительный анализ, сравнив два наших лучших набора данных — виртуальное окрашивание и количественная фаза — с набором данных химического окрашивания. Для этого опытный эмбриолог использовал протокол ВОЗ 1999, в котором используются менее строгие критерии отбора морфологически здоровых клеток.В этом случае в наборе данных химического окрашивания была обнаружена 51 здоровая сперматозоид. Это привело к точности 0,649 для набора данных виртуального окрашивания и точности 0,231 для набора количественных фазовых данных. Кроме того, набор данных виртуального окрашивания получил отзыв 0,585, а набор количественных фазовых данных получил отзыв 0,146. Таким образом, даже при использовании менее строгих критериев, по которым идентифицированных здоровых клеток больше, набор данных виртуального окрашивания приводит к более чем двукратному увеличению точности и более чем четырехкратному увеличению отзыва.

Кроме того, помимо достижения уровня анализа, сопоставимого с химическим окрашиванием, опытный клинический эмбриолог (M.L.), который также обучен анализу сперматозоидов на основе количественных фазовых изображений, выделил несколько дополнительных преимуществ метода HoloStain. Во-первых, изображения в светлом поле без меток не содержат всего необходимого внутриклеточного контраста, необходимого для уверенного проведения точного морфологического анализа сперматозоидов. Таким образом, использование преимуществ превосходного контраста и пространственной информации в изображениях виртуального окрашивания позволяет проводить более эффективную процедуру анализа.Во-вторых, как было показано ранее, метод HoloStain создает чистый и ровный фон без шума и мусора. Это еще больше упрощает процесс анализа даже по сравнению с химически окрашенными клетками, которые часто имеют загрязненный фон из-за изменчивости образцов и процедуры окрашивания. В-третьих, важно отметить, что опытный клинический эмбриолог, проанализировавший клетки в этой статье, имеет предыдущую подготовку и опыт анализа количественных фазовых изображений сперматозоидов.Тем не менее, виртуальные окрашенные изображения позволили провести более естественный и простой процесс анализа, в основном из-за трудности просмотра внешних размеров и внутриклеточных компонентов клеток на количественных фазовых и фазово-градиентных изображениях. Кроме того, поскольку виртуальные изображения окрашивания напоминают изображения химического окрашивания, которые ежедневно наблюдаются клиницистами, эта возможность устраняет необходимость специального обучения врачей точному анализу количественных фазовых изображений и позволяет упростить процесс внедрения голографических систем в существующих биологических и клинических лабораториях. .

Обсуждение

Возможность виртуального окрашивания биологических образцов без метки имеет большой потенциал для замены традиционных методов окрашивания отдельных клеток, включая флуоресценцию и гистохимическое окрашивание. Виртуальное окрашивание экономит время на подготовку, оно менее подвержено изменчивости, вызванной различными протоколами окрашивания и условиями окружающей среды, и обеспечивает решение в обстоятельствах, когда окрашивание запрещено. Тем не менее, это дает клиницисту или биологу визуализацию клеток, аналогичную фактическому химическому окрашиванию, так что установленные протоколы для диагностики или исследования могут быть непосредственно применены.Наша основанная на глубоком обучении технология HoloStain обеспечивает виртуальное окрашивание количественных фазовых изображений отдельных биологических клеток, полученных с помощью портативной, готовой к клинической работе внеосевой голографической системы, не требующей окрашивания клеток. Причина, по которой мы решили выполнять виртуальное окрашивание на голографических фазовых изображениях без меток, а не на обычных фазово-контрастных или светлых полевых изображениях без меток, двоякая. Во-первых, в отличие от стандартных методов фазового контраста, фазовые изображения, извлеченные из голограмм, являются количественными изображениями.Помимо предоставления необходимой информации для выполнения виртуального окрашивания, количественный характер изображений позволяет создавать количественные характеристики, которые затем могут использоваться для помощи в общем анализе клеток (23). Во-вторых, как показано на рис. 3, выполнение морфологического анализа изображений в светлом поле без меток является недостаточным. В основном это связано с тем, что светлопольные изображения без меток не содержат всей релевантной контрастной информации, необходимой для выполнения точного морфологического анализа сперматозоидов по сравнению с методом окрашивания золотым стандартом (24).В результате, вместо того, чтобы использовать изображения светлого поля без меток, мы решили сосредоточиться на использовании количественных фазовых изображений для выполнения виртуального окрашивания, поскольку необходимая информация, необходимая для создания виртуально окрашенных изображений, аналогичных методу QuickStain, не существует в изображения с ярким полем без этикеток. Стандартная неколичественная фазовая визуализация, такая как фазовый контраст Цернике и ДИК, поскольку вход в сеть, как ожидается, не даст хороших результатов виртуального окрашивания из-за отсутствия количественной информации об индексе преломления внутри органелл и характерных типичных артефактов визуализации в этих неколичественных простые методы фазовой визуализации (например, эффекты ореола и тени).Как было продемонстрировано, HoloStain, основанный на количественной фазовой визуализации, может создавать изображения сперматозоидов, аналогичные традиционному методу химического окрашивания. Поскольку реконструкция полного сложного волнового фронта отображаемых образцов возможна с использованием голографических систем, также может быть произведено виртуальное окрашивание расфокусированных клеток. В результате отпадает необходимость в постоянной фокусировке микроскопа во время визуализации, что упрощает процесс анализа для клинициста и увеличивает производительность анализа.Мы продемонстрировали, что анализ виртуально окрашенных сперматозоидов опытным эмбриологом дает аналогичные результаты по сравнению с классификацией совпадающих химически окрашенных сперматозоидов, где последняя в настоящее время считается золотым стандартом для выполнения морфологического анализа сперматозоидов. Кроме того, исх. 23 демонстрирует возможность использования машинного обучения для автоматического анализа отдельных сперматозоидов. Таким образом, сочетание алгоритмов машинного обучения и нашего метода HoloStain может еще больше упростить процесс анализа для врачей.Это можно сделать, используя виртуальные изображения окрашивания для анализа неоднозначных пограничных случаев, которые нельзя было с высокой степенью достоверности классифицировать с помощью алгоритма машинного обучения. В целом, мы считаем, что HoloStain станет ценным инструментом как для исследователей, так и для клиницистов для выполнения морфологического анализа биологических клеток без образования пятен, что сэкономит им драгоценное время на подготовку и позволит им выполнять более точный анализ, когда химическое окрашивание клеток запрещено или слишком велико. дорого выполнять.Хотя мы продемонстрировали использование HoloStain для визуализации сперматозоидов, ту же платформу можно адаптировать для визуализации других типов клеток, открывая путь для цифровой патологии без пятен и проточной цитометрии с визуализацией без пятен.

Материалы и методы

Подготовка образцов и визуализация бесцветных сперматозоидов.

Эксперимент был одобрен институциональным наблюдательным советом Тель-Авивского университета (IRB) для исследований на людях. Сперматозоиды человека были получены из эякулята анонимных доноров в возрасте 18–40 лет после того, как они подписали одобренную IRB форму информированного согласия.Каплю 5–10 мкл спермы наносили на несколько чистых предметных стекол микроскопа с нанесенной на них квадратной сеткой 80 мкм × 80 мкм для локализации сперматозоидов при переносе образцов между оптическими системами. Затем эти размазанные капли оставляли сохнуть в течение 5 минут, а затем фиксировали на предметных стеклах 98% этанолом в течение 10 минут. Затем были получены изображения слайдов с помощью системы IPM, которая показана на рис. 4 A . Эта система состояла из τ-интерферометра, подключенного к выходу инвертированного микроскопа.Волоконный источник света суперконтинуума (SC-400–4 Fianium), соединенный с акустооптическим перестраиваемым фильтром (SC-AOTF, Fianium), использовался в качестве источника света для инвертированного микроскопа с длиной волны излучения 532 ± 3,1 нм. Луч сначала проходил через образец, затем увеличивался с помощью объектива микроскопа MO (63 ×, числовая апертура 1,4, масляная иммерсия, коррекция на бесконечность) и проходил через сферическую трубчатую линзу TL (фокусное расстояние 150 мм). Затем он проходил через линзу L1 (фокусное расстояние 100 мм), которая преобразовывала луч Фурье, и светоделитель BS разделял луч на два отдельных луча.Один луч проходил прямо через БС, а затем отражался обратно и сдвигался ретрорефлектором RR. Затем этот луч отражался BS и преобразовывался с помощью обратного преобразования Фурье с помощью объектива L2 (фокусное расстояние 150 мм) на цифровую камеру (1280 × 1024 пикселей, размер пикселя 5,2 мкм, DCC1545M, Thorlabs). Этот луч действовал как образец луча в этой интерферометрической установке. Второй луч отражался BS на конфигурацию «зеркало-точечное отверстие», PH и M3, которые пространственно фильтровали луч, тем самым стирая информацию об образце, создавая опорный луч.Затем этот луч отражался обратно и проходил через BS, где он затем подвергался обратному преобразованию Фурье линзой L2 и мешал лучу образца на камере. Конечным результатом была картина внеосевой интерференции, которая затем была передана в компьютер для дальнейшего цифрового анализа.

Схема оптической установки и процесса реконструкции. ( A ) τ-интерферометр, расположенный на выходе коммерческого микроскопа, состоит из следующих элементов: суперконтинуумный лазер вместе с акустооптическим перестраиваемым фильтром (AOTF) используются в качестве источника света.M1, M2 и M3 — зеркала. S — образец, MO — объектив микроскопа, L1 и L2 — линзы, а PH — точечное отверстие. ( B ) Процесс восстановления: захваченная голограмма сначала подвергается преобразованию Фурье (FT), затем один из членов взаимной корреляции обрезается и центрируется, затем выполняется обратное преобразование Фурье (FT-1) и извлекается фазовый аргумент. . Наконец, аргумент фазы подвергается двухмерному алгоритму развертывания.

Визуализация окрашенных сперматозоидов.

После визуализации сперматозоидов с помощью системы IPM их окрашивали с помощью QuickStain (Biological Industries) и оставляли сушиться на 15 мин.Затем, используя квадратную сетку 80 мкм × 80 мкм, поле изображений, захваченных с помощью системы IPM, было снова локализовано и отображено с помощью светлопольного микроскопа (Axio Observer D1, Zeiss).

Цифровая реконструкция голограмм.

Внеосевую интерференционную картину, захваченную камерой, можно использовать для выделения сложного волнового фронта. Этот процесс реконструкции показан на рис. 4 B . Вскоре эта внеосевая голограмма подвергается цифровому преобразованию Фурье, что приводит к взаимной корреляции нулевого порядка и двух членов высокого порядка.Каждый член взаимной корреляции содержит сложный волновой фронт образца, который позволяет извлекать количественную фазовую информацию ячейки. Один из членов взаимной корреляции обрезается цифровым способом и подвергается обратному преобразованию Фурье. Затем, если изображение спермы не в фокусе, применяется алгоритм цифрового распространения. Нашим методом распространения было выбрано распространение Рэлея – Зоммерфельда углового спектра (25). Наконец, фазовая информация была извлечена из аргумента результирующего сложного волнового фронта, который затем подвергся двумерному (2D) алгоритму развёртки фазы (26).

Расчет синтетических фазово-градиентных изображений по фазовым изображениям.

Чтобы улучшить высокочастотную пространственную информацию в изображениях ячеек, такую ​​как края, и помочь в процессе обучения, из каждого фазового изображения были созданы два синтетических изображения с фазовым градиентом. Эти изображения были созданы путем сдвига количественных фазовых изображений на один пиксель в одном из пространственных направлений ( x или y ) и последующего вычитания сдвинутого изображения из исходного фазового изображения.Gradφx = φ (x, y) −φ (x + 1, y), [4] Gradφy = φ (x, y) −φ (x, y + 1), [5] где φ — количественная фаза образец, извлеченный из внеосевой голограммы. Результат этих фазовых градиентов напоминает то, что можно получить экспериментально с помощью микроскопа DIC.

Цифровая предварительная обработка.

Как и в случае с голограммами, изображения окрашенных сперматозоидов в светлом поле были обрезаны до 256 × 256 пикселей. В результате были получены два набора данных, один из которых содержал светлопольные изображения окрашенных сперматозоидов, а другой — количественные фазовые изображения и синтетические фазовые градиентные изображения тех же сперматозоидов.Следует отметить, что на этапе обрезки поля обзора двух наборов данных были зарегистрированы. Это было достигнуто путем выполнения двумерной корреляции между наборами данных и определения центра целевого поля зрения в каждом наборе данных. В результате было достигнуто точное перекрытие полей обзора двух наборов данных.

После создания вышеупомянутого набора данных он был дополнительно расширен путем выполнения поворота на 90 ° для каждого изображения, а затем горизонтального отражения всех существующих и новых изображений в наборе данных.В целом это привело к увеличению исходного набора данных в восемь раз.

Процедуры обучения и тестирования.

Чтобы обучить модель глубокого обучения виртуальному окрашиванию сперматозоидов, была использована структура DCGAN. Эта структура состояла из сети генераторов, которая была обучена создавать виртуально окрашенные изображения из бесцветных количественных фазовых и синтетических фазовых градиентных изображений клеток, а также дискриминаторной сети, которая была обучена различать сгенерированные и химические окрашенные изображения. .

Как видно на рис. 5, для обучения сетей генератора и дискриминатора генератор получает входной пакет X , который представляет собой конкатенацию между количественным фазовым изображением и двумя синтетическими фазово-градиентными изображениями сперматозоидов. , все извлечены из незапятненных цифровых голограмм этих клеток. Он обучен генерировать G, который представляет собой виртуально окрашенное изображение той же самой клетки спермы, которая была пропущена через сеть генератора. Поскольку дискриминатор обучен различать сгенерированные изображения и изображения химического окрашивания, в одном случае он принимает DXY, который указывает, что входной сигнал генератора X подается через дискриминатор вместе с изображением химически окрашенных сперматозоидов Y .В другом случае дискриминатор принимает DXG, который указывает, что входной сигнал генератора X проходит через дискриминатор вместе с сгенерированным виртуальным окрашивающим изображением G .

Схема тренировочного процесса. X — это вход в генераторную сеть, состоящую из количественного фазового изображения без пятен и двух синтетических фазово-градиентных изображений. Y — изображение химически окрашенного сперматозоида. Генератор обучен создавать G , изображение виртуально окрашенных сперматозоидов.В одном случае G и X (помеченные как DXG) пропускаются через дискриминатор, который обучен распознавать эту пару как поддельные изображения. В другом случае Y, и X (помеченные как DXY) проходят через дискриминатор, который обучен распознавать эту пару как реальные изображения, а ZD является выходным сигналом дискриминатора.

Потери для сетей используют комбинацию двух функций ошибок. Первый — MAE, также известный как потеря ℒ1, который рассчитывается следующим образом: ℒ1 (Y, G) = ∑i = 1n | Yi − Gi | n.[6] Второй — сигмовидная кросс-энтропия (SCE), которая рассчитывается следующим образом: SCE (ZD, Z) = max (ZD, 0) −ZD * Z + log {1 + exp [−abs (ZD) ]}, [7] где ZD — это выходной сигнал дискриминатора, а Z — назначенное логическое значение (1 для реальных изображений и 0 для поддельных изображений).

В целом потери генератора рассчитываются с использованием следующего уравнения: ℒG = βℒ1 (Y, G) + SCE (ZXG, 1), [8] где ZXG — это выход дискриминатора, когда через него проходит DXG, β — коэффициент умножения, используемый для выделения точных изображений виртуального окрашивания; это значение было установлено на 100 (15).Потери дискриминатора рассчитываются следующим образом: ℒD = SCE (ZXG, 0) + SCE (ZXY, 1), [9] где ZXY — выходной сигнал дискриминатора, когда через него проходит DXY.

На этапе обучения потери генератора и дискриминатора были минимизированы с помощью оптимизатора Adam (27). Кроме того, генератор и дискриминатор используют три типа функций активации. Первый — это выпрямленный линейный блок (ReLU), который рассчитывается следующим образом: ReLU (X) = max (X, 0). [10] Второй — это ReLU с утечкой, который рассчитывается следующим образом: LeakyReLU (X) = макс (Х, 0.2X). [11] Третья — сигмоидальная функция, которая вычисляется следующим образом: сигмоид (X) = 11 + e − X. [12] Наконец, также используется гиперболический тангенс (tanh), который можно вычислить как следует: tanh (X) = e2X − 1e2X + 1. [13]

Внутренняя архитектура сетей глубокого обучения.

Как видно на рис. 6, сеть генератора основана на архитектуре U-Net (28). Эта архитектура состоит из кодера и декодера с пропускаемыми соединениями на каждом этапе понижающей / повышающей дискретизации. Каждый шаг кодера содержит сверточный блок.Каждый сверточный блок содержит три последовательности двумерного сверточного слоя, слоя пакетной нормализации (29) и функцию активации утечки ReLu, как вычислено в уравнении. 11 . Первая и вторая свертки на каждом шаге кодера состоят из сверточного слоя с ядром 4 и шагом 1, а третий блок содержит сверточный слой с ядром 4 и шагом 2. В целом, в каждом На шаге кодировщика глубина фильтров увеличивается в 2 раза и уменьшается в 2 раза по высоте и ширине.После этапа кодирования были добавлены девять блоков остаточной сети (ResNet), чтобы помочь с обучением преобразования изображения генератора (30, 31). Этап декодирования состоит из деконволюции, этапа конкатенации для пропускаемых соединений и двух дополнительных сверточных слоев. Этап деконволюции состоит из последовательности транспонированного 2D сверточного слоя с ядром 4 и шагом 2, слоя пакетной нормализации и функции активации ReLu, как вычислено в уравнении. 10 .За этим этапом деконволюции следуют две последовательности сверточного слоя с ядром 4 и шагом 1, слой пакетной нормализации и функция активации ReLu. В целом, на каждом шаге декодера глубина фильтров уменьшается в 2 раза, а размеры по высоте и ширине увеличиваются в 2 раза. Кроме того, на последнем уровне декодера добавляется дополнительное пропускное соединение, которое выполняет поэлементное суммирование между входным изображением и последним слоем генератора, чтобы сократить время обучения и получить изображение с геометрическим сходством с входным изображением (10).

Архитектура генераторной сети. ( A ) Общая архитектура генераторной сети. ( B ) Внутренняя архитектура блока свертки. ( C ) Внутренняя архитектура блока деконволюции, где оранжевый прямоугольник обозначает процесс конкатенации. ( D ) Внутренняя архитектура остаточного сетевого блока. ( E ) Легенда, объясняющая значение каждой стрелки в архитектуре.

Как видно на рис.7 модель дискриминатора состоит из сверточных блоков, аналогичных блокам на этапе кодирования генератора. По мере прохождения входного изображения по дискриминатору его глубина увеличивается в 2 раза, а размеры по высоте и ширине уменьшаются в 2 раза, пока не будет создано изображение размером 32 × 32 пикселя. Последние два сверточных слоя создают изображение размером 30 × 30 пикселей с глубиной 1, и применяя сигмоидальную функцию, приведенную в формуле. 12 , каждый пиксель в этом изображении соответствует реальной или поддельной классификации перекрывающихся участков во входном изображении.Эта структура была основана на дискриминаторе PatchGAN (15), который сокращает время обучения и улучшает резкость сгенерированных изображений.

Схема дискриминаторной сети. ( A ) Общая архитектура генераторной сети. ( B ) Легенда, объясняющая значение каждой стрелки в архитектуре.

Реализация.

Восстановление голограммы, вычисление синтетического фазового градиента изображения и все процедуры цифровой предварительной обработки, выполняемые с изображениями, были реализованы с помощью MATLAB R2016b.Все вышеупомянутые процессы были выполнены на настольном компьютере с процессором Intel Core i7-2600 @ 3,40 ГГц и 8,00 ГБ ОЗУ, работающим в операционной системе Windows 10 (Microsoft). Архитектура глубокого обучения и процедуры обучения / тестирования были реализованы в Python версии 3.6.4 с использованием библиотеки TensorFlow версии 1.10.0. Обучение и тестирование сети проводились на графическом процессоре Tesla P100 (NVIDIA) с использованием облачной платформы Google. Фреймворк тренировался за 120 эпох, которые длились 31 год.5 ч. Каждое создание изображения длится ~ 0,08 с на графическом процессоре NVIDIA Tesla P100.

Доступность данных.

Все данные и коды, которые подтверждают результаты в этом документе, доступны в приложении SI и наборе данных S1.

Благодарности

Это исследование финансировалось Европейским исследовательским советом Horizon2020 (ERC) 2018 Proof of Concept (PoC) Grant 838359, предоставленным N.