Название этой фабрики связано с рекой Талкой, но построена она на пустоши Петрищево, и начиналась как семейное дело Прасковьи Ивановны Витовой. В 1774–1796 годах пустошь принадлежала графу Петру Шереметеву и капитану-поручику Рахманову; в 1796 году долю Рахманова купил Молчанов и перепродал графу Николаю Шереметеву. В 1870-е годы на левом берегу Талки начала строиться новая фабрика Витовых.
В 1878 году появились красильный и заварочный корпуса. В 1880–1890-е годы поднялась отделочная фабрика, а в 1893 году всё производство перевели в Петрищево с Негорелой улицы. В предреволюционные годы во главе предприятия стояли Фёдор и Николай Александровичи и Александр Фёдорович Витовы. Для рабочих и специалистов здесь устроили квартиры, общежитие, столовую, библиотеку, баню, прачечную и приёмный покой — фабрика обросла собственным посёлком.
В 1917 году часть Петрищева вошла в черту Иваново-Вознесенска, другая — в 1922 году. После революции предприятие называлось Петрищевской мануфактурой, в 1923 году вошло в трест «Ивтекстиль», а в 1925 году получило имя революционера Фёдора Афанасьева.
Отделочной фабрике не хватало своей пряжи: в хлопчатобумажном деле прядение, ткачество и отделка были развиты неравномерно. Чтобы исправить это, 1 мая 1927 года на территории фабрики заложили новый прядильный корпус на 120 тысяч веретён, а осенью 1929 года он заработал. Новую фабрику назвали «Красной Талкой» — в честь революционных событий на реке Талке.
Прядильный корпус — двухэтажное здание шириной 38 метров со сплошным ленточным остеклением. Считается, что это было одно из первых в стране промышленных сооружений из железобетонных конструкций. Схему двухэтажной прядильной фабрики предложил в дипломном проекте выпускник МВТУ Иван Николаев, работавший под руководством Виктора Веснина; проект показывали на Всемирной выставке в Париже в 1925 году. Авторами корпуса стали московские архитекторы Николаев и Борис Гладков. Этажи разделены по технологии: внизу стояли тяжёлые чесальные и ленточные машины, а наверху пряли — там нужны были ровная влажность и свет по всей площади.
К 70-летию первого Совета рабочих депутатов на фронтоне корпуса установили мозаичное панно «Герои революции» работы Константина Фролова с портретами Ольги Варенцовой, Фёдора Афанасьева, Михаила Фрунзе и Евлампия Дунаева. В 1990-х годах прядение остановилось: поставки сырья из союзных республик прекратились. С 2005 года в прядильном корпусе работает отраслевой комплекс «ТекстильПрофи — Иваново», а отделочное производство до сих пор живёт в старых корпусах Витовых.