Według legendy kościół w Kozłowicach pierwotnie znajdował się we wsi Chudoba i był „stawką“ w grze w karty. Zwycięzcy miano przekazać kościół pod warunkiem rozbiórki i przewiezienia go w ciągu jednej nocy – i tak się stało.
Do transportu zwołano całą okoliczną ludność, a kościół „w częściach“ przewieziono na stu furmankach. Początkowo miał on być postawiony w centrum wsi Kozłowice, przy głównej drodze, ale „niewidzialna siła“ przeniosła zgromadzone belki na jej obrzeża, gdzie biło źródełko, co wytłumaczono wolą patrona – św. Jana Chrzciciela.
Kościół w Kozłowicach został wzniesiony przez ewangelików w 2 połowie XVII wieku. Orientowany, wybudowany w konstrukcji zrębowej z kwadratową nawą i węższym prezbiterium zamkniętym trójbocznie. Przy prezbiterium dostawiona od pn. zakrystia z lożą kolatorską na piętrze, do której prowadzą zewnętrzne schody. Wieża konstrukcji słupowej, oszalowana, nakryta ośmiobocznym dachem namiotowym, wiążącym się z dachem nawy. Na zewnątrz ściany oraz dachy siodłowe pokryte gontem. Wnętrze nakryte kolebkowym sklepieniem pozornym. Chór muzyczny wsparty na dwóch słupach z ozdobnymi głowicami. Na parapecie chóru muzycznego kartusze z herbami Topór i Ciołek. Nad zbiegiem nawy i prezbiterium tzw. belka tęczowa, zdobiona polichromią.
Na ścianach malowane podziały architektoniczne oraz obramienia otworów okiennych, drzwiowych i otworu loży, o motywach regencyjno – rokokowych. Kościół zdobią polichromie: na ścianach nawy i prezbiterium z 2 poł. XVIII wieku (min. postać św. Anny i św. Wacława) oraz polichromie na stropie z początków XIX wieku. Ciekawostką może być postać św. Jana Nepomucena, która w kozłowickim wnętrzu występuje aż 4 razy. Ołtarz i ambona późnobarokowe, z XVIII wieku. W ołtarzu obraz Matki Boskiej Częstochowskiej. Obraz ten został zwinięty i schowany w 1934 r., odnaleziony w czasie jednego z remontów w latach 90 – tych XX wieku wraz z odręcznie napisaną kartką z prośbą o umieszczenie go ponownie w ołtarzu. W 2006r. kościół w Kozłowicach został laureatem Konkursu Generalnego Konserwatora Zabytków „Zabytek Zadbany”.