Hertog Filips de Goede van Bourgondië vaardigde als eerste verordeningen uit om openbare bedelarij te reglementeren. In 1475 droeg hij een magistraat het financieel beheer op van ziekenhuizen, gasthuizen en de Heilige - Geesttafels. Zo werd een eerste stap gezet naar de centralisatie van de "openbare onderstand". Filips de Schone en keizer Karel volgden zijn voorbeeld. In 1 506 werd een eerste edict uitgevaardigd tegen de bedelarij, uitgeoefend door gezonde lui. In 1508 hadden alleen nog zieken en kreupelen het recht te bedelen. Overtredingen werden vervolgd.
Dergelijke politiemaatregelen volstonden uiteraard niet om de problemen aan te pakken. De liefdadigheidsinstellingen, beheerd door de geestelijkheid, dienden op een andere manier georganiseerd te worden met uitgebreide hervormingen van de openbare onderstand die vanaf 1531 overal in de Nederlanden werden doorgevoerd. De uitgebreide bevoegdheid van het gemeentelijk bestuur en de toenemende macht van een rijke, gecultiveerde burgerij speelden in het voordeel van een gemeentelijk beheer van het welzijn. Zodoende kreeg Antwerpen in 1521 een bureau voor niet - kerkelijke liefdadigheid. Het stuurde "huysmeesters" op huisbezoek bij de armen.
Het beheer van het Sint-Julianusgasthuis werd toevertrouwd aan vier aalmoezeniers van de Kamer van de Huisarmen opgericht in 1458. Dit was de voorloper van het latere OCMW. Zij ontving in 1540 het beheer over al de caritatieve fondsen samengevoegd in een "gemene beurse". Dit stuitte op heel wat particulier verzet vermits het stadsbestuur verzocht om bepaalde categorieën bedevaarders de toegang tot het gasthuis te ontzeggen.
Daarnaast beheerden de aalmoezeniers instellingen voor wezen, vondelingen, bejaarden en krankzinnigen. De Armenkamer had een voortdurend gebrek aan financiële middelen die de aalmoezeniers persoonlijk dienden aan te zuiveren. De arme bedevaarders hadden hier bijzonder onder te lijden en beschikten uiteindelijk over een strozak met een onderkomen voor één nacht.
Tijdens de godsdienstoorlogen werd het gasthuis verplicht onderdak te verschaffen aan pestlijders en Spaanse soldaten.
Het verzet tegen de Spaanse overheersing en de Tachtigjarige Oorlog deed de armoede nog toenemen waardoor de stichting nog meer in financiële moeilijkheden kwam. De aalmoezeniers stuurden een verzoek naar de overheid met de vraag de beheerskosten van het gasthuis op zich te nemen.
Aan deze ellende kwam op 4 april 1584 verandering toen Knobbaert en de Armenkamer het bestuur van het gasthuis overnamen. Het bestuur werd toevertrouwd aan een huisbewaarder, ook "ijzeren knaep" of "cipier" genoemd die onder gezag stond van de aalmoezeniers en toezicht uitoefende over de bedelaars. Hij had het recht bedelaars, die niet in het bezit waren van een penning, in de gevangenis of"de put" te gooien. Hij begeleidde de aalmoezeniers op hun huisbezoeken en bracht hen 's avonds veilig terug naar hun woning.
Terwijl vroeger pelgrims uitsluitend uit vroomheid hun bedevaartstocht maakten, werden nu ook misdadigers bij wijze van boetedoening op bedevaart gestuurd. Op deze wijze wilde de kerk hooggeplaatsten straffen die als misdadigers buiten het bereik van de rechterlijke macht bleven. Zo gebruikte de kerk de "strafrechtelijke bedevaart" als laatste wapen waarbij vrome pelgrims samen met criminelen op bedevaart gingen. Dat veroorzaakte spanningen waardoor aartshertogAlbrecht in 1618 een edict uitvaardigde waarbij veroordeelden niet langer werden toegelaten tot het gastenverblijf.