I 1400-tallet var der til Vor Frue Kirke tilknyttet hele 12 præster, der såkaldte kanniker.
Da biskoppen af Roskilde indrettede sin bispegård ved kirken, måtte nogle af kannikker flytte deres bolig, og de kom i stedet til at bo i den nærliggende gade, der fik navnet Kannikestræde.
Her lå deres gårde på række, indtil reformationen i 1536 gjorde op med de mange præsters virke ved kirken. Deres ejendomme blev nu overtaget af Københavns Universitet, og dets professorer flyttede ind i stedet.
De fredede bygninger i Store Kannikestræde 11 og 13 er begge eksempler på professorgårde opført i midten af 1700-tallet.
I Store Kannikestræde 10 ligger Admiral Gjeddes Gård fra 1730’erne. Ove Gjedde var admiral for kong Christian den 4., og hans datter boede her.
I gaden ligger flere kollegier for de studerende ved Universitetet, f.eks. Borchs Kollegium, Elers Kollegium og Regensen.
Ehlers Kollegium (på tegningen herover til højre) var oprindeligt tegnet af hofbygmester Johan Conrad Ernst (1666-1750), men genopført efter brand i 1728 ved J. C. Krieger (1683-1755). Det blev stiftet af højesteretsassessor Jørgen Elers (1647-92) og hans hustru efter de havde mistet deres børn ved en brand i operahuset.
Borchs Kollegium – eller Collegium Medicæum som det hed – ses herover, som det så ud i 1691. Det var stiftet 1689 af filologen, lægen og naturvidenskabsmanden Ole Borch. Ole Borchs Vej i Valby er opkaldt efter ham.
Borch var desuden kemiker, og i kollegiets have ligger endnu hans laboratoriebygning. Kollegiet var dengang usædvanligt ved, at det havde beboere – alumner – der ikke var teologer.
På hjørnet af Lille Kannikestræde ligger KFUK’s forsamlingsbygning, der er opført i 1918 med Arthur Wittmaack (1878-1965) og Vilhelm Hvalsøe (1883-1958) som arkitekter.
I Store Kannikestræde 14 grundlagde H. P. Prior i 1891 en fabrik, der fremstillede elektriske ledninger. Pladsen blev dog hurtigt for trang, så han fandt nye lokaler i Ryesgade og senere på La Cours Vej. Virksomheden blev efterhånden kendt under navnet Nordiske Kabel- og Traadfabrikker.