Im Jahre 1714 rief der preußische König Friedrich Wilhelm I. eine „General-Rechen-Kammer“ (später Preußische Oberrechnungskammer) ins Leben. Sie sollte als eigenständiges, von der Verwaltung unabhängiges kollegiales Prüfungsorgan wirken. Ihr Sitz war zunächst Berlin. 1818 siedelte die General-Rechen-Kammer nach Potsdam über. Sie hatte die Rechnungen des Staatshaushalts zu prüfen und über das Ergebnis in so genannten Bemerkungen zu berichten. Außerdem legte sie Gutachten und Vorschläge für Verwaltungsreformen vor.

Im Jahre 1868 wurde der Preußischen Oberrechnungskammer zusätzlich die Rechnungsprüfung des Norddeutschen Bundes und 1871 die des Deutschen Reiches übertragen. Fortan war sie zugleich der „Rechnungshof des Deutschen Reiches“. Ihr Präsident war in Personalunion auch Präsident dieses Rechnungshofes. Bis 1945 bestand die Preußische Oberrechnungskammer als preußische Kontrolleinrichtung fort. Nach dem Kriegsende im Jahre 1945 nahm zunächst die Außenstelle des Rechnungshofes des Deutschen Reiches in Hamburg ihre Tätigkeit wieder auf. Später setzte sie ihre Arbeit unter der Bezeichnung „Rechnungshof für Sonderaufgaben“ fort.

1948 wurde in Frankfurt am Main der „Rechnungshof im Vereinigten Wirtschaftsgebiet“ errichtet, der unmittelbarer Vorläufer des Bundesrechnungshofes war. Er übernahm die Aufgaben und Befugnisse des „Rechnungshofes für Sonderaufgaben“ und nach Inkrafttreten des Grundgesetzes vorübergehend auch die Befugnisse des Rechnungshofes für den Bund.

Der Bundesrechnungshof wurde im Jahr 1950 in Frankfurt am Main errichtet. Zu Beginn des Jahres 1998 wurden neun Prüfungsämter des Bundes geschaffen und gleichzeitig die Vorprüfungsstellen des Bundes aufgelöst. Die Prüfungsämter waren dem Bundesrechnungshof nachgeordnet und unterlagen seiner Dienst- und Fachaufsicht. Seit dem 1. Juli 2000 hat der Bundesrechnungshof seinen Sitz in Bonn. Er unterhält eine Außenstelle in Potsdam, die am 1. Dezember 1998 in dem Gebäude des ehemaligen Rechnungshofes des Deutschen Reiches eingerichtet wurde.

In den Jahren 2015 und 2016 überarbeitete der Bundesrechnungshof seine Organisationsstruktur und seine Aufgabenverteilung grundlegend. Er entwickelte damit die Funktions- und Handlungsfähigkeit der externen Finanzkontrolle gezielt weiter. Mit Beginn des Jahres 2017 setzte der Bundesrechnungshof die neue Struktur in Kraft. Er richtete damit die Prüfungsabteilungen und Prüfungsgebiete an den Herausforderungen der sich wandelnden Bundesverwaltung neu aus. Er wandelte außerdem die verbliebenen Prüfungsämter des Bundes in unselbständige Außenstellen des Bundesrechnungshofes um und schließt diese schrittweise.