Na přelomu padesátých a šedesátých let vstoupila do služby u leteckých společností první proudová letadla schopná ekonomického provozu. Jejich hlavní výhody, spočívající zejména ve vysoké rychlosti a dlouhém doletu, se dokázaly uplatnit hlavně na delších tratích. V Sovětském svazu bylo již od poloviny padesátých let v provozu proudové letadlo Tupolev Tu-104. Na jeho základě bylo na konci padesátých let započato s vývojem letadla Tupolev Tu-124, které bylo určeno zejména pro krátké tratě. Do provozu se tento stroj dostal poměrně rychle, v roce 1962. V té době však již v Západní Evropě dva roky létalo jiné proudové letadlo určené pro krátké tratě - francouzská SE-210 Caravelle firmy Sud Aviation.
Jedním ze základních znaků Caravelle bylo umístění motorů na zádi trupu. Tento způsob velice přispěl k dobré aerodynamice letadla díky čistému křídlu zbavenému motorů a gondol. Významným způsobem se také snížil hluk v kabině, který byl u stávajících letadel značný; motory u prvních proudových letadel jako de Havilland Comet či Tupolev Tu-104 byly totiž umístěny v těsné blízkosti trupu. Hladinu hluku v Caravelle si vyzkoušel při návštěvě Francie na jaře 1960 i sovětský vůdce Nikita Chruščov a komfort v kabině francouzského stroje na něj velice zapůsobil. Vzhledem k tomu, že do Francie cestoval značně hlučným strojem Tu-104 se není příliš čemu divit...
Řešení Caravelle nalezlo brzy své následovníky, v průběhu šedesátých let se většina proudových letadel určených pro krátké tratě konstruovala s motory na zádi trupu. Francouzským letadlem se inspirovaly i konstrukční kanceláře v Sovětském svazu, resp. vládní představitelé, kteří na začátku srpna 1960 rozhodli o vývoji letadla založeného na Tu-124, ovšem s motory umístěnými na zádi trupu. Prvotní požadavky zněly na letadlo s kapacitou minimálně 40 cestujících, cestovní rychlostí 800-900 km/hod. a doletem 2.000 kilometrů. Po počátečních studiích byl v dubnu 1961 potvrzen konstrukrční kanceláří Tupolev předběžný návrh nového letadla označovaného Tu-124A, jenž počítal s cestovní rychlostí 800 km/hod., kapacitou 46-58 cestujících, využitím dvou motorů Solověv D-20P-125 a užitečným nákladem až 6.000 kilogramů. Podle požadavků Aeroflotu byl tento návrh ještě dále upraven; tato úprava se dotkla zejména kapacity, která měla být navýšena na 65-70 cestujících, a užitečného nákladu, jenž byl požadován na úrovni 7 tun.
Během roku 1961 byly vyčeleněny dva nedokončené draky letadel Tu-124 pro výrobu prototypů letadla Tu-124A, čímž byla započata dlouhá šestiletá cesta vedoucí k nasazení nového letadla do běžného provozu. První let Tu-124A se uskutečnil v prosinci 1963; krátce poté se letadlu dostalo definitivního označení Tupolev Tu-134; změny oproti Tu-124 byly již poměrně značné. Pouze křídlo zůstalo oproti Tu-124 vcelku nezměněno; bylo vybaveno dvouštěrbinovými vztlakovými klapkami a spoilery. Samozřejmě však bylo zbaveno motorů, které byly umístěny na zádi trupu. První tři stroje Tu-134 byly osazeny motory Solověv D-20P-125, všechny zbylé pak již zdokonalenými Solověv D-30 s tahem 66,7 kN. Oproti Tu-124 byly motory u pozdějších verzí vybaveny obraceči tahu, což značně pomáhalo se zkrácením nutného dojezdu po přistání. Trup letadla byl oproti Tu-124 prodloužen o 4 metry, a to zejména v části před křídly, aby se vyrovnalo těžiště letadla posunuté dozadu díky umístění motorů. Během vývoje bylo rozhodnuto o změně uspořádání ocasních ploch. Vodorovné ocasní plochy byly narozdíl například od Caravelle posunuty až na vrchol svislé ocasní plochy do tvaru T.
Po poměrně dlouhém období vývoje byl první Tupolev Tu-134 nasazen na pravidelné lince Moskva - Adler v srpnu 1967. Krátce poté se dostal i na mezinárodní tratě, konkrétně na linku Moskva - Stockholm. O rok později již Tu-134 létalo do Varšavy, Helsinek, Bukurešti, Vídně, Curychu či Bělehradu. V roce 1969 získalo Tu-134 jako první sovětské letadlo certifikaci dle mezinárodních standardů. První verze Tu-134 byla vyráběna až do července 1970; celkem bylo vyrobeno 78 letadel, z nichž třicet odebraly zahraniční letecké společnosti, mj. z NDR, Polska, Bulharska či Maďarska.
Od roku 1970 se zájem leteckých společností začal soustředit na verzi označenou Tu-134A. Ve srovnání se západními letadly zaostával Tu-134 v ekonomice provozu, zejména díky nízké kapacitě (max. 68 cestujících v turistické verzi). Nová verze Tu-134A tak byla oproti základní prodloužena o 2,1 metru, čímž se kapacita zvýšila až na 80 osob. Použity byly dokonalejší motory Solověv D-30-II s nižší spotřebou paliva a obraceči tahu. Zvýšena byla vzletová hmotnost, kvůli čemuž musela být zesílena konstrukce letadla a podvozek. Kola a brzdy podvozku byly převzaty z letadla Iljušin Il-18. První let verze 134A se uskutečnil v dubnu 1969 a krátce po té začalo testování, které bylo ukončeno v roce 1970. V listopadu 1970 se pak verze Tu-134A dostala do pravidelného provozu. Také většina letadel této verze našla své uplatnění u Aeroflotu, část však byla také exportována, mimo jiné i do služeb ČSA. Některé letecké společnosti si vyžádaly dodání letadla bez zasklené přídě, poznávacího znaku letadel konstrukční kanceláře Tupolev (mimo jiné i ČSA). Do nezasklené přídě byla umístěna anténa radiolokátoru; toto provedení se později stalo standardem.