こんにちわ。くららです。
予防接種をしていないことから咳=百日咳を心配してらっしゃるのだと思いますが、昨日今日の様子で病院に急いでかかっても百日咳かどうかの検査をするに至らないのではないか、と素人ですが思います。
薬を避けてらっしゃるということですね。ウチも過去に咳で百日咳を疑い病院へかかりましたが、風邪やマイコプラズマなどの感染症なのか、喘息などのアレルギーからくるものなのか、まずはいろいろな可能性の元にたくさん薬を頂きました。
強い咳をすることで痰などが出せていればいいのですが、赤ちゃんだとそれが難しいですよね…。なので、安易に様子を見すぎてもいけないとは思いますが、

> 昨日は熱は無く、今日の昼間は36.9度、夕方37.4度と微熱が・・・。

という様子を伺う限りでしたら、私だったら、(あくまでも、私だったら、です。)多少熱があっても、おっぱいを飲めているようですので、もう2,3日様子を見ます。部屋を加湿したり、入浴させずとも、入浴後のお風呂場などで立て抱きしてあげていると、鼻、ノドが楽ですし、咳も楽になるはずです。

ウチも薬はできるだけ避けたいと思っていますが、迷うくらいなら病院へ行って診断を仰ぎます。
抱っこした方が呼吸が楽でよく寝られるようであったので、一晩中抱っこして寝かせていたことも幾晩もあります。とにかくよく様子をみてあげて、どうしても心配なら病院へゴーではないでしょうか。どうぞお大事に。